CN112650664A - 软件质量评价和排序的方法、系统及装置 - Google Patents
软件质量评价和排序的方法、系统及装置 Download PDFInfo
- Publication number
- CN112650664A CN112650664A CN201910965604.2A CN201910965604A CN112650664A CN 112650664 A CN112650664 A CN 112650664A CN 201910965604 A CN201910965604 A CN 201910965604A CN 112650664 A CN112650664 A CN 112650664A
- Authority
- CN
- China
- Prior art keywords
- quality
- software
- feature
- interface
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000007547 defect Effects 0.000 claims description 41
- 230000003993 interaction Effects 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000004807 localization Effects 0.000 claims description 17
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000013441 quality evaluation Methods 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012482 interaction analysis Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
公开了一种软件质量评价和排序方法、系统和装置,该方法包括:获取所述软件的界面的界面质量特征,所述界面质量特征包括内容质量特征和展示质量特征中的至少一项特征;计算所述至少一项特征中每一项的特征分值;以及根据所述特征分值计算所述软件的质量分。所述软件可以是安装在客户端上的应用,也可以是云应用。界面质量特征可以是界面全球化质量特征。由此,为软件全球化质量提供一种量化标准。
Description
技术领域
本公开涉及一种测试领域,尤其涉及一种软件质量评价和排序的方法、系统及装置。
背景技术
随着全球化进程的深入,软件也面临着全球化部署的问题。除了支持本国用户使用之外,各类软件也需要有能力支持多种语言和地区。现有技术中,缺乏针对各类软件的全球化水平的评估标准,相关人员也无法全面了解各个软件的全球化现状。
为此,需要一种准确反映软件质量的方案。
发明内容
本公开要解决的一个技术问题是提供一种软件质量评价方案,该方案通过获取内容和展示两个维度上的特征来量化软件的质量,例如,全球化质量。进一步地,可以汇总各个软件的全球化质量量化值,并进行可视化呈现,从而为相关人员提供全面、直观的软件全球化现状的展示。
根据本公开的第一个方面,提供了一种软件质量评价方法,包括:获取所述软件的界面的界面质量特征,所述界面质量特征包括内容质量特征和展示质量特征中的至少一项特征;计算所述至少一项特征中每一项的特征分值;以及根据所述特征分值计算所述软件的质量分。该界面质量特征可以是界面全球化质量特征。由此,为软件全球化质量提供一种量化标准。所述软件可以是安装在客户端上的应用,或是云应用。
可选地,所述界面全球化质量特征可以包括如下至少一项:至少一个界面本地化质量特征;以及界面本地化切换质量特征。所述内容质量特征可以包括语言内容质量特征以及内容格式质量特征,所述展示质量特征可以包括界面呈现质量特征和界面交互质量特征。
具体地,所述界面质量特征包括语言内容质量特征、内容格式质量特征、界面呈现质量特征和界面交互质量特征中的至少两项特征,并且该方法还可以包括:为所述至少两项特征中的每一项分配特征权重,其中,通过对所述至少两项特征的特征分值进行加权来计算所述软件的质量分。
可选地,计算所述至少一项特征中每一项的特征分值包括:计算所述至少一项特征中每一项所扣的特征分值,并且根据所述特征分值计算所述软件的质量分包括:从预定分数减去每一项所扣的特征分值,得到所述软件的质量分。其中,计算所述至少一项特征中每一项所扣的特征分值包括:确定每一项特征的缺陷严重程度;基于所述缺陷严重程度,计算相应的所扣特征分值。由此,可以通过缺陷严重程度来进行软件质量评定。
可选地,该方法还可以包括:对所述软件进行复杂度评级,并且计算所述软件的质量分包括:针对同一缺陷,为复杂度更高的软件扣去更小的特征分值。
根据本公开的第二个方面,提供了一种对多个软件进行质量排序的方法,包括:使用根据如上任一项所述的软件质量评价方法,为多个软件中每一个评定质量分;以及以所述质量分作为排序依据对所述多个软件进行排序。
具体地,可以分别根据内容质量特征和展示质量特征的特征分值进行排序,例如,在分别以内容质量特征的特征分值和展示质量特征的特征分值作为一个维度的二维图像上对所述多个软件的质量分进行可视化排序。
根据本公开的第三个方面,提供了一种软件质量评价系统,用于:获取需要进行质量评价的软件;以及使用根据如上任一项所述的软件质量评价方法,计算所述软件的质量分。
可选地,可以接收用户上传的软件程序;接收用户提交的软件下载链接;或是抓取作为云应用的所述软件的界面。
可选地,该系统还可以用于:给出所述软件的修改意见。
可选地,该系统还可以是一种软件质量排序系统,用于:获取需要进行质量评价的多个软件;以及使用根据如上任一项所述的软件质量排序方法,对所述多个软件进行排序。
根据本公开的第四个方面,提供了一种软件质量评价装置,包括:特征获取单元,用于获取所述软件的界面的界面质量特征,所述界面质量特征包括内容质量特征和展示质量特征中的至少一项特征;项目特征分计算单元,用于计算所述至少一项特征中每一项的特征分值;以及
软件质量分计算单元,用于根据所述特征分值计算所述软件的质量分。
可选地,所述界面质量特征是界面全球化质量特征,并且所述界面全球化质量特征包括如下至少一项:至少一个界面本地化质量特征;以及界面本地化切换质量特征。
所述内容质量特征可以包括语言内容质量特征以及内容格式质量特征,所述展示质量特征可以包括界面呈现质量特征和界面交互质量特征,并且所述界面质量特征可以包括语言内容质量特征、内容格式质量特征、界面呈现质量特征和界面交互质量特征中的至少两项特征,并且所述页面质量分计算单元进一步用于:为所述至少两项特征中的每一项分配特征权重;以及通过对所述至少两项特征的特征分值进行加权来计算所述软件的质量分。
可选地,所述项目特征分计算单元用于:确定每一项特征的缺陷严重程度;基于所述缺陷严重程度,计算所述至少一项特征中每一项所扣的特征分值,并且所述软件质量分计算单元用于:从预定分数减去每一项所扣的特征分值,得到所述软件的质量分。
可选地,所述装置还可以包括:复杂度评级单元,用于对所述软件进行复杂度评级,并且所述软件质量分计算单元用于:针对同一缺陷,为复杂度更高的软件扣去更小的特征分值。
可选地,所述装置还可以包括:排序单元,例如优选地可视化单元,在分别以内容质量特征的特征分值和展示质量特征的特征分值作为一个维度的二维图像上对多个软件的质量分进行可视化排序。
根据本公开的第五个方面,提供了一种计算设备,包括:处理器;以及存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上述第一方面所述的方法。
根据本公开的第六个方面,提供了一种非暂时性机器可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上述第一方面所述的方法。
由此,本公开通过将软件的全球化划分为内容和展示两个维度,并进一步细化多个子维度,来实现用公式量化软件的全球化成熟度。进一步地,可以汇总各个软件的全球化成熟度,并在坐标系中以直观的方式展示其全球化成熟度。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1示出了根据本发明一个实施例的软件质量评价方法的示意性流程图。
图2示出了无法切换语言的例子。
图3示出了语法错误的例子。
图4示出了一个更为显著的翻译质量缺陷。
图5示出了漏翻例。
图6示出了备选语言选择错误例。
图7示出了截断问题例。
图8示出了溢出和重叠问题例。
图9示出了错位问题例。
图10示出了软件成熟度的可视化例子。
图11示出了根据本发明的软件质量评价装置的组成示意图。
图12示出了根据本发明一实施例可用于实现上述软件质量评价和排序方法的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
随着全球化进程的深入,软件也面临着全球化部署的问题。除了支持本国用户使用之外,各类软件也需要有能力支持多种语言和地区。现有技术中,缺乏针对软件的全球化水平的评估标准,相关人员也无法全面了解软件的全球化现状。
为此,本发明提出了一种软件质量评价方案,该方案通过获取内容和展示两个维度上的特征来量化软件界面的质量,例如,全球化质量。进一步地,可以汇总各个软件的全球化质量量化值,并进行可视化呈现,从而为相关人员提供全面、直观的软件全球化现状的展示。
国际化(Internationalization):指的是在软件的设计和编码的过程中,让软件有能力支持多种语言和地区。其中包括对Unicode字符的支持、支持多种日期格式与数字格式的能力、文案(资源文件)的完全抽离与可译性等。本地化(Localization):指的是将文案(资源文件)和/或文档从源语言翻译成目标语言。全球化(Globalization):指的是国际化与本地化之和。在本发明的公开中,针对页面的全球化质量评估不限于针对软件(也可称为“应用”)的质量评估,也可以针对包括交互页面的网站进行质量评估。
图1示出了根据本发明一个实施例的软件质量评价方法的示意性流程图。该方法尤其适用于全球化测试人员对包含大量界面的软件进行整体质量评估。
在步骤S110,获取软件界面的界面质量特征。在此,软件的界面指代软件中面向用户专门设计的用于操作使用及反馈信息的指令部分。界面质量特征指代表示界面质量的特征,并且可以包括内容质量特征和展示质量特征中的至少一项特征。内容质量特征是指页面本身的内容质量,例如,界面包含的语言文字和各类格式是否正确。展示质量特征则指界面的内容被正确展示的程度,例如,是否存在显示和交互上的缺陷。在本发明中,所述界面质量特征尤其可以是界面全球化质量特征。但在其他实施例中,所述界面质量特征也可以是从其他角度表征页面质量的特征。
在步骤S120,计算所述至少一项特征中每一项的特征分值,优选地,计算内容质量特征和展示质量特征两者的特征分值。在本发明中,上述内容质量特征和展示质量特征优选各自包括如下将详述的多个子特征。
在步骤S130,可以根据所述特征分值计算所述软件的质量分。由此实现对页面质量的量化,并分别后续诸如排序等的操作。
在一个实施例中,界面质量特征是界面全球化质量特征。所述界面全球化质量特征是表征界面全球化质量的特征,即,表征界面支持多种语言和地区的程度。界面全球化质量特征可以包括至少一个界面本地化质量特征,和/或界面本地化切换质量特征。在此,界面本地化质量特征可以表征某一特定语言下的界面质量特征。界面本地化切换质量特征则可表征语言间可切换的界面质量特征。当该界面(或者如下所述该界面所属的软件)仅需支持发布语言(例如,中文)之外的一种语言(例如,英文)时,可以直接使用界面的英文本地化质量特征来表征该页面的全球化质量特征。而当该界面(或者如下所述该界面所属的软件)需支持发布语言(例如,中文)之外的至少两种语言(例如,英文和日文)时,可以使用界面的英文和日文本地化质量特征(以及进一步的界面本地化切换质量特征)来表征该软件的全球化质量特征。在进行具体计算时,可以计算每一种语言的特征值,并在后续例如进行加权;也可以综合考虑每一种语言的质量来求取特征值,本发明对此不做限制。
在一个实施例中,内容质量特征可以包括语言内容质量特征以及内容格式质量特征。语言内容质量特征可以是表征语言本身表达质量的特征,而内容格式质量特征可以是表征内容在格式上的质量特征。展示质量特征包括界面呈现质量特征和界面交互质量特征。界面呈现质量特征可以是表征界面所呈现状态的质量特征,界面交互质量特征则可以是表征界面在与用户交互时的质量特征。
于是,界面质量特征可以包括语言内容质量特征、内容格式质量特征、界面呈现质量特征和界面交互质量特征中的至少两项特征,并且该方法还可以包括:为所述至少两项特征中的每一项分配特征权重,其中,通过对所述至少两项特征的特征分值进行加权来计算所述软件的质量分。
在优选的实施例中,上述特征还可以进一步包括子特征来细化对软件质量的评估。具体地,语言内容质量特征可以包括如下至少一项:语言的可切换性;语言的质量可接受性;翻译完整性;备选语言可达性;货币金额正确性;时间数据正确性。内容格式质量特征可以包括如下至少一项:格式符合本地习惯;日历符合本地习惯。界面呈现质量特征可以包括如下至少一项:界面元素呈现正确性;界面元素符合本地习惯。界面交互质量特征可以包括如下至少一项:本地字符可被保存性;本地字符可被导入/导出性;交互元素符合本地习惯;本地排序方式支持性;本地搜索方式支持性。
在进行特征分计算时,可以通过界面内容抓取和机器判读来判定每一个子维度的特征,并据此给出对应分数。
在一个实施例中,可以使用加分法,即,每个子维度根据其对应质量高低给出相应的高低分数并例如进行加权累加,最终得出界面总体质量分。
在另一个实施例中,可以使用扣分法进行界面总体质量分的计算。扣分法适用于对缺陷忍耐力较低的情境,因此更加适合被本发明采用。于是,计算所述至少一项特征中每一项的特征分值可以包括:计算所述至少一项特征中每一项所扣的特征分值,并且根据所述特征分值计算所述软件的质量分包括:从预定分数减去每一项所扣的特征分值,得到所述软件的质量分。
进一步地,计算所述至少一项特征中每一项所扣的特征分值可以包括:确定每一项特征的缺陷严重程度;基于所述缺陷严重程度,计算相应的所扣特征分值。
如前所示,所述界面是属于软件的界面,并且是需要与用户进行交互的界面。于是,计算软件的质量分可以包括:计算软件包含的各个界面的质量分。在使用扣分制的情况下,对软件质量分的计算,可以汇总该对象内每个界面各个子维度的情况,并针对该子维度的缺陷程度加以评估,并扣除相应的分数。
进一步地,还可以对所述软件进行复杂度评级。计算所述软件的质量分包括:针对同一缺陷,为复杂度更高的软件扣去更小的特征分值。换句话说,针对复杂的软件,可以容忍更多的缺陷。
随后,将结合应用例对本发明的软件全球化评估方案进行描述。该方案将软件全球化划分为内容(对应于上文的内容质量特征)和交互(对应于上文的展示质量特征)两个维度。内容维度包括8个子维度,交互维度包括7个子维度。基于内容与交互两个维度的各项细则(子维度),本方法可以将云产品(软件)的全球化成熟度分为优秀、良好、合格、不合格四个等级。其中,内容维度,用于衡量语言质量、数据格式等能力的成熟度;交互维度,用于衡量与用户界面和交互设计等能力相关的成熟度。
本方法采用扣分制利用公式量化软件的全球化成熟度(即,全球化质量)。即,在衡量之初可以将产品的默认得分设为满分100分;发现一个缺陷,则按照衡量方法之描述扣除相应分数。
具体地,优秀等级表示产品完全符合当地用户习惯,例如,语言内容准确、风格规范;页面布局规范;页面特征符合习惯;交互方式规范等。
良好等级表示当地的用户能无障碍的使用产品,例如,语言内容准确、风格基本规范;页面布局基本符合规范;页面特征基本符合习惯;交互方式基本符合规范等。
合格等级表示用户能使用产品,不存在严重阻塞用户进行下一步操作或者误导用户使用导致影响业务的缺陷,例如,语言内容基本准确、风格大致符合规范;页面布局大致符合规范;页面特征大致符合习惯;交互方式不影响正常使用等。
不合格等级表示未达到合格评级的用户即评级为不合格。评级为不合格意味着用户不能正常使用产品,例如,存在明显语言翻译问题;页面存在明显截断和错误;页面特征存在明显缺陷;交互方式不符合使用习惯等。
可以对目标产品进行行业通用的黑盒国际化测试以及语言质量测试。完成测试之后,对所有缺陷进行打标,标记严重程度(blocking、major、normal以及minor),并且标记缺陷属于上述哪一类。
完成打标后,可以按照一定的规则对目标产品进行打分。
计分规则如下:
1.将评分分为内容和交互两个大类。其中,内容包括1.1-1.8(如下将详述)的8个子类,为每个子类分配一定的可扣分数,内容大类例如一共可扣a分。交互包括2.1-2.7(如下将详述)的7个子类,为每个子类分配一定的可扣分数,交互大类例如一共可扣b分。在满分为100分的情况下,a+b=100。
2.对于任一条目,存在一处blocking缺陷,初扣8分;存在一处major缺陷,初扣4分;存在一处normal缺陷,初扣2分;存在一处minor缺陷,不扣分。
在此,Blocking对应于团块缺陷,该缺陷使得重要功能或关键功能无法正常使用;Major对应于主要缺陷,该缺陷影响功能正常使用,有不易实现的解决方法;Normal对应于常规缺陷,该缺陷影响功能正常使用,有容易实现的解决方法;Minor对应于小缺陷,该缺陷不影响功能正常使用。
由于软件通常包括多个界面,因此在实际进行评价时,可以针对每一个界面上的每一个缺陷分别进行扣分,直到对应子项的分数被扣完为止;也可以将不同页面上的识别为相同或类似的缺陷归为一个缺陷,并只扣去一次相应的分数。在具体应用中可以根据实际情况进行设置,本发明对此不做限制。
条目最终扣分=初扣分数之和*权重/复杂度(复杂度可取值为1(简单产品)、1.25(普通产品)、1.5(复杂产品)、2(极其复杂的产品)。其中1为最不复杂,2为最复杂。)。
3.总分计算方式:
其中:
d为基于验收测试的该条目所扣分数之和;
c为该产品复杂度;
m为该条目最多可扣分。
如前所述,内容大类包括8个子类,为每个子类分配一定的可扣分数,内容大类一共可扣a分。交互大类包括7个子类,为每个子类分配一定的可扣分数,交互大类一共可扣b分。在满分为100分的情况下,可以设a+b=100。
如下将对各个子类条目进行详细解释。
1.1用户能切换到自己语言。该条目对应于内容质量特征维度中的语言内容质量特征子维度,并且表征为语言的可切换性。图2示出了无法切换语言的例子。图2示出了某一软件的交互界面,并且如框中所示,该软件仅包括“MainlandChina(中国大陆)”下的英语菜单,无语言切换菜单,故用户无法切换语言。
1.2用户所见语言的质量可接受。该条目对应于内容质量特征维度中的语言内容质量特征子维度,并且表征为语言质量的可接受性。
质量可接受表示产品的语言质量应符合语言质量标准。这包括但不仅限于,描述准确,无语法错误;语言风格符合规范;术语使用准确等。图3示出了语法错误的例子。图3示出了某一软件的交互界面,并且如弹出框中所示,“This domain name is exist already”显示了一个典型的语法错误。正确的表述应该是“This domain name alreadyexists”。
图4示出了一个更为显著的翻译质量缺陷。图4示出了某一软件的交互界面,并且如框中所示,该句英文不仅有语法错误,而且用户完全看不懂到底是什么意思。在本发明的评分标准中,图4的缺陷会比图3扣除更多的分值。
1.3不存在漏翻现象。该条目对应于内容质量特征维度中的语言内容质量特征子维度,并且表征为翻译完整性。
产品不应有未翻译现象,这通常表现为英文中混杂中文或者key(元素名)。图5示出了漏翻例。图5示出了某一软件的交互界面,并且如框中所示,存在未被翻译的中文。
1.4当产品不支持用户所选语言时,产品会提供另一种恰当的语言。该条目对应于内容质量特征维度中的语言内容质量特征子维度,并且表征为备选语言可达性。例如,当用户选择韩文时,如果不存在韩文资源,则备选显示英文资源。图6示出了备选语言选择错误例。图6示出了某一购物的交互界面,并且如框中所示,当日文翻译不存在时,产品应该回退到英文,而不是直接显示页面元素名(key)。
1.5页面上的货币金额是正确的。该条目对应于内容质量特征维度中的语言内容质量特征子维度,并且表征为货币金额正确性。
产品应确保其显示的货币金额是正确的。默认情况下,产品应依照用户的币种偏好,显示货币金额。例如,在进行人民币美元换算时,保持正确。本条目与条目1.7不同,本条目关注的是数据本身是否正确,条目1.7关注的是格式是否正确。
1.6页面上的时间数据是正确的。该条目对应于内容质量特征维度中的语言内容质量特征子维度,并且表征为时间数据正确性。
产品应确保其显示的时间是正确的。默认情况下,产品应依照用户浏览器的时区,显示时间。
本条目与条目1.7不同,本条目关注的是数据本身是否正确,条目1.7关注的是格式是否正确。
1.7日期时间、数字、货币、电话号码、姓名、地址的格式符合用户的使用习惯。该条目对应于内容质量特征维度中的内容格式质量特征子维度,并且表征为格式符合本地习惯。
产品应确保日期时间、数字、货币、电话号码、姓名、地址的格式是符合用户使用习惯的。
例如,对于英语用户,日期时间格式应形如Apr 16,2019,18:35:56;对于简体中文用户,日期时间格式应形如2019年4月16日18:35:56。
1.8日历符合用户的使用习惯。该条目对应于内容质量特征维度中的内容格式质量特征子维度,并且表征为日历符合本地习惯。
在用户有需求的情况下,产品应提供用户习惯的日历。如,为日本用户提供日本历。
2.1页面元素无截断、无溢出、无重叠、无错位。该条目对应于展示质量特征维度中的界面呈现质量特征子维度,并且表征为页面元素呈现正确性。
在正确的页面展示中,产品界面不能存在截断、溢出、重叠、错位等问题。
图7示出了截断问题例。图7示出了某一软件的交互页面,并且如框中所示,翻译成英文后元素内容变长而被截断。
图8示出了溢出和重叠问题例。图8示出了某一软件的交互页面,并且如框中所示,翻译成英文后元素内容变长而溢出并与按钮重叠。
图9示出了错位问题例。图9示出了某一软件的交互页面,并且如框中所示,表格中type项及其对应内容错位。
2.2字体、行间距、图片、颜色等符合用户使用习惯。该条目对应于展示质量特征维度中的界面呈现质量特征子维度,并且表征为页面元素符合本地习惯。
软件产品的字体、行间距、图片、颜色等均应该符合当前用户的使用习惯。
2.3多语言字符可以被保存。该条目对应于展示质量特征维度中的界面交互质量特征子维度,并且表征为本地字符可被保存性。
用户所需语言的全部字符应该可以被无误地保存。
2.4多语言字符可以被导入和导出。该条目对应于展示质量特征维度中的界面交互质量特征子维度,并且表征为本地字符可被导入/导出性。
涉及导入和/或导出纯文本文件的功能,应支持用户所需语言的全部字符。
2.5导航栏、下拉菜单、错误提示等上的类别、选项符合用户使用习惯。该条目对应于展示质量特征维度中的界面交互质量特征子维度,并且表征为交互元素符合本地习惯。
导航栏、下拉菜单、错误提示等上的类别、选项应符合用户的使用习惯。例如,在下拉菜单里只包括中国大陆和国际两类。菜单的作者默认使用者来自中国大陆,所以划分了中国大陆和国际两类。对于海外用户来说,这样的分类是不合理的。
2.6支持用户语言特有的排序方式。该条目对应于展示质量特征维度中的界面交互质量特征子维度,并且表征为本地排序方式支持性。例如,英语用户通常需要文本按照字母顺序排列;而简体中文用户通常需要文本按照汉语拼音顺序排列。
在用户有需求的情况下,产品应提供用户语言特有的排序方式。
2.7支持用户语言特有的搜索方式。该条目对应于展示质量特征维度中的界面交互质量特征子维度,并且表征为本地搜索方式支持性。
在用户有需求的情况下,产品应提供用户语言特有的搜索方式。例如,英语用户输入的搜索关键词的分割以空格为标志即可;而简体中文用户输入的搜索关键词要根据句法和语义进行分割。
在获取质量分之后,本发明还可以实现为一种对多个软件进行质量排序的方法。该方法包括使用上述方法为多个软件中的每一个软件评定质量分;以及以所述质量分作为排序依据对所述多个软件进行排序。
具体地,对所述多个软件进行排序包括:分别根据内容质量特征和展示质量特征的特征分值进行排序。例如,可以在分别以内容质量特征的特征分值和展示质量特征的特征分值作为一个维度的二维图像上对所述多个软件的质量分进行可视化排序。
图10示出了软件成熟度的可视化例子。在如上完成多个软件产品的衡量之后,可将它们置于成熟度可视化图之上,以图示方式从内容和交互两个维度展现每个产品的成熟度以及不同产品的成熟度之对比。图中的三条虚线可以分别对应于合格、良好和优秀评分线。
本发明的软件质量评价和排序方案可以针对安装在客户端上的常规应用进行评价和排序,也可以对云应用进行评价和排序。在此,常规应用指代客户端通过下载或是光盘安装等方法将程序在本地磁盘上进行安装并在本地内存上运行的应用。云应用则指代在客户端仅提供交互界面,在云端(服务器)上进行程序安装与运行的应用。
在一个实施例中,本发明的软件评价方案本身可以实现为一个应用程序,用户可以本地安装上述程序,并对感兴趣的软件进行质量评估。该用于评价的应用程序还可以包括排序功能,例如,计算多个软件的质量并进行如图10所示的可视化排序。
在另一个实施例中,本发明的软件评价方案本身可以实现为一个软件质量评价系统。该系统可以是云端平台,并由布置在云端的服务器进行软件质量评估。由此,该系统可以首先获取需要进行质量评价的软件,随后在执行如上所述的评价方法。具体地,系统可以通过接收用户上传的软件程序;接收用户提交的软件下载链接;以及抓取作为云应用的所述软件的界面来获取需要进行评价的软件,并在云端(服务器端)完成评价。
在完成评价之后,还可以给出针对上述软件的修改意见。云端首先可以给出该软件的例如全球化质量评分,例如,得到了满分100分中的85分。随后,可以自动或者用户要求下显示每一个子项上的具体得分,并显示扣分界面。由此用户可以知道该软件的具体缺陷所在。进一步地,该软件还可以可选地为用户提供修改工具,例如,在界面中发生截断时,修改对应元素布局的工具。
在另一个实施例中,本发明的软件排序方案也可以实现为一个系统(例如,一个云端平台),该系统可以使用本发明的软件质量评估方法对多个软件进行评分,并以所述质量分作为排序依据对所述多个软件进行排序,例如,分别根据内容质量特征和展示质量特征的特征分值进行排序(例如,可视化排序)。该用于排序的系统通常可以并入用于进行质量评价的系统,由此得到的系统可以实现为对多个软件的(例如,软件全球化)质量进行全面自动量化、排序并给出修改意见(并提供修改工具)的云端服务。为此,软件质量评估系统可以获取多个软件,计算每个软件的质量分,并且优选地根据质量分进行排序。例如,该系统可以针对软件包进行界面拆分,和/或针对云应用进行界面抓取,对每个界面进行自动的内容和交互分析,综合得到每个软件的各个子项的相应得分,计算该软件的总和质量分,并放入包括多个软件测评结果的总图上进行可视化排序。
本发明还可以实现为一种软件质量评价装置。图11示出了根据本发明的软件质量评价装置的组成示意图。
如图所示,装置1100包括特征获取单元1110、项目特征分计算单元1120和软件质量分计算单元1130。
特征获取单元1110可以用于获取页面的界面质量特征,所述界面质量特征包括内容质量特征和展示质量特征中的至少一项特征。项目特征分计算单元1120可以用于计算所述至少一项特征中每一项的特征分值。软件质量分计算单元1130可以用于根据所述特征分值计算所述软件的质量分。
所述界面质量特征可以是界面全球化质量特征,并且所述界面全球化质量特征包括如下至少一项:至少一个界面本地化质量特征;以及界面本地化切换质量特征。
具体地,所述内容质量特征包括语言内容质量特征以及内容格式质量特征,所述展示质量特征包括界面呈现质量特征和界面交互质量特征,并且所述界面质量特征包括语言内容质量特征、内容格式质量特征、界面呈现质量特征和界面交互质量特征中的至少两项特征,并且所述软件质量分计算单元1130可以进一步用于:为所述至少两项特征中的每一项分配特征权重;以及通过对所述至少两项特征的特征分值进行加权来计算所述软件的质量分。
在一个实施例中,所述项目特征分计算单元1120可以用于:确定每一项特征的缺陷严重程度;基于所述缺陷严重程度,计算所述至少一项特征中每一项所扣的特征分值,并且所述软件质量分计算单元1130可以用于:从预定分数减去每一项所扣的特征分值,得到所述软件的质量分。
所述界面是属于软件的界面,所述软件可以是本地安装的应用或是云应用。
在一个实施例中,该装置还可以包括:复杂度评级单元,用于对所述软件进行复杂度评级,并且所述软件质量分计算单元用于:针对同一缺陷,为复杂度更高的目标对象扣去更小的特征分值。
在一个实施例中,该装置还可以包括:排序单元,用于对由所述软件质量分计算单元计算的多个软件的质量分进行排序。该排序单元例如可以包括或者实现为可视化单元,用于在分别以内容质量特征的特征分值和展示质量特征的特征分值作为一个维度的二维图像上对多个软件的质量分进行可视化排序。
图12示出了根据本发明一个实施例可用于实现上述页面质量评价和排序方法的计算设备的结构示意图。
参见图12,计算设备1200包括存储器1210和处理器1220。
处理器1220可以是一个多核的处理器,也可以包含多个处理器。在一些实施例中,处理器1220可以包含一个通用的主处理器以及一个或多个特殊的协处理器,例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中,处理器1220可以使用定制的电路实现,例如特定用途集成电路(ASIC,Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA,Field Programmable Gate Arrays)。
存储器1210可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM),和永久存储装置。其中,ROM可以存储处理器1220或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器1210可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器1210可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1210上存储有可执行代码,当可执行代码被处理器1220处理时,可以使处理器1220执行上文述及的页面质量评价和排序方法。
上文中已经参考附图详细描述了根据本发明的页面质量评价和对象排序方法和装置。本公开通过将应用或网站的全球化划分为内容和展示两个维度,并进一步细化多个子维度,来实现用公式量化应用或网站的全球化成熟度。进一步地,可以汇总各个应用或软件的全球化成熟度,并在坐标系中以直观的方式展示其全球化成熟度。
此外,根据本发明的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者,本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (27)
1.一种软件质量评价方法,包括:
获取所述软件的界面的界面质量特征,所述界面质量特征包括内容质量特征和展示质量特征中的至少一项特征;
计算所述至少一项特征中每一项的特征分值;以及
根据所述特征分值计算所述软件的质量分。
2.如权利要求1所述的方法,其中,所述界面质量特征是界面全球化质量特征。
3.如权利要求2所述的方法,其中,所述界面全球化质量特征包括如下至少一项:
至少一个界面本地化质量特征;以及
界面本地化切换质量特征。
4.如权利要求1所述的方法,其中,所述内容质量特征包括语言内容质量特征以及内容格式质量特征,所述展示质量特征包括界面呈现质量特征和界面交互质量特征。
5.如权利要求4所述的方法,所述界面质量特征包括语言内容质量特征、内容格式质量特征、界面呈现质量特征和界面交互质量特征中的至少两项特征,
该方法还包括:
为所述至少两项特征中的每一项分配特征权重,
其中,通过对所述至少两项特征的特征分值进行加权来计算所述软件的质量分。
6.如权利要求1所述的方法,其中,计算所述至少一项特征中每一项的特征分值包括:
计算所述至少一项特征中每一项所扣的特征分值,并且
根据所述特征分值计算所述软件的质量分包括:
从预定分数减去每一项所扣的特征分值,得到所述软件的质量分。
7.如权利要求6所述的方法,其中,计算所述至少一项特征中每一项所扣的特征分值包括:
确定每一项特征的缺陷严重程度;
基于所述缺陷严重程度,计算相应的所扣特征分值。
8.如权利要求1所述的方法,其中,所述软件包括如下至少一项:
安装在客户端上的应用;
云应用。
9.如权利要求1所述的方法,还包括:
对所述软件进行复杂度评级,并且
计算所述软件的质量分包括:
针对同一缺陷,为复杂度更高的软件扣去更小的特征分值。
10.一种对多个软件进行质量排序的方法,包括:
使用根据权利要求1-9中任一项所述的方法,为多个软件中每一个评定质量分;以及
以所述质量分作为排序依据对所述多个软件进行排序。
11.如权利要求10所述的方法,其中,对所述多个软件进行排序包括:
分别根据内容质量特征和展示质量特征的特征分值进行排序。
12.如权利要求11所述的方法,其中,分别根据内容质量特征和展示质量特征的特征分值进行排序包括:
在分别以内容质量特征的特征分值和展示质量特征的特征分值作为一个维度的二维图像上对所述多个软件的质量分进行可视化排序。
13.一种软件质量评价系统,用于:
获取需要进行质量评价的软件;以及
使用根据权利要求1-9中任一项所述的方法,计算所述软件的质量分。
14.如权利要求13所述的系统,其中,获取需要进行质量评价的软件包括如下至少一项:
接收用户上传的软件程序;
接收用户提交的软件下载链接;以及
抓取作为云应用的所述软件的界面。
15.如权利要求13所述的系统,还用于:
给出所述软件的修改意见。
16.如权利要求13所述的系统,其中,
获取需要进行质量评价的软件包括:
获取需要进行质量评价的多个软件,并且
计算所述软件的质量分包括:
计算所述多个软件的质量分。
17.如权利要求16所述的系统,还用于:
基于所述多个软件的质量分,对所述多个软件进行排序。
18.一种软件质量评价装置,包括:
特征获取单元,用于获取所述软件的界面的界面质量特征,所述界面质量特征包括内容质量特征和展示质量特征中的至少一项特征;
项目特征分计算单元,用于计算所述至少一项特征中每一项的特征分值;以及
软件质量分计算单元,用于根据所述特征分值计算所述软件的质量分。
19.如权利要求18所述的装置,其中,所述界面质量特征是界面全球化质量特征,并且所述界面全球化质量特征包括如下至少一项:
至少一个界面本地化质量特征;以及
界面本地化切换质量特征。
20.如权利要求18所述的装置,其中,所述内容质量特征包括语言内容质量特征以及内容格式质量特征,所述展示质量特征包括界面呈现质量特征和界面交互质量特征,并且所述界面质量特征包括语言内容质量特征、内容格式质量特征、界面呈现质量特征和界面交互质量特征中的至少两项特征,并且
所述页面质量分计算单元进一步用于:
为所述至少两项特征中的每一项分配特征权重;以及
通过对所述至少两项特征的特征分值进行加权来计算所述软件的质量分。
21.如权利要求18所述的装置,其中,所述项目特征分计算单元用于:
确定每一项特征的缺陷严重程度;
基于所述缺陷严重程度,计算所述至少一项特征中每一项所扣的特征分值,并且
所述软件质量分计算单元用于:
从预定分数减去每一项所扣的特征分值,得到所述软件的质量分。
22.如权利要求18所述的装置,其中,所述软件包括如下至少一项:
安装在客户端上的应用;
云应用。
23.如权利要求18所述的装置,还包括:
复杂度评级单元,用于对所述软件进行复杂度评级,并且
所述软件质量分计算单元用于:
针对同一缺陷,为复杂度更高的软件扣去更小的特征分值。
24.如权利要求18所述的装置,还包括:
排序单元,用于对由所述软件质量分计算单元计算的多个软件的质量分进行排序。
25.如权利要求24所述的装置,其中,所述排序单元包括:
可视化单元,在分别以内容质量特征的特征分值和展示质量特征的特征分值作为一个维度的二维图像上对所述多个软件的质量分进行可视化排序。
26.一种计算设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-12中任一项所述的方法。
27.一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1-12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910965604.2A CN112650664A (zh) | 2019-10-12 | 2019-10-12 | 软件质量评价和排序的方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910965604.2A CN112650664A (zh) | 2019-10-12 | 2019-10-12 | 软件质量评价和排序的方法、系统及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112650664A true CN112650664A (zh) | 2021-04-13 |
Family
ID=75343599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910965604.2A Pending CN112650664A (zh) | 2019-10-12 | 2019-10-12 | 软件质量评价和排序的方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112650664A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008012172A1 (en) * | 2006-07-27 | 2008-01-31 | International Business Machines Corporation | Automatic globalization verification testing for user interfaces |
CN103218269A (zh) * | 2013-03-22 | 2013-07-24 | 北京飞流九天科技有限公司 | 应用软件评分方法及系统 |
CN104503916A (zh) * | 2015-01-05 | 2015-04-08 | 中国石油大学(华东) | 一种系统界面可用性定量评估方法 |
CN106412080A (zh) * | 2016-10-21 | 2017-02-15 | 李丽亚 | 一种基于网络服务实现软件本地化和国际化的方法 |
CN106569956A (zh) * | 2016-11-18 | 2017-04-19 | 湖南工学院 | 一种人机交互界面人因适合性的检测系统和方法 |
CN108009076A (zh) * | 2017-11-29 | 2018-05-08 | 大陆汽车投资(上海)有限公司 | 车载用户界面的评估及优化方法 |
CN108280668A (zh) * | 2017-01-06 | 2018-07-13 | 中兴通讯股份有限公司 | 一种终端的用户界面的评价方案的确定方法和装置 |
CN109064029A (zh) * | 2018-08-03 | 2018-12-21 | 贵州大学 | 基于认知特性的信息界面布局美度评价方法 |
CN110007994A (zh) * | 2019-03-29 | 2019-07-12 | 南京南瑞继保电气有限公司 | 一种软件国际化方法及系统 |
CN110109821A (zh) * | 2019-03-19 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 软件程序质量评价方法、装置、计算机设备及存储介质 |
-
2019
- 2019-10-12 CN CN201910965604.2A patent/CN112650664A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008012172A1 (en) * | 2006-07-27 | 2008-01-31 | International Business Machines Corporation | Automatic globalization verification testing for user interfaces |
CN103218269A (zh) * | 2013-03-22 | 2013-07-24 | 北京飞流九天科技有限公司 | 应用软件评分方法及系统 |
CN104503916A (zh) * | 2015-01-05 | 2015-04-08 | 中国石油大学(华东) | 一种系统界面可用性定量评估方法 |
CN106412080A (zh) * | 2016-10-21 | 2017-02-15 | 李丽亚 | 一种基于网络服务实现软件本地化和国际化的方法 |
CN106569956A (zh) * | 2016-11-18 | 2017-04-19 | 湖南工学院 | 一种人机交互界面人因适合性的检测系统和方法 |
CN108280668A (zh) * | 2017-01-06 | 2018-07-13 | 中兴通讯股份有限公司 | 一种终端的用户界面的评价方案的确定方法和装置 |
CN108009076A (zh) * | 2017-11-29 | 2018-05-08 | 大陆汽车投资(上海)有限公司 | 车载用户界面的评估及优化方法 |
CN109064029A (zh) * | 2018-08-03 | 2018-12-21 | 贵州大学 | 基于认知特性的信息界面布局美度评价方法 |
CN110109821A (zh) * | 2019-03-19 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 软件程序质量评价方法、装置、计算机设备及存储介质 |
CN110007994A (zh) * | 2019-03-29 | 2019-07-12 | 南京南瑞继保电气有限公司 | 一种软件国际化方法及系统 |
Non-Patent Citations (2)
Title |
---|
司国东;赵玉;: "移动娱教软件的界面评价标准研究", 电化教育研究, no. 05, 31 May 2017 (2017-05-31) * |
张晓丰;程红斌;张凤鸣;: "实用软件用户界面评价模型", 微电子学与计算机, no. 11, 31 December 2006 (2006-12-31) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122400B (zh) | 使用视觉提示细化查询结果的方法、计算系统及存储介质 | |
Elder et al. | Audit sampling research: A synthesis and implications for future research | |
US20060265646A1 (en) | System, method, and computer program product for detection of potentially-problematic terminology in documents | |
JP2009181536A (ja) | ソフトウェアの障害管理装置、テスト管理装置、ならびにそれらのプログラム | |
Johnson et al. | Comparison of analytical sensitivity and women’s interpretation of home pregnancy tests | |
Bevan et al. | Are guidelines and standards for web usability comprehensive? | |
US20170109346A1 (en) | System and method for ensuring the quality of a translation of content through real-time quality checks of reviewers | |
US9304785B2 (en) | Localizing a software product | |
Dudley et al. | Towards a harmonised framework for developing quality of care indicators for global health: A scoping review of existing conceptual and methodological practices | |
CN112486808B (zh) | 一种系统测试方法、装置、电子设备及存储介质 | |
CN111127223B (zh) | 保险产品测试方法、装置和存储介质 | |
CN112650664A (zh) | 软件质量评价和排序的方法、系统及装置 | |
CN111143220B (zh) | 一种软件测试的训练系统及方法 | |
CN116644102A (zh) | 投资对象的智能遴选方法、系统终端及计算机可读存储介质 | |
KR102467096B1 (ko) | 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치 | |
CN106021087A (zh) | 代码检测方法及装置 | |
CN115269502A (zh) | 投标文件处理方法、设备及存储介质 | |
EP1986133B1 (en) | Automatic review of variable imaging jobs | |
CN113918370A (zh) | 类别确定方法、装置、电子设备和存储介质 | |
King | Evaluating translation | |
CN113326206B (zh) | 数据加工系统的测试方法、设备、存储介质及程序产品 | |
JPWO2015001721A1 (ja) | ユーザインタフェース検査方法、装置およびプログラム | |
CN113052440B (zh) | 基于客户评价对业务服务评估的方法和装置 | |
WO2023187869A1 (ja) | テスト支援装置、テスト支援方法、およびテスト支援プログラム | |
TWI819239B (zh) | 產品物質檢查系統及產品物質檢查方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40050025 Country of ref document: HK |