CN113767410A - 信息生成装置、信息生成方法以及计算机程序 - Google Patents
信息生成装置、信息生成方法以及计算机程序 Download PDFInfo
- Publication number
- CN113767410A CN113767410A CN202080032053.5A CN202080032053A CN113767410A CN 113767410 A CN113767410 A CN 113767410A CN 202080032053 A CN202080032053 A CN 202080032053A CN 113767410 A CN113767410 A CN 113767410A
- Authority
- CN
- China
- Prior art keywords
- information
- mark
- deletion
- addition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000012217 deletion Methods 0.000 claims abstract description 89
- 230000037430 deletion Effects 0.000 claims abstract description 89
- 239000003550 marker Substances 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000007792 addition Methods 0.000 claims description 80
- 238000012937 correction Methods 0.000 claims description 49
- 230000037303 wrinkles Effects 0.000 claims description 7
- 239000011148 porous material Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 238000013518 transcription Methods 0.000 description 9
- 230000035897 transcription Effects 0.000 description 9
- 238000012795 verification Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000017520 skin disease Diseases 0.000 description 2
- 206010012335 Dependence Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
减轻用户在正解信息的生成过程中的工作负荷。信息生成装置(100)具备：信息管理部(101)，其将拍摄人物的皮肤而得到的图像、表示由工作者对于图像中的皮肤的特征部分所做的标记的标记信息、与表示由专家对于标记信息所做的增删的增删信息相关联地进行管理；以及标记UI处理部(102)，其对图像重叠显示标记信息所表示的标记和增删信息所表示的增删。
Description
技术领域
本公开涉及信息生成装置、信息生成方法以及计算机程序。
背景技术
研究了从拍摄人物的皮肤而得到的图像中自动检测该皮肤上的色斑和毛孔等的各种算法。例如，专利文献1中公开了将图像所包含的人物的面部(脸部)区域进行分割并基于在各分割区域测定出的亮度值的在该分割区域内的分布状况来判定面部区域内的色斑和毛孔的状态的技术。
现有技术文献
专利文献1：日本特开2018-092351号公报
发明内容
为了测定从拍摄人物的皮肤而得到的图像中检测如色斑和毛孔这样的特征部分的算法的精度，需要准确地确定了图像中的该特征部分的正解(正确答案)信息。难以完全自动地生成这种正解信息，正解信息的生成过程中的至少一部分包括由用户做的工作。
本公开的非限定性的实施例有助于提供减轻用户在正解信息的生成过程中的工作负荷的技术。
本公开的一个技术方案涉及的信息生成装置具备：信息管理部，其将拍摄人物的皮肤而得到的图像、表示由第1用户对于所述图像中的皮肤的特征部分所做的标记(marking)的标记信息与表示由第2用户对于所述标记信息所做的增删(增添和删减)的增删信息相关联地进行管理；以及标记UI(User Interface，用户界面)处理部，其对所述图像重叠显示所述标记信息所表示的标记和所述增删信息所表示的增删。
此外，这些总括性的或者具体的技术方案既可以由系统、装置、方法、集成电路、计算机程序或者记录介质来实现，也可以由系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
根据本公开的非限定性的实施例，能够减轻用户在正解信息的生成过程中的工作负荷。
从说明书及附图可知晓本公开的一个技术方案中的进一步的优点及效果。上述优点和/或效果分别由若干个实施方式和说明书及附图所记载的特征提供，但无需为了获得一个或一个以上相同的特征而提供所有的实施方式和特征。
附图说明
图1是用于说明本实施方式涉及的信息生成装置的利用例的图。
图2是表示本实施方式涉及的算法验证系统的构成例的图。
图3是表示本实施方式涉及的信息管理部中的信息的管理例的图。
图4A是表示本实施方式涉及的面部图像的例子的图。
图4B是表示本实施方式涉及的标记的例子的图。
图4C是表示本实施方式涉及的ROI(Region Of Interest，感兴趣区域)的例子的图。
图4D是表示本实施方式涉及的修正标记的例子的图。
图4E是表示本实施方式涉及的正解标记的例子的图。
图5是表示本实施方式涉及的标记的整合的例子的图。
图6是用于说明本实施方式涉及的使用标记UI的标记输入的图。
图7是用于说明本实施方式涉及的使用增删UI的标记增删的图。
图8是用于说明本实施方式涉及的使用标记UI的标记修正的图。
图9是用于说明本实施方式涉及的使用增删UI的标记认可(赞同)的图。
图10是表示本实施方式涉及的工作者的标记与正解标记的重叠显示的例子的图。
图11是用于说明本实施方式涉及的对于另一面部图像的正解标记的誊写(转抄)的例子的图。
图12是表示本公开的实施方式涉及的硬件结构的一例的图。
具体实施方式
以下，适当参照附图，详细对本发明的实施方式进行说明。但是，有时会省略过于详细的说明。例如，有时会省略对已经公知的事项的详细说明和/或实质上相同的构成的重复说明。这是为了避免以下的说明变得不必要地冗长，且使本领域技术人员容易理解。
此外，附图及以下的说明是为了让本领域技术人员充分理解本公开而提供的，并非意在由它们限定权利要求书中记载的主题。
＜信息生成装置的利用例＞
信息生成装置100是用于生成正解信息的装置，正解信息是准确地表示拍摄人物的面部而得到的图像(以下称为“面部图像”)中的色斑的区域的信息。此外，以下虽然以面部图像为例进行说明，但是本实施方式不限于面部图像而能够应用于拍摄人物的皮肤而得到的各种图像(例如手臂图像以及腿脚图像)。另外，以下虽然以色斑为例进行说明，但是本实施方式不限于色斑而能够应用于皮肤的各种特征部分(例如毛孔、皱纹、痣以及雀斑等)。由信息生成装置100生成的正解信息对于验证自动检测拍摄人物的皮肤而得到的图像中的特征部分的算法的精度是有用的。
参照图1，说明信息生成装置100的利用例。
信息生成装置100对作为第1用户的一例的工作者提供标记UI500(参照图6)，并从工作者受理对于面部图像的色斑所做标记的输入(S11)。工作者无需为皮肤专家，例如可以是以报酬为目的或者以志愿者身份等参加的普通人。
多个工作者分别操作标记UI500，对同一人物的面部图像输入标记(S12)。
信息生成装置100将由各工作者所做的标记进行整合(S13)。例如，将多个工作者中的预定比例以上的工作者进行的标记留下，将低于预定比例的工作者进行的标记删除。此外，关于标记的整合的详情，稍后进行说明(参照图5)。
信息生成装置100对作为第2用户的一例的专家提供增删UI600(参照图7)，并从专家受理对于工作者进行的标记所做的增删(S14)。专家是能够准确地辨别面部图像中的色斑的皮肤专家，例如可以是医生及医疗从业人员等。专家也可以被称为增删者、管理者或者监督者等。
专家在判断为显示于增删UI600的标记准确地表示了面部图像的色斑的情况下认可标记(S15：是)。在该情况下，信息生成装置100基于被认可的标记，生成正解信息(S16)。
另一方面，专家在判断为显示于增删UI600的标记并没有准确地表示面部图像的色斑的情况下，操作增删UI600，增删标记(S17)。在该情况下，信息生成装置100将包括在S17中所做的增删的标记UI500提供给工作者，受理由工作者对标记的修正(S18)。
各工作者操作标记UI500，基于增删，修正标记(S19)。由各工作者修正后的标记再次被整合(S13)，并通过增删UI600提供给专家(S14)。此外，该整合的对象可以仅为修正后的标记。
通过反复进行上述的S13至S19的处理直到专家认可(S15：是)为止，从而能够生成准确地表示面部图像的色斑的正解信息。另外，根据上述的处理，不会让专家承担准确地标记色斑这一负荷较大的工作，就能够生成准确地表示色斑的正解信息。以下，详细进行说明。
＜算法验证系统的构成＞
图2表示算法验证系统10的构成例。算法验证系统10具备拍摄装置200、信息生成装置100以及算法验证装置300。
＜拍摄装置＞
拍摄装置200例如是相机(camera)，具备拍摄部201。拍摄部201拍摄人物的面部而生成面部图像，并将该面部图像存储于信息生成装置100所具备的信息管理部101。
＜信息生成装置＞
信息生成装置100具备信息管理部101、标记UI处理部102、标记信息生成部103、增删UI处理部104、增删信息生成部105以及正解信息生成部106。
如图3所示，信息管理部101将人物ID、面部图像、拍摄日期时刻、标记信息、增删信息、修正信息和正解信息相关联地进行管理。
人物ID是用于识别人物的信息。如图4A所示，面部图像是人物ID所表示的人物的面部图像20。面部图像20中可能包含色斑21。拍摄日期时刻是拍摄到面部图像20的日期时刻。
如图4B所示，标记信息是表示工作者针对面部图像20的色斑21输入的标记22的信息。标记信息可以包含输入标记22的工作者的识别信息和/或输入标记22的日期时刻。
如图4C所示，增删信息是表示ROI(Region Of Interest，感兴趣区域)23的信息，ROI23表示专家针对标记22进行了增删的范围。增删信息可以包含进行增删的专家的识别信息和/或进行增删的日期时刻。
如图4D所示，修正信息是表示工作者基于ROI23所输入的修正标记24的信息。修正信息可以包含输入修正标记24的工作者的识别信息和/或进行修正的日期时刻。
如图4E所示，正解信息是表示正解标记25的信息，正解标记25是对于面部图像20的色斑21的准确的标记。正解信息基于专家认可的标记信息和/或修正信息来生成。正解信息可以包含进行认可的专家的识别信息和/或进行认可的日期时刻。
标记UI处理部102提供标记UI500，标记UI500用于工作者针对面部图像的色斑输入标记22、或基于由专家给出的ROI23输入修正标记24。例如，标记UI处理部102从信息管理部101取得面部图像20并将其显示于标记UI500。而且，标记UI处理部102从工作者受理对于面部图像20的色斑21的标记22的输入。
例如，标记UI处理部102从信息管理部101取得相互关联的面部图像20、标记信息与增删信息，并对面部图像20重叠显示标记信息所表示的标记22和增删信息所表示的ROI23。而且，标记UI处理部102从工作者受理ROI23中的修正标记24的输入。此外，关于标记UI500的详情，稍后进行说明(参照图6、图8)。
标记信息生成部103基于通过标记UI500所输入的标记22，生成标记信息。此时，标记信息生成部103可以将各工作者输入的标记22整合而生成标记信息。此外，关于标记的整合的详情，稍后进行说明。标记信息生成部103将其生成的标记信息与面部图像20相关联地存储于信息管理部101。另外，标记信息生成部103基于通过标记UI500所输入的修正标记24，生成修正信息。标记信息生成部103将其生成的修正信息存储于信息管理部101。
增删UI处理部104提供增删UI600，增删UI600用于专家对面部图像的标记22进行增删及认可。例如，增删UI处理部104从信息管理部101取得相互关联的面部图像20与标记信息，并对面部图像20重叠显示标记信息所表示的标记22。而且，增删UI处理部104从专家受理对于标记22的增删或认可。
例如，增删UI处理部104从信息管理部101取得相互关联的面部图像20、标记信息、增删信息与修正信息，并对面部图像20重叠显示标记信息所表示的标记22、增删信息所表示的ROI23和修正信息所表示的修正标记24。而且，增删UI处理部104从专家受理对于修正标记24的进一步增删或认可。此外，关于增删UI600的详情，稍后进行说明(参照图7、图9)。
增删信息生成部105基于通过增删UI600所输入的ROI23，生成增删信息。增删信息生成部105将其生成的增删信息与面部图像20相关联地存储于信息管理部101。
正解信息生成部106基于在增删UI600中被认可的标记22和/或修正标记24，生成正解标记25。而且，正解信息生成部106基于该正解标记25生成正解信息，将该正解信息与面部图像20相关联地存储于信息管理部101。
＜算法验证装置＞
算法验证装置300具备算法执行部301以及检测精度计算部302。
算法执行部301执行自动从面部图像20检测色斑21的算法，输出表示该检测结果的信息(以下称为“检测结果信息”)。
检测精度计算部302从信息管理部101取得与算法执行部301所使用的面部图像20相关联的正解信息。而且，检测精度计算部302使用该正解信息，计算相对于从算法执行部301输出的检测结果信息的检测精度。检测精度可以由以构成面部图像20的像素为单位的、准确率(accuracy)、精确率(precision)、召回率(recall)和/或F值(F-measure)等表现。由此，能够计算漏检(检测得有欠缺)和误检(过剩的检测)双方的精度。此外，检测精度既可以针对整个面部图像20来计算，也可以针对设定于面部图像20的预定范围内来计算。
为了证明对于像色斑这样的小的皮肤疾病部位的手术(治疗)或者皮肤护理的效果，需要在像素级准确的正解信息。正解信息是经过能够准确地辨别面部图像20中的色斑21的专家的增删而生成的，因此在像素级准确。由此，算法验证装置300能够使用由信息生成装置100生成的正解信息，准确地计算检测像色斑这样的小的皮肤疾病部位的算法的检测精度。
＜标记的整合＞
参照图5，说明标记的整合例。
如图5所示，标记信息生成部103可以将多个工作者各自输入的标记22A、22B、22C、22D进行整合，将预定比例以上的数量的工作者标记了的区域401生成为标记信息。预定比例例如可以任意设定为20％、50％、80％等。
＜标记的输入＞
图6表示标记UI500的一例。参照图6，说明标记的输入例。
标记UI500具有工作区域501、轮廓模式按钮502、标记模式按钮503、颜色变更按钮504、掩模按钮505、参考图像显示按钮506、正解标记誊写按钮507、登记按钮508、增删结果显示按钮509以及修正按钮510。
标记UI处理部102将面部图像20显示于工作区域501，从工作者受理标记22的输入。工作者例如用触控笔或者鼠标，在面部图像20中的觉得像是色斑21的部分输入标记22。
当轮廓模式按钮502被按下(触摸)时，标记UI处理部102将工作区域501切换为用于输入标记22的轮廓的轮廓模式。在轮廓模式下，所输入的轮廓521的内部自动被标记(被填充)。轮廓模式在标记大范围色斑的情况下有用。
当标记模式按钮503被按下时，标记UI处理部102将工作区域501切换为用于直接输入标记22的标记模式。在标记模式下，所触摸的部分被标记(被填充)。标记模式在标记小的色斑的情况下有用。此外，在标记模式下，可以为能够通过鼠标的滚轮将标记22的尺寸(例如被填充的圆的直径)放大及缩小。
当颜色变更按钮504被按下时，标记UI处理部102变更面部图像20的颜色。颜色变更的例子为特定颜色的强调、基于颜色的标准偏差的标准化、非锐化(unsharp)掩模以及伽马校正等。例如，工作者在难以从显示中的面部图像20中判别色斑和阴影的情况下，通过变更颜色而可能判别它们。
当掩模按钮505被按下时，标记UI处理部102在面部图像20中的禁止标记区域(例如眼睛的区域)设定掩模522。标记UI处理部102也可以基于对于面部图像20的面部部位的识别结果自动地设定掩模522。标记UI处理部102也可以基于由专家进行的设定来设定掩模522。标记UI处理部102也可以从工作者受理掩模522的输入。
当参考图像显示按钮506被按下时，标记UI处理部102将与当前显示于工作区域501的面部图像20为同一人物的另一面部图像显示于另一窗口。另一面部图像可以与显示中的面部图像20在明亮度和/或角度等上不同。另外，另一面部图像可以与当前显示于工作区域501的面部图像20对齐地显示于另一窗口。例如，在面部图像20的一部分范围放大地显示于工作区域501的情况下，在另一窗口内，可以将另一面部图像的相同范围放大显示。工作者在难以根据当前显示于工作区域501的面部图像20判别色斑和阴影的情况下，通过参照另一窗口的另一面部图像而可能判别它们。
当正解标记誊写按钮507被按下时，标记UI处理部102针对当前显示于工作区域501的面部图像20，从同一人物的另一面部图像中誊写已生成的正解标记25。在该情况下，标记UI处理部102也可以誊写拍摄日期时刻与当前显示于工作区域501的面部图像20最接近的另一面部图像的正解标记25。由此，能提高标记的工作效率。此外，关于正解标记25的誊写的详情，稍后进行说明(参照图11)。
当登记按钮508被按下时，标记UI处理部102将被输入到工作区域501的标记22输出到标记信息生成部103。标记信息生成部103基于被输出的标记22生成标记信息，并将其与面部图像20相关联地存储于信息管理部101。
关于增删结果显示按钮509以及修正按钮510，稍后进行说明(参照图8)。
如此，标记UI500提供用于高效地标记面部图像中的色斑的各种功能。工作者通过标记UI500，能够高效地标记色斑。
此外，标记UI500也可以将用于工作者练习标记色斑的练习用图像显示于工作区域501。在该情况下，标记UI500也可以对练习用图像重叠显示专家预先进行的标记。
＜标记的增删＞
图7表示增删UI600的一例。参照图7，说明标记的增删例。
增删UI600具有增删区域601、增删理由按钮602(602A、602B、602C、602D)、退回按钮603、差别显示按钮604以及认可按钮605。
增删UI处理部104从信息管理部101取得相互关联的面部图像20与标记信息所示的标记22，并对面部图像20重叠显示标记22。而且，增删UI处理部104从专家受理ROI23的设定。专家例如用触控笔或者鼠标，在指出要修正标记22的范围设定ROI23。
增删理由按钮602是用于对ROI23关联增删理由的按钮。
例如，当专家在尽管不是色斑但却全部被标记了的范围设定ROI23A并按下“完全过剩”的增删理由按钮602A时，增删UI处理部104对该ROI23A关联增删理由“完全过剩”。
例如，当专家在一部分不是色斑的部分被标记了的范围设定ROI23(图7中未图示)并按下“部分过剩”的增删理由按钮602B时，增删UI处理部104对该ROI23关联增删理由“部分过剩”。
例如，当专家在一部分色斑没有被标记的范围设定ROI23C并按下“部分欠缺”的增删理由按钮602C时，增删UI处理部104对该ROI23C关联增删理由“部分欠缺”。
例如，当专家对尽管是色斑但却完全没有被标记的范围设定ROI23D并按下“完全欠缺”的增删理由按钮602D时，增删UI处理部104对该ROI23D关联增删理由“完全欠缺”。
ROI23的显示形式可以按增删理由而使线的形状、线的粗线和/或线的颜色等不同，以使得能够一目了然地区分与该ROI23相关联的增删理由。例如，可以如图7所示那样，用实线显示与关于标记欠缺的增删理由相关联的ROI23C、23D，用虚线显示与关于标记过剩的增删理由相关联的ROI23A。在该情况下，可以在增删UI600中显示ROI23的显示形式的图例。
当退回按钮603被按下时，增删UI处理部104将所设定的ROI23和增删理由向增删信息生成部105输出。增删信息生成部105生成包含该被输出的ROI23和增删理由的增删信息，并将其与面部图像20相关联地存储于信息管理部101。
关于差别显示按钮604以及认可按钮605，稍后进行说明(参照图9)。
如此，增删UI600提供用于高效地增删工作者所进行的标记22的各种功能。由此，专家操作增删UI600，能够高效地增删工作者所进行的标记22。
此外，增删理由的输入不限于由上述的增删理由按钮602实现的选择式的输入。例如，增删UI600可以提供用于针对ROI620输入任意的增删理由的功能。
＜标记的修正＞
参照图8，说明标记的修正例。此外，图8所示的标记UI500与图6示出的是同样的。
当增删结果显示按钮509被按下时，标记UI处理部102从信息管理部101取得相互关联的面部图像20、标记信息所示的标记22与增删信息所示的ROI23和增删理由，并对面部图像20重叠显示标记22、ROI23和增删理由。工作者在ROI23中输入修正标记24。
例如，工作者在被指出增删理由为“完全欠缺”或者“部分欠缺”的ROI23C、23D内追加修正标记24A。在该情况下，追加的修正标记24A显示于工作区域401。追加的修正标记24A与原标记22以不同的形式显示。
例如，工作者将被指出增删理由为“完全过剩”或者“部分过剩”的ROI620A内的至少一部分标记删除。在该情况下，表示被删除这一情况的修正标记24B显示于工作区域401。表示被删除这一情况的修正标记24B与原标记22以不同的形式显示。
当修正按钮510被按下时，标记UI处理部102将修正标记24输出到标记信息生成部103。标记信息生成部103基于该被输出的修正标记24生成修正信息，将该修正信息与面部图像20相关联地存储于信息管理部101。
由此，工作者只要在由专家指出的ROI23内进行修正即可，因此能够高效地修正标记。
＜标记的认可＞
参照图9，说明标记的认可例。此外，图9所示的增删UI600与图7示出的是同样的。
当差别显示按钮604被按下时，增删UI处理部104从信息管理部101取得相互关联的面部图像20、标记信息、增删信息与修正信息。而且，增删UI处理部104对面部图像20重叠显示标记信息所表示的标记22、增删信息所表示的ROI23及增删理由、和修正信息所表示的修正标记24。
当认可按钮605被按下时，增删UI处理部104将显示于增删区域601的标记22、ROI23以及修正标记24输出到正解信息生成部106。正解信息生成部106基于该被输出的标记22以及修正标记24，生成正解标记25(也即是说正解信息)，并将其存储于信息管理部101。
由此，专家只要确认工作者对设定了ROI23的范围所进行的修正即可，因此能够高效地确认工作者的修正。
＜对于工作者的标记的反馈＞
参照图10，说明将工作者输入的标记22与正解标记25的差别反馈给工作者的例子。
如图10所示，在正解标记25的生成完成后，标记UI处理部102可以将工作者输入的标记22与正解标记25重叠显示。在该情况下，标记UI处理部102也可以将工作者输入的标记22是倾向于比正解标记25大还是倾向于比正解标记25小作为得分(score)反馈给工作者。由此，工作者能够认识到自己的标记22的习惯(癖性)，能够从下次开始更准确地标记色斑21。
＜对于另一面部图像的正解标记的誊写＞
参照图11，详细对上述的对于另一面部图像的正解标记25的誊写进行说明。
通过对面部图像20A进行预定的人脸识别处理，如图11所示，能够对面部图像20A确定多个面部特征点P(P1、P2、P3、P4)。
正解标记25可以与如图11的(A)例示的那样由面部特征点P1、P2、P3、P4构成的网格(mesh)区域R1相关联。
如此，通过将正解标记25与网格区域R1相关联，在同一人物的另一面部图像20B中，也能够誊写正解标记25。例如，图11的(A)所示的网格区域R1与图11的(B)所示的网格区域R2由相同的面部特征点P1、P2、P3、P4构成。由此，标记UI处理部102在正解标记誊写按钮507被按下的情况下，针对图11的(B)所示的另一面部图像20B的网格区域R2，将与图11的(A)所示的网格区域R1相关联的正解标记25进行誊写(重叠显示)。由此，对于例如表情和尺寸等不同的另一面部图像20B，也能够在大致正确的色斑的位置誊写正解标记25。
＜变形例＞
图2所示的信息生成装置100的构成是一例。例如，标记UI处理部102以及标记信息生成部103也可以设置于工作者操作的装置(例如PC(个人计算机))。增删UI处理部104、增删信息生成部105以及正解信息生成部106也可以设置于专家操作的装置(例如PC)。信息管理部101也可以设置于经由通信网络与专家以及工作者操作的PC连接的服务器装置。或者也可以，信息生成装置100是连接于互联网的服务器装置，标记UI处理部102向工作者所利用的浏览器提供标记UI500，增删UI处理部104向专家所利用的浏览器提供增删UI600。
标记信息生成部103也可以在将由多个工作者输入的标记进行整合的情况下校正各工作者做标记的习惯。工作者做标记的习惯可以基于该工作者输入的标记与正解标记的差别来确定。此外，在各实施方式中，作为实现由专家所做的增删的高效化的技术进行了说明，但并非限定于此，也可以用于为了满足顾客的需求(例如希望将皱纹减少到这个程度这样的目标)而使专家对于目标的想象(image)与顾客对于目标的想象相符。在此，所谓使想象相符，具体而言是指，针对专家(例如，负责手术的医生)输入的标记，顾客(例如患者)进行增删，由此使作为目标的想象一致。例如，顾客能够通过增删表示如想去掉这个部分的皱纹或者想将皱纹减少到这个程度这样的希望。
＜本实施方式的归纳总结＞
本实施方式涉及的信息生成装置100具备：信息管理部101，其将拍摄人物的皮肤而得到的图像、表示由第1用户(例如工作者)对于图像中的皮肤的特征部分所做的标记的标记信息、与表示由第2用户(例如专家)对于标记信息所做的增删的增删信息相关联地进行管理；以及标记UI处理部102，其对图像重叠显示标记信息所表示的标记和增删信息所表示的增删。皮肤的特征部分也可以是皮肤的色斑、毛孔和皱纹中的任意方。另外，也可以不是对皮肤的特征部分，而是对过去和现在的两枚面部照片的差别的检测(例如，脸颊下垂的变化等)。另外，也可以是物体的识别(例如，物体的腐蚀部分的检测等)。
根据该构成，面部图像、第1用户进行的标记、与第2用户进行的对于标记的增删重叠显示，因此，第1用户能够容易地识别第2用户对自己所输入的标记进行的增删。
标记UI处理部102可以从多个第1用户受理对于图像的标记的输入。信息生成装置100可以还具备标记信息生成部103，标记信息生成部103将由多个第1用户输入的多个标记进行整合而生成标记信息。根据该构成，将由多个第1用户输入的标记整合，因此，与一个第1用户输入标记的情况相比，标记信息表示皮肤的特征部分的精度提高。
信息管理部101可以管理表示基于增删的对由第1用户所做的标记的修正的修正标记信息。信息生成装置100可以还具备正解信息生成部106，正解信息生成部106在第2用户认可了的情况下，基于标记信息和修正标记信息，生成表示对于图像中的皮肤的特征部分的标记(例如正解标记)的正解信息。根据该构成，使用基于增删而被修正了的标记生成正解信息，因此，能够生成准确地标记出皮肤的特征部分的正解信息。
标记UI处理部102可以显示标记信息所表示的标记与正解信息所表示的标记(例如正解标记)的差异。根据该构成，呈现出第1用户输入的标记与正解信息所表示的标记的一致点及不同点，因此，第1用户能够认识到自己进行标记时的习惯，能够从下次开始更准确地对皮肤的特征部分进行标记。
信息生成装置100可以还具备：增删UI处理部104，其对图像重叠显示标记信息所表示的标记，并从第2用户受理对于标记的增删；以及增删信息生成部105，其基于被输入的增删，生成增删信息。根据该构成，第1用户输入的标记重叠显示于面部图像，因此，第2用户能够容易地增删由第1用户所做的标记。
增删信息可以包含表示增删范围(例如ROI)和增删理由的信息，标记UI处理部102可以按增删理由而以不同的形式显示增删范围。根据该构成，增删理由不同，则增删范围的显示形式不同，因此，第1用户能够根据增删范围的显示形式的不同，容易地识别该增删范围内的增删理由。
标记UI处理部102可以将人物相同的、有别于第1面部图像的第2面部图像变形为适合于第1面部图像所包含的面部的形状而显示。根据该构成，第2面部图像以与第1面部图像相适合的形式显示，因此，第1用户能够容易地将第1面部图像中的皮肤的特征部分与第2面部图像进行比较。
标记UI处理部102可以将人物相同的、有别于第1面部图像的第2面部图像的正解信息所表示的标记(例如正解标记)重叠显示于第1面部图像。根据该构成，在第1面部图像中重叠显示正解标记，因此，第1用户能参考正解标记而高效地进行对第1面部图像的标记。
以上，参照附图对本公开涉及的实施方式进行了详细说明，但上述的拍摄装置200、信息生成装置100、算法验证装置300的功能可以由计算机程序实现。
图12是表示通过程序来实现各装置的功能的计算机的硬件结构的图。该计算机2100具备：键盘、鼠标、触控笔和/或触摸板等输入装置2101；显示器或扬声器等输出装置2102；CPU(Central Processing Unit)2103；GPU(Graphics Processing Unit)2104；ROM(Read Only Memory)2105、RAM(Random Access Memory)2106、硬盘装置或SSD(SolidState Drive)等存储装置2107；从DVD-ROM(Digital Versatile Disk Read Only Memory)或USB(Universal Serial Bus)存储器等记录介质读取信息的读取装置2108；以及经由网络进行通信的收发装置2109，各部通过总线2110连接。
而且，读取装置2108从记录有用于实现上述各装置的功能的程序的记录介质读取该程序，并使存储装置2107存储。或者，收发装置2109与连接于网络的服务器装置进行通信，并使存储装置2107存储从服务器装置下载的用于实现上述各装置的功能的程序。
而且，CPU2103将存储于存储装置2107的程序复制(copy)到RAM2106，将该程序所包含的命令从RAM2106依次读出并执行，由此实现上述各装置的功能。
上述实施方式的说明中使用的各功能块典型地被实现为作为集成电路的LSI。它们既可以分别被单芯片化，也可以以包含一部分或全部的方式由单芯片化。在此，虽然设为LSI，但根据集成度的不同，有时也被称为IC、系统LSI、超大(super)LSI、特大(ultra)LSI。
另外，集成电路化的方法不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在制造LSI后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)或者可重构LSI内部的电路单元的连接和设定的可重构处理器。
再者，如果出现通过半导体技术的进步或派生的其他技术来置换LSI的集成电路化的技术，当然，也可以使用该技术进行功能块的集成化。也存在应用生物技术等的可能性。
产业上的可利用性
本公开的一个技术方案对于生成用于验证检测算法的信息是有用的。
标号说明
10算法验证系统；100信息生成装置；101信息管理部；102标记UI处理部；103标记信息生成部；104增删UI处理部；105增删信息生成部；106正解信息生成部；200拍摄装置；201拍摄部；300算法验证装置；301算法执行部；302检测精度计算部；500标记UI；501工作区域；502轮廓模式按钮；503标记模式按钮；504颜色变更按钮；505掩模按钮；506参考图像显示按钮；507正解标记誊写按钮；508登记按钮；509增删结果显示按钮；510修正按钮；600增删UI；601增删区域；602、602A、602B、602C、602D增删理由按钮；603退回按钮；604差别显示按钮；605认可按钮。
Claims (11)
1.一种信息生成装置，具备：
信息管理部，其将拍摄人物的皮肤而得到的图像、表示由第1用户对于所述图像中的皮肤的特征部分所做的标记的标记信息、与表示由第2用户对于所述标记信息所做的增删的增删信息相关联地进行管理；以及
标记用户界面处理部，其对所述图像重叠显示所述标记信息所表示的标记和所述增删信息所表示的增删。
2.根据权利要求1所述的信息生成装置，
所述标记用户界面处理部从多个所述第1用户受理对于所述图像的所述标记的输入，
所述信息生成装置还具备标记信息生成部，所述标记信息生成部将由所述多个第1用户输入的多个标记进行整合而生成一个标记信息。
3.根据权利要求1所述的信息生成装置，
所述信息管理部管理表示基于所述增删的对由所述第1用户所做的标记的修正的修正标记信息，
所述信息生成装置还具备正解信息生成部，所述正解信息生成部在所述第2用户认可了的情况下，基于所述标记信息和所述修正标记信息，生成表示对于所述图像中的皮肤的特征部分的标记的正解信息。
4.根据权利要求3所述的信息生成装置，
所述标记用户界面处理部显示所述标记信息所表示的标记与所述正解信息所表示的标记的差异。
5.根据权利要求1所述的信息生成装置，还具备：
增删用户界面处理部，其对所述图像重叠显示所述标记信息所表示的标记，并从所述第2用户受理对于所述标记的增删；以及
增删信息生成部，其基于被输入的增删，生成所述增删信息。
6.根据权利要求1所述的信息生成装置，
所述增删信息包含表示增删范围和增删理由的信息，
所述标记用户界面处理部按所述增删理由而以不同的形式显示所述增删范围。
7.根据权利要求1所述的信息生成装置，
所述图像是所述人物的第1面部图像，
所述标记用户界面处理部将所述人物相同的、有别于所述第1面部图像的第2面部图像变形为适合于所述第1面部图像所包含的面部的形状而显示。
8.根据权利要求3所述的信息生成装置，
所述图像是所述人物的第1面部图像，
所述标记用户界面处理部将所述人物相同的、有别于所述第1面部图像的第2面部图像的正解信息所表示的标记重叠显示于所述第1面部图像。
9.根据权利要求1所述的信息生成装置，
所述皮肤的特征部分是所述皮肤的色斑、毛孔和皱纹中的任意方。
10.一种信息生成方法，包括：
装置将拍摄人物的皮肤而得到的图像、表示由第1用户对于所述图像中的皮肤的特征部分所做的标记的标记信息、与表示由第2用户对于所述标记信息所做的增删的增删信息相关联地进行管理；以及
装置对所述图像重叠显示所述标记信息所表示的标记和所述增删信息所表示的增删。
11.一种计算机程序，使计算机执行：
将拍摄人物的皮肤而得到的图像、表示由第1用户对于所述图像中的皮肤的特征部分所做的标记的标记信息、与表示由第2用户对于所述标记信息所做的增删的增删信息相关联地进行管理；以及
对所述图像重叠显示所述标记信息所表示的标记和所述增删信息所表示的增删。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019090605 | 2019-05-13 | ||
| JP2019-090605 | 2019-05-13 | ||
| PCT/JP2020/011714 WO2020230444A1 (ja) | 2019-05-13 | 2020-03-17 | 情報生成装置、情報生成方法、及び、コンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113767410A true CN113767410A (zh) | 2021-12-07 |
Family
ID=73289176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080032053.5A Pending CN113767410A (zh) | 2019-05-13 | 2020-03-17 | 信息生成装置、信息生成方法以及计算机程序 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220051001A1 (zh) |
| JP (1) | JP7503757B2 (zh) |
| CN (1) | CN113767410A (zh) |
| WO (1) | WO2020230444A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3650960A1 (fr) * | 2018-11-07 | 2020-05-13 | Tissot S.A. | Procede de diffusion d'un message par une montre |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216386A (ja) | 2000-02-02 | 2001-08-10 | Nippon Telegr & Teleph Corp <Ntt> | 化粧支援装置 |
| JP2002221896A (ja) * | 2001-01-24 | 2002-08-09 | Victor Co Of Japan Ltd | 化粧シミュレーションシステム |
| JP2005310124A (ja) * | 2004-03-25 | 2005-11-04 | Fuji Photo Film Co Ltd | 赤目検出装置、プログラムおよびプログラムを記録した記録媒体 |
| JP5324031B2 (ja) * | 2006-06-20 | 2013-10-23 | 花王株式会社 | 美容シミュレーションシステム |
| JP2008022154A (ja) * | 2006-07-11 | 2008-01-31 | Fujifilm Corp | 化粧支援装置及び方法 |
| EP3399493A4 (en) * | 2015-12-28 | 2018-12-05 | Panasonic Intellectual Property Management Co., Ltd. | Makeup simulation assistance device, makeup simulation assistance method, and makeup simulation assistance program |
| JP6868831B2 (ja) * | 2016-06-30 | 2021-05-12 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| CN109890245A (zh) * | 2016-10-24 | 2019-06-14 | 松下知识产权经营株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| JP6720845B2 (ja) | 2016-12-02 | 2020-07-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN107679507B (zh) | 2017-10-17 | 2019-12-24 | 北京大学第三医院 | 面部毛孔检测系统及方法 |
-
2020
- 2020-03-17 JP JP2021519284A patent/JP7503757B2/ja active Active
- 2020-03-17 CN CN202080032053.5A patent/CN113767410A/zh active Pending
- 2020-03-17 WO PCT/JP2020/011714 patent/WO2020230444A1/ja active Application Filing
-
2021
- 2021-10-27 US US17/511,609 patent/US20220051001A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020230444A1 (zh) | 2020-11-19 |
| WO2020230444A1 (ja) | 2020-11-19 |
| US20220051001A1 (en) | 2022-02-17 |
| JP7503757B2 (ja) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104125392B (zh) | 图像合成装置及图像合成方法 | |
| EP3151197B1 (en) | Automatic measurement of objects in images | |
| Isasi et al. | Melanomas non-invasive diagnosis application based on the ABCD rule and pattern recognition image processing algorithms | |
| CN104811660B (zh) | 控制装置及控制方法 | |
| US20200234444A1 (en) | Systems and methods for the analysis of skin conditions | |
| US20140164968A1 (en) | Medical Photography User Interface Utilizing a Body Map Overlay in Camera Preview to Control Photo Taking and Automatically Tag Photo with Body Location | |
| TW201237802A (en) | Content-providing system using invisible information, invisible information embedding device, recognition device, embedding method, recognition method, embedding program, and recognition program | |
| WO2008115368A2 (en) | Digital system for plastic and cosmetic surgery | |
| JP7322097B2 (ja) | 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体 | |
| CN107845091A (zh) | 基于预筛查的快速标注方法和系统 | |
| TW201222432A (en) | System, device, method, and computer program product for facial defect analysis using angular facial image | |
| Barbero-García et al. | Combining machine learning and close-range photogrammetry for infant’s head 3D measurement: A smartphone-based solution | |
| CN113767410A (zh) | 信息生成装置、信息生成方法以及计算机程序 | |
| JP2014184068A (ja) | 携帯型医用画像表示端末及びその作動方法 | |
| JP2019046239A (ja) | 画像処理装置、画像処理方法、プログラム及び合成用画像データ | |
| JP6915611B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP4565273B2 (ja) | 被写体追跡装置、およびカメラ | |
| JP2020081323A (ja) | 肌分析装置、肌分析方法、及び、コンピュータプログラム | |
| CN112819741A (zh) | 一种图像融合方法、装置，电子设备及存储介质 | |
| JP6607243B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP2010122883A (ja) | 要約作成支援装置、要約作成支援システム及び要約作成支援プログラム | |
| US20080229246A1 (en) | Digital system for plastic and cosmetic surgery | |
| JP2008250791A (ja) | 医療情報処理装置及びプログラム | |
| JP2021049262A (ja) | 画像処理システム及びその制御方法 | |
| JP2021049248A (ja) | 画像処理システム及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211207 |
|
| WD01 | Invention patent application deemed withdrawn after publication |