CN104160690A - 区域提取结果的显示方法和图像处理装置 - Google Patents

区域提取结果的显示方法和图像处理装置 Download PDF

Info

Publication number
CN104160690A
CN104160690A CN201280071297.XA CN201280071297A CN104160690A CN 104160690 A CN104160690 A CN 104160690A CN 201280071297 A CN201280071297 A CN 201280071297A CN 104160690 A CN104160690 A CN 104160690A
Authority
CN
China
Prior art keywords
color
result
images
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280071297.XA
Other languages
English (en)
Other versions
CN104160690B (zh
Inventor
湊善久
柳川由纪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104160690A publication Critical patent/CN104160690A/zh
Application granted granted Critical
Publication of CN104160690B publication Critical patent/CN104160690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/024—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour registers, e.g. to control background, foreground, surface filling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在本发明中，生成在对象图像上合成提取结果图像而得到的合成图像，将该合成图像显示在显示装置中。在生成提取结果图像时，从包含估计前景区域和估计背景区域之间的边界且跨估计前景区域和估计背景区域双方的边界周边区域内的像素组中提取全部的或代表性的多个颜色，将提取结果图像的颜色决定为，使其成为尽量与所提取的多个颜色均不同的颜色。

Description

区域提取结果的显示方法和图像处理装置
技术领域
本发明涉及用于容易理解地显示对图像进行区域提取的结果的技术。
背景技术
在计算机的一个数字图像处理中存在被称为区域提取(分割(Segmentation))的处理。区域提取处理是根据颜色、边缘等图像特征将对象图像分离为前景(要提取的部分)和背景(前景以外的部分)的处理，例如用于提取作为图像处理、图像识别的对象的物体和人物的部分的目的等。
提出了各种区域提取处理的算法，其提取精度也得到提高，但是，无法保证通过1次处理就能够无误地仅提取用户的意图的部分。因此，在几乎所有的系统中，都准备了对提取结果进行画面显示并使用户确认所提取的前景区域是否过度和不足、是否需要重新处理等的功能。作为提取结果的显示方法，存在在原始图像上描绘所提取的前景区域的轮廓线的方法(参照非专利文献1)、通过掩模(mask)图像覆盖并隐藏背景区域并仅显示前景区域的方法(参照非专利文献2)、在原始图像上覆盖显示表示前景区域、背景区域的单色的掩模图像的方法(参照非专利文献3)等。
在以往的系统中，为了提高表示提取结果的轮廓线或掩模图像的可视性，大多使用品红色或黄色这样的醒目的颜色作为轮廓线、掩模图像的描绘色。但是，在原始图像的前景、背景中包含与轮廓线或掩模图像的描绘色类似的颜色的情况下，轮廓线、掩模图像的范围不明确，不可能或难以判断所提取的区域的过度和不足。该情况下，以往通过以下方法来应对：用户多次切换轮廓线、掩模图像的显示/非显示来确认是轮廓线、掩模图像的颜色还是原始图像的颜色，或者在能够改变描绘色的系统的情况下，由用户自己选择看上去容易视觉确认的颜色。然而，在这样的以往的方法中，给用户增加了额外的操作负担，因此是不理性的。此外，在原始图像中包含各种色相的情况下，有时难以判断哪种描绘色是适当的。
现有技术文献
非专利文献
非专利文献1:Carsten Rother,Vladimir Kolmogorov and Andrew Blake,"GrabCut":interactive foreground extraction using iterated graph cuts,in proceedings of ACMSIGGRAPH 2004 Papers,pp.309-314,2004
非专利文献2:O.Duchenne,J.-Y.Audibert,Fast interactive segmentation using colorand textural information<http://imagine.enpc.fr/％7Eaudibert/RR0626.pdf>,CERTISTechnical report 06-26,2006
非专利文献3:Interactive image segmentation by maximal similarity based regionmerging,Jifeng Ning,Lei Zhang,David Zhan,Chengke Wu.Pattern Recognition 43(2010)445-456
发明内容
发明要解决的问题
本发明是鉴于上述实际情况而完成的，其目的在于提供如下技术，不会给用户增加额外的操作负担，在任何对象图像的情况下都能够以容易视觉确认的颜色来显示区域提取处理的结果。
用于解决问题的手段
为了达成上述目的，在本发明中采用如下构成：在原始图像上合成并显示提取结果时，挑选前景和背景的边界周边的颜色，以成为尽量与这些颜色不同的颜色的方式，自动决定提取结果图像的颜色。
具体而言，本发明是用于显示将对象图像划分为前景区域和背景区域的区域提取处理的结果的方法，其特征在于包含：结果取得步骤，计算机取得针对对象图像的区域提取处理的结果；提取结果图像生成步骤，计算机根据所述取得的结果，生成表示由区域提取处理估计出的估计前景区域、估计背景区域、或估计前景区域与估计背景区域之间的边界的提取结果图像；以及显示步骤，计算机生成在所述对象图像上合成所述提取结果图像得到的合成图像，将所述合成图像在显示装置中进行显示，所述提取结果图像生成步骤包含：颜色提取步骤，从包含估计前景区域和估计背景区域之间的边界且跨估计前景区域和估计背景区域双方的边界周边区域内的像素组中，提取全部的或代表性的多个颜色；以及颜色决定步骤，将所述提取结果图像的颜色决定为，使其成为尽量与所述颜色提取步骤中提取的所述多个颜色中的任意一个颜色都不同的颜色。
这样，如果决定了提取结果图像的颜色，则当在对象图像上合成了提取结果图像时，至少在边界周边区域内，提取结果图像的颜色和对象图像的颜色之间出现明显不同。于是，能够明确地视觉确认提取结果图像的外延、即估计前景区域和估计背景区域的交界线，因此，能够容易地判断所提取出的区域是否与用户意图的区域一致。此外，根据本发明，能够自动选择提取结果图像的最适合的颜色，因此，不会给用户增加额外的操作负担。
优选的是，所述提取结果图像是使用所述颜色决定步骤中决定的颜色填充估计前景区域或估计背景区域而得到的图像，所述合成图像是在所述对象图像上以规定的透过率覆盖所述提取结果图像而得到的图像。通过这样的覆盖显示，能够一目了然地掌握所提取的估计前景区域是否与用户意图的前景区域一致。
在所述合成图像中，如果描绘所述提取结果图像中的填充区域的轮廓线则更好。通过具有轮廓线，估计前景区域和估计背景区域的交界线变得更加明确。可通过能够与填充区域进行区分的任意颜色来描绘轮廓线。例如，也可以使用与填充区域的填充色相同的颜色以低于所述填充区域的透过率来描绘轮廓线。此外，也可以使用色相与填充区域的填充色相同、彩度和亮度中的至少一方与填充区域的填充色不同的颜色来描绘轮廓线。或者也可以是，在所述颜色决定步骤中，将不同色相的2个颜色决定为，使它们成为尽量与所述颜色提取步骤中提取出的所述多个颜色均不同的颜色，并使用其中一方作为填充区域的填充色，使用另一方作为轮廓线的颜色。
此外，可以根据所述显示装置的显示分辨率来决定所述轮廓线的粗细。由此，无论使用哪种显示分辨率的显示装置都能够确保良好的可视性。此外，还优选根据所述对象图像的图像尺寸来决定所述轮廓线的粗细。
优选的是，在所述合成图像中，所述提取结果图像中的填充区域的颜色或透过率在接近和远离填充区域的轮廓的部分处不同，或者从接近轮廓的部分处朝向远离轮廓的部分处进行变化。由此，接近轮廓的部分相对地醒目，因此，能够得到使提取结果图像的外延明确的视觉效果。
在覆盖显示以外，还能够采用如下的显示方式。例如，所述提取结果图像优选是使用所述颜色决定步骤中决定的颜色描绘了估计前景区域和估计背景区域之间的边界线而得到的图像。即使通过这样仅显示边界线，也能够确认所提取的区域是否与用户意图的区域一致。此外，该情况下，也根据显示分辨率来决定边界线的粗细，由此能够不依赖于显示装置的显示分辨率而确保良好的可视性。此外，也可以根据对象图像的图像尺寸来决定边界线的粗细。
或者，作为所述提取结果图像，还可以使用对其他区域进行遮挡的掩模图像，以仅显示估计前景区域。该情况下，也可以是，从估计前景区域中的至少包含与估计背景区域相邻的部分的边界周边区域内的像素组中，提取全部的或代表性的多个颜色，将所述掩模图像的颜色决定为，使其成为尽量与所提取的所述多个颜色均不同的颜色。虽然此时的边界周边区域只要包含“估计前景区域中的与估计背景区域相邻的部分”即可，但是，也可以设定为包含“估计背景区域中的与估计前景区域相邻的部分”。由此，能够容易地详细确认所提取的估计前景区域的过度和不足。
此外，作为所述提取结果图像，还可以使用对其他区域进行遮挡的掩模图像，以仅显示估计背景区域。该情况下，也可以是，从估计背景区域中的至少包含与估计前景区域相邻的部分的边界周边区域内的像素组中，提取全部的或代表性的多个颜色，将所述掩模图像的颜色决定为，使其成为尽量与所提取的所述多个颜色均不同的颜色。虽然此时的边界周边区域包含“估计背景区域中的与估计前景区域相邻的部分”即可，但是，也可以设定为包含“估计前景区域中的与估计背景区域相邻的部分”。由此，能够容易地详细确认所提取的估计背景区域的过度和不足。
此外，也可以是，在所述颜色决定步骤中，以使得分别相对于所述颜色提取步骤中提取的所述多个颜色的色差的绝对值的合计成为最大的方式，来决定所述提取结果图像的颜色。或者，还优选的是，在所述颜色决定步骤中，将所述提取结果图像的颜色决定为，使其具有在将所述颜色提取步骤中提取的所述多个颜色映射到色相环时在所述色相环上映射点最稀疏的部分的色相。后者的情况下，也可以任意设定提取结果图像的亮度和彩度。
此外，优选的是，在所述显示步骤中，以规定的周期自动地切换所述提取结果图像的显示/非显示。通过对提取结果图像的显示/非显示进行切换，能够更详细地进行对象图像和提取结果的对比。而且，由于自动进行显示/非显示的切换，因此不会给用户增加操作负担。
另外，能够获得包含上述处理中的至少任意一个处理的区域提取结果的显示方法作为本发明，还能够获得包含该显示方法的区域提取方法作为本发明。此外，还能够获得用于使计算机执行这些方法的各步骤的程序、记录该程序的存储介质作为本发明。此外，还能够获得进行上述处理的手段中的至少任意一个手段的图像处理装置、区域提取装置作为本发明。
发明的效果
根据本发明，不会给用户增加额外的操作负担，在任何对象图像的情况下都能够以容易视觉确认的颜色来显示区域提取处理的结果。
附图说明
图1是示意地示出具有区域提取功能的图像处理装置的结构的图。
图2是区域提取处理的流程图。
图3是示出区域提取处理的操作画面的一例的图。
图4是示出第1实施方式的提取结果图像生成处理的详细情况的流程图。
图5用于说明决定第1实施方式的提取结果图像的显示色的算法的图。
图6是用于说明第1实施方式的提取结果显示方法的效果的示意图。
图7是示出第2实施方式的提取结果图像生成处理的详细情况的流程图。
图8是用于说明决定第2实施方式的提取结果图像的显示色的算法的图。
图9是用于说明第3实施方式的显示方法的图。
图10是用于说明第4实施方式的显示方法的图。
图11是用于说明第5实施方式的显示方法的图。
图12是用于说明第6实施方式的显示方法的图。
具体实施方式
本发明涉及用于容易理解地显示将对象图像划分为前景区域和背景区域的区域提取处理(称为分割、区域分割处理)的结果的方法。区域提取处理例如被利用于在图像检查中从原始图像中提取检查对象物的区域的处理、通过图像编辑进行背景合成时从原始图像中仅裁剪前景部分的处理、从医用图像中仅提取诊断对象的脏器和部位的处理等各种领域，本发明的方法能够应用于利用区域提取处理的所有系统。
＜第1实施方式＞
(装置结构)
图1示意地示出具有区域提取功能的图像处理装置的结构。
图像处理装置1由装置主体10、显示装置11、存储装置12、输入装置13等的硬件构成。显示装置11是用于显示作为区域提取处理的对象的图像、提取处理的结果、与区域提取处理有关的GUI画面等的设备，例如可使用液晶显示器等。存储装置12是存储图像数据、处理结果等的设备，例如可利用HDD、SSD、闪存、网络存储等。输入装置13是用户为了对装置主体10输入指示而进行操作的设备，可以利用鼠标、键盘、触摸面板、专用控制台等。
装置主体10在硬件上可以由具有CPU(中央运算处理装置)、主存储装置(RAM)、辅助存储装置(ROM、HDD、SSD等)的计算机构成，在功能上具有图像取得部14、区域提取部15、提取结果显示部16。这些功能是通过将辅助存储装置或存储装置12中存储的计算机程序下载到主存储装置中并由CPU执行而实现的。另外，图1仅是示出装置结构的一例，也可以将显示装置11、存储装置12、输入装置13的全部或一部分与装置主体10一体化。另外，装置主体10可以由个人计算机或平板式终端那样的计算机构成，或者，也能够由专用芯片或机载计算机等构成。
(区域提取处理)
参照图2和图3来说明区域提取处理的全体的流程。图2是区域提取处理的流程图，图3是区域提取处理的操作画面。
在起动区域提取功能后，在显示装置11中显示图3的操作画面。该操作画面中设有图像窗口30、图像取入按钮31、前景指定按钮32、背景指定按钮33、执行按钮34、自动切替按钮35、结束按钮36。能够使用输入装置13来进行按钮的选择和后述的前景/背景的指定等。另外，该操作画面毕竟仅是一例，可以使用任何的UI，只要能够进行以下说明的输入操作和图像及提取结果的确认等即可。
在用户按下图像取入按钮31后，图像取得部14读入作为处理的对象的原始图像(对象图像)(步骤S20)。作为图像数据的取得目的地，例如考虑装置主体10的辅助存储装置、存储装置12、其他计算机、网络存储、照相机、扫描仪等。图像取得部14根据需要，还进行使用户指定取得目的地、要取得的数据的处理。
如图3的上段所示，在步骤S20中取入的图像被显示在操作画面的图像窗口30中(步骤S21)。
在步骤S22中，区域提取部15使用户指定前景和背景的初始值。为了指定前景的初始值，用户在按下操作画面的前景指定按钮32并设为前景指定模式后，在显示于图像窗口30中的图像上指定要作为前景的部分。关于此处的指定，由于目的是挑选前景的代表性的颜色，因此，用户只要适当选择要提取为前景的物体的一部分像素或像素组即可。如果在前景中包含有花纹、阴影、颜色大不相同的部分等的情况下，优选以尽量网罗这些颜色的方式选择像素组。例如，当要从图3所示的图像中仅提取跟前的米勒弗耶蛋糕(millefeuille cake)的区域，则可以分别指定酥皮、奶油、草莓的像素。在输入背景的初始值的情况下，在按下背景指定按钮33并切换为背景指定模式后，进行同样的操作。另外，前景和背景的初始值的输入不是必须的。可以仅输入前景和背景中的任意一方，在代表色是已知的情况下，或能够根据图像的颜色分布等自动地计算代表色的情况下，也可以省略步骤S22。
在用户按下执行按钮34后，区域提取部15使用步骤S22中指定的前景/背景作为初始值，对对象图像应用区域提取处理(步骤S23)。另外，针对区域提取处理提出了大量的算法，区域提取部15可利用任意的算法，因此此处省略详细说明。区域提取部15的提取结果(区域估计结果)被提供到提取结果显示部16。另外，提取结果的数据形式是任意的，例如能够在前景区域和背景区域中使用改变了标签的位掩码(bitmask)、或者用贝塞尔曲线或样条曲线表现前景区域和背景区域之间的边界的矢量数据。
提取结果显示部16根据步骤S23中取得的信息来生成提取结果图像(步骤S24)，生成在对象图像上合成提取结果图像后得到的合成图像并将其显示于显示装置11中(步骤S25)。图3的下段示出将提取结果图像37(阴影部分)覆盖显示在对象图像上的例子。用户通过观察这样的合成图像，能够确认意图的部分(例：米勒弗耶蛋糕的部分)是否没有过度和不足而作为前景区域被提取，即意图的部分和提取结果图像之间是否没有偏差。后面详细说明提取结果的显示方法。
在显示了提取结果图像的状态时，在用户按下自动切替按钮35后，提取结果显示部16以规定的周期(例如每隔几秒)自动地切换提取结果图像的显示/非显示。即，交替地切换图3的下段的画面和上段的画面。通过切换提取结果图像的显示/非显示，能够更详细地进行对象图像和提取结果的对比。而且，由于该方法能够自动进行显示/非显示的切换，因此不会给用户增加操作负担。
然后，在用户按下结束按钮36后，区域提取部15将提取结果的数据存储在存储装置12中(步骤S26)，结束处理。另外，在步骤S23的区域提取处理的结果不适当的情况下，在进行前景/背景的再指定(步骤S22)或其他参数的调整(未图示)等后，重新进行区域提取处理即可。此外，在图3的下段所示的画面中，优选设置能够手动修正前景区域的边界的接口。
(提取结果的显示)
接着，参照图4和图5来说明第1实施方式的提取结果的显示方法。图4是示出图2的步骤S24所示的提取结果图像生成处理的详细情况的流程图，图5是用于说明决定提取结果图像的显示色的算法的图。以下，将通过区域提取处理估计出的前景区域称作“估计前景区域”，将通过区域提取处理估计出的背景区域称作“估计背景区域”。
提取结果显示部16根据步骤S23中取得的提取结果，在对象图像上设定边界周边区域(步骤S240)。如图5所示，边界周边区域50包含估计前景区域51和估计背景区域52之间的边界53(虚线部)，并且，被设定为跨估计前景区域51和估计背景区域52双方。在本实施方式中，将以边界53为中心的规定宽度(例如，在前景侧和背景侧分别为5个像素，合计10像素的宽度)的范围作为边界周边区域50。
接着，提取结果显示部16依次调查边界周边区域50内的像素组，提取边界周边区域50中所包含的全部颜色(步骤S241)。关于图4的处理，可以使用任意的颜色空间进行计算，但在本实施方式中，使用RGB图像作为对象图像，在计算中直接使用图像的像素值(RGB值)。图5中用(r1，g1，b1)、(r2，g2，b2)、…、(rm，gm，bm)示出从边界周边区域50中提取出的m个颜色。下面将这些颜色称为提取色c1～cm。此外，在本实施方式中，预先准备了作为提取结果图像的显示色而选择的颜色的候选。图5的(R1，G1，B1)、(R2，G2，B2)、…、(Rn，Gn，Bn)示出n个候选色C1～Cn。
接着，提取结果显示部16针对n个候选色C1～Cn中的每个候选色，计算与m个提取色c1～cm之间的差(步骤S242)。这里，如下式那样，将某个候选色Ci分别与m个提取色c1～cm之间的色差ΔE(Ci、ck)的绝对值的合计定义为该候选色Ci与m个提取色c1～cm之间的差Di。另外，根据颜色空间上的距离求出色差。
[式1]
Di = &Sigma; k = 1 m | &Delta;E ( Ci , ck ) | = &Sigma; k = 1 m ( Ri - rk ) 2 + ( Gi - gk ) 2 + ( Bi - bk ) 2 , ( i = 1,2 , . . . , n )
然后，提取结果显示部16选择差Di称为最大的候选色，作为提取结果图像的显示色(步骤S243)。由此，能够尽量选择与边界周边区域内的哪个颜色都不同的颜色作为显示色。
接着，提取结果显示部16生成用步骤S243中决定的显示色填充估计前景区域内而得到的图像作为提取结果图像(步骤S244)。此时，估计前景区域(填充区域)成为半透明(例如透过率50％)，估计背景区域成为透明(透过率100％)，设定提取结果图像的α通道。在图2的步骤S25中，将通过以上处理而生成的提取结果图像合成(α混合)在对象图像上。
(本实施方式的优点)
图6是用于说明本实施方式的提取结果显示方法的效果的示意图。(a)是对象图像，在青色的背景60中存在红色的三角物体61。假设目的是从该图像中提取三角物体61作为前景。(b)是通过区域提取处理得到的估计前景区域62和估计背景区域63的一例。提取了矩形的形状作为估计前景区域62，其与用户意图的前景区域(三角物体61)不同。
(c)作为现有例，示出了以半透明的方式覆盖显示通过预先决定的显示色(品红色)填充估计前景区域62得到的图像的例子。该情况下，由于显示色和三角物体61的颜色类似，因此可知不便于视觉确认估计前景区域62的范围。
(d)示出使用用本实施方式的方法求出的显示色的情况的显示例。该显示色选择了与对象图像的背景60的颜色和三角物体61的颜色均不同的颜色。因此，能够分别明确地视觉确认对象图像的背景60、三角物体61、所提取的估计前景区域62。由此，能够确认估计前景区域62过大的部分64和估计前景区域62不足的部分65，能够一目了然地掌握所提取的估计前景区域62是否与作为用户意图的前景区域的三角物体61一致。
不仅是图6那样的简单的图像，针对如通过照相机拍摄的图像那样包含大量颜色的图像也能够得到同样的效果，这是不言而喻的。即，如果通过本实施方式的方法决定提取结果图像的显示色，则在对象图像上合成了提取结果图像时，至少在边界周边区域内，提取结果图像的颜色和对象图像的颜色之间出现明显不同。于是，能够明确地视觉确认提取结果图像的外延、即估计前景区域和估计背景区域的交界线，因此，能够容易得判断所提取的区域是否与用户意图的区域一致。此外，根据该方法，能够自动选择提取结果图像的最合适的显示色，因此不会给用户增加额外的操作负担。
这里，作为一个特征，不是参照对象图像整体的颜色，而是仅比较边界周边区域内的颜色来决定提取结果图像的显示色。例如对象图像中包含有各种各样的色相的情况下，无法设定与全部这些色相明显不同的颜色，无法避免提取结果图像的显示色会与对象图像中的一部分颜色类似。如果在提取结果图像的轮廓上或其周边存在类似色的像素组，则存在提取结果图像的外延不明确的可能性。关于这方面，如果如本实施方式那样限定边界周边区域，则相比于观察对象图像全体的情况，比较对象的颜色数量变得非常少，容易设定提取结果图像的显示色。而且，能够保证至少在提取结果图像的轮廓及其周边(即，边界周边区域内)不存在与提取结果图像的颜色类似的颜色，因此，不会发生提取结果图像的外延不明确的情况。另外，在边界周边区域的外侧存在提取结果图像和对象图像的颜色类似的可能性，但是，只要提取结果图像的外延明确，就能够确认所提取的区域是否正确，因此，在边界周边区域的外侧的颜色类似不会产生问题。
＜第2实施方式＞
接着，说明本发明的第2实施方式。在第1实施方式中，以使得对于来自边界周边区域的提取色的色差的绝对值的合计成为最大的方式决定显示色，与此相对，在第2实施方式中，不同之处在于，选择色相与来自边界周边区域的提取色最不同的颜色作为显示色。即，仅置换图2的流程中的步骤S24的处理的内容，其以外的结构和处理与第1实施方式相同。
图7和图8示出第2实施方式的提取结果的显示方法。图7是示出图2的步骤S24所示的提取结果图像生成处理的详细情况的流程图，图8是用于说明决定提取结果图像的显示色的算法的图。另外，在图7的流程中，针对与第1实施方式中的图4的流程相同的处理标注相同的步骤号码。
提取结果显示部16与第1实施方式的处理同样地设定边界周边区域(步骤S240)。
接着，提取结果显示部16针对边界周边区域50内的各个像素来计算色相角H，将该色相角H映射到色相环上(步骤S700)。例如能够通过下式进行从像素的RGB值(r，g，b)向色相角H的转换。
[式2]
tan H = 3 ( g - b ) 2 r - g - b
在全部点的映射结束后，提取结果显示部16将度数较小(低于阈值)的色相角的映射点去除(步骤S701)。图8示出这样得到的色相环直方图的一例。该色相环直方图是在圆周方向顺时针取色相角0～360°(12点的位置是0°)、在径向外侧取映射点的度数而得到的。在该例中可知，在色相角120°的周边(绿色)和色相角240°的周边(蓝色)这2个部位集中了映射点。
接着，提取结果显示部16计算色相环直方图上映射点最稀疏的部分的色相(步骤S702)。例如，在不存在映射点的色相范围中检测范围最大的部位，求出其中心的色相即可。在图8的例中，约240°～0°～约120°的色相范围最大且空闲，选择其中心即约0°(红色)作为显示色的色相。
接着，提取结果显示部16决定显示色的亮度和彩度(步骤S703)。本发明者们在进行试验时发现，对于提高可视性最有效果的是色相的不同，亮度和彩度(只要亮度、彩度不是特别低)对于可视性的影响没有那么大。因此，将亮度和彩度设定为成为一定程度的高度即可。例如，也可以将显示色的亮度和彩度设为固定值。或者，也可以计算边界周边区域内的像素的平均亮度和平均彩度，以使得与该平均亮度、平均彩度的差尽量大的方式决定显示色的亮度和彩度(其中，预先确定亮度和彩度的下限值)。
接着，提取结果显示部16根据步骤S702、S703中决定的色相/亮度/彩度来计算显示色的RGB值(步骤S704)。然后，提取结果显示部16与第1实施方式同样地生成提取结果图像(步骤S244)，并在对象图像上进行覆盖显示。
根据以上说明的方法，除了与第1实施方式同样的作用效果以外，还具有如下优点。即，由于在显示色中选择与边界周边区域内包含的色相处于补色关系的色相，因此，相比于第1实施方式的方法，能够实现可视性更优异的显示。此外，在步骤S701中将度数较小的色相排除，通过与边界周边区域内的代表性的(占主导的)色相之间的比较来决定显示色的色相，因此，即使在包含噪声的图像或各种色相同时存在的图像的情况下，也能够求出可视性优异的妥当的显示色。
＜第3实施方式＞
接着，说明本发明的第3实施方式。在第1和第2实施方式中，在对象图像上覆盖显示了填充区域(估计前景区域)，但是，在第3实施方式中，除此之外还描绘填充区域的轮廓线。
在图9(a)中示出由带轮廓线的填充区域构成的提取结果图像的显示例。通过描绘这样的轮廓线90，估计前景区域和估计背景区域的交界线变得更加明确。这在估计前景区域和估计背景区域的边界是复杂形状或错综复杂的情况下，特别有效。
下面举出轮廓线90的描绘色的决定方法的一例。
(1)使用与填充区域91的填充色相同的颜色作为轮廓线90的描绘色。但是，使填充区域91和轮廓线90的与对象图像合成时的透过率不同。由于轮廓线90的可视性较高时较好，因此，可以使轮廓线90的透过率比填充区域91低，典型地，也可以使轮廓线90的透过率为零。
(2)使用色相与填充区域91的填充色相同、亮度或彩度或者它们双方与填充区域91的填充色不同的颜色作为轮廓线90的描绘色。此时，可以根据边界周边区域的平均亮度、平均彩度来决定轮廓线90的描绘色的亮度、彩度。例如，在边界周边区域的平均亮度较高(明亮的像素较多)的情况下，低亮度的轮廓线90比较醒目，在平均亮度较低的情况下，高亮度的轮廓线90比较醒目。
(3)在通过第1实施方式或第2实施方式的方法决定填充色的情况下，还决定轮廓线90的描绘色。在第1实施方式的方法的情况下，能够选择差Di最大的候选色作为填充色，选择差Di第2大的候选色作为轮廓线的描绘色。在第2实施方式的方法的情况下，如图9(b)所示，在不存在映射点的色相范围中检测最大范围的部位，以将该色相范围三等分的方式选择2个色相，将一方用作填充色、另一方用作轮廓线的描绘色即可。在图9(b)的例中，约240°～0°～约120°的色相范围最大且空闲，因此，选择约320°和约40°这2个色相。通过这样的方法，能够对轮廓线90和填充区域91双方设定可视性高的颜色。
轮廓线90的粗细(像素数)是任意的，但是如果过粗则反而不便看出估计前景区域的形状，因此，可以设定为1～10个像素左右。此外，轮廓线90的粗细可以根据显示装置的显示分辨率来决定。即，在低分辨率的显示装置的情况下，将像素数设为相对较少，在高分辨率的显示装置的情况下，将像素数设为相对较多。由此，无论使用哪种显示分辨率的显示装置都能够确保良好的可视性。或者，也可以根据对象图像的图像尺寸来决定轮廓线90的粗细。即，在图像尺寸较小的情况下，将像素数设为相对较少，在图像尺寸较大的情况下，将像素数设为相对较多。由此，能够不依赖于对象图像的图像尺寸而确保良好的可视性。
＜第4实施方式＞
图10示出本发明的第4实施方式。图10(a)是使提取结果图像的填充区域100的颜色在接近填充区域100的轮廓的部分101和远离填充区域100的轮廓的部分102处不同的显示例。例如，可以不改变色相，而将接近轮廓的部分101的彩度、亮度设为相对较高。这样，通过使填充区域100内的颜色变化，接近轮廓的部分101相对较为醒目，因此，能够得到提取结果图像的外延变得更加明确的视觉效果。图10(b)是在图10(a)上进一步描绘了轮廓线103的显示例。由此，能够进一步提高可视性。另外，在图10(a)、(b)中使颜色在2个阶段变化，但是，也可以使颜色在3个阶段以上变化，还优选连续地改变颜色。图10(c)是从接近轮廓的部分朝向远离轮廓的部分连续地改变颜色的显示例(灰度级显示)。当颜色的交界线醒目时，用户可能误解对象图像中的边缘和花纹，但是，在灰度级显示的情况下，具有能够抑制发生这样的视觉错觉的优点。灰度级显示的情况下，也可以如图10(b)那样描绘轮廓线。另外，在本实施方式中，改变了填充色，但是，也可以不改变颜色而改变在α通道中设定的透过率，由此也能够得到相同的视觉效果。
＜第5实施方式＞
图11示出本发明的第5实施方式。在第1～第4实施方式中，显示了填充前景区域后的图像，但是，在第5实施方式中，采用仅描绘前景区域和背景区域之间的边界线的显示方法。
图11(a)是用1条线描绘边界线110的例子。通过与第1和第2实施方式中说明的方法相同的方法，将边界线110的描绘色设定为使其成为尽量与边界周边区域内的像素组的颜色不同的颜色。仅通过这样显示边界线110作为提取结果图像，就能够明确地确认前景区域和背景区域的交界线，因此，能够确认所提取的区域的是否正确。该方法在前景区域和背景区域的边界是复杂形状或错综复杂的情况下特别有效。另外，可以将边界线110的透过率设为零，也可以以半透明进行显示。
边界线110的粗细(像素数)是任意的，但是如果过粗则反而不便看出前景区域、背景区域的形状，因此，可以设定为1～10个像素左右。此外，边界线110的粗细可以根据显示装置的显示分辨率来决定。即，在低分辨率的显示装置的情况下，将像素数设为相对较少，在高分辨率的显示装置的情况下，将像素数设为相对较多。由此，无论使用哪种显示分辨率的显示装置都能够确保良好的可视性。或者，也可以根据对象图像的图像尺寸来决定边界线110的粗细。即，在图像尺寸较小的情况下，将像素数设为相对较少，在图像尺寸较大的情况下，将像素数设为相对较多。由此，能够不依赖于对象图像的图像尺寸而确保良好的可视性。
图11(b)是用平行的2条线描绘边界线110的例子。在2条线之间设有几个像素的间隔，以估计前景区域和估计背景区域的边界出现在该间隔的正中间的方式进行描绘。通过这样的显示方法，不仅能够确认边界线的形状，还能够确认边界上的像素的颜色等，因此，能够更准确地判断所提取的区域是否正确。另外，可以以相同颜色、相同粗细来描绘2条线，也可以使2条线的颜色、透过率、粗细、形状(实线/虚线)等不同。如果通过后者的方法对估计前景区域侧的线和估计背景区域侧的线进行区分，则具有能够容易地判断由边界线划分的区域的哪方是前景的优点。
＜第6实施方式＞
图12中示出本发明的第6实施方式。在第1～第4实施方式中，覆盖显示了填充估计前景区域后的图像，但是，在第6实施方式中，采用如下显示方法：遮挡(mask)估计背景区域(或估计前景区域)，仅显示估计前景区域(或仅估计背景区域)。
图12(a)是遮挡了估计背景区域的显示例。通过与第1和第2实施方式中说明的方法相同的方法，将此时使用的掩模图像(提取结果图像)的颜色设定为，使其成为尽量与边界周边区域内的像素组的颜色不同的颜色。由此，被遮挡的区域和估计前景区域的交界线变得明确。而且，画面中仅显示估计前景区域的像素，因此，容易发现估计前景区域过大的部分(用户希望应该被判定为背景区域的像素包含于估计前景区域中的状态)。
图12(b)是遮挡了估计前景区域的显示例。通过与第1和第2实施方式中说明的方法相同的方法来设定此时使用的掩模图像(提取结果图像)的颜色。在这样仅显示估计背景区域的像素的情况下，容易发现估计前景区域不足的部分(用户希望应该被判定为前景区域的像素包含于背景区域中的状态)。
＜其他＞
上述的实施方式示出本发明的一个具体例，本发明的范围不限定于这些具体例。例如，在第1实施方式中计算了与边界周边区域内包含的全部颜色之间的差，但是，也可以如第2实施方式那样仅考虑边界周边区域内的代表性的颜色。此外，边界周边区域的宽度也可以不固定。例如，在边界错综复杂的部位，为了重视可视性，与边界单调的部位(直的边界等)相比可以增大宽度。此外，在上述实施方式中，以估计前景区域和估计背景区域的边界为中心设定了边界周边区域，但是，也可以不是必须以边界为中心。例如，如果是在估计前景区域上覆盖显示填充图像，则填充图像和估计背景区域的区分十分重要，因此可以增大背景区域侧的宽度。此外，在如图12(a)那样对估计前景区域和掩模图像进行合成显示的情况下，也可以通过仅在估计前景区域侧设定边界周边区域，将掩模图像的颜色决定为使其与边界周边的估计前景区域内的颜色尽量不同。相反，在如图12(b)那样对估计背景区域和掩模图像进行合成显示的情况下，也可以仅在估计背景区域侧设定边界周边区域。
在第1～第4实施方式中，使用对前景区域进行填充后的图像作为提取结果图像，但是，也可以将对估计背景区域进行填充后的图像作为提取结果图像而进行覆盖显示。通过该方法能够得到与上述的实施方式相同的作用效果。并且，还优选由用户自由选择上述的各实施方式的显示方法，并能够进行切换。
标号说明
1：图像处理装置
10：装置主体，11：显示装置，12：存储装置，13：输入装置，14：图像取得部，15：区域提取部，16：提取结果显示部
30：图像窗口，31：图像取入按钮，32：前景指定按钮，33：背景指定按钮，34：执行按钮，35：自动切替按钮，36：结束按钮，37：提取结果图像
50：边界周边区域，51：估计前景区域，52：估计背景区域，53：边界
60：背景，61：三角物体，62：估计前景区域，63：估计背景区域，64：估计前景区域过大的部分，65：估计前景区域不足的部分
90：轮廓线，91：填充区域
100：填充区域，101：接近轮廓的部分，102：远离轮廓的部分，103：轮廓线
110：轮廓线

Claims (16)

1.一种区域提取结果的显示方法，其是用于显示将对象图像划分为前景区域和背景区域的区域提取处理的结果的方法，其特征在于包含：
结果取得步骤，计算机取得针对对象图像的区域提取处理的结果；
提取结果图像生成步骤，计算机根据所述取得的结果，生成表示由区域提取处理估计出的估计前景区域、估计背景区域、或估计前景区域与估计背景区域之间的边界的提取结果图像；以及
显示步骤，计算机生成在所述对象图像上合成所述提取结果图像得到的合成图像，将所述合成图像在显示装置中进行显示，
所述提取结果图像生成步骤包含：
颜色提取步骤，从包含估计前景区域和估计背景区域之间的边界且跨估计前景区域和估计背景区域双方的边界周边区域内的像素组中，提取全部的或代表性的多个颜色；以及
颜色决定步骤，将所述提取结果图像的颜色决定为，使其成为尽量与所述颜色提取步骤中提取的所述多个颜色中的任意一个颜色都不同的颜色。
2.根据权利要求1所述的区域提取结果的显示方法，其特征在于，
所述提取结果图像是使用所述颜色决定步骤中决定的颜色填充估计前景区域或估计背景区域而得到的图像，
所述合成图像是在所述对象图像上以规定的透过率覆盖所述提取结果图像而得到的图像。
3.根据权利要求2所述的区域提取结果的显示方法，其特征在于，
在所述合成图像中，描绘所述提取结果图像中的填充区域的轮廓线。
4.根据权利要求3所述的区域提取结果的显示方法，其特征在于，
所述轮廓线是使用与所述填充区域的填充色相同的颜色并以低于所述填充区域的透过率而被描绘的。
5.根据权利要求3所述的区域提取结果的显示方法，其特征在于，
所述轮廓线是使用色相与所述填充区域的填充色相同、且彩度和亮度中的至少一方与所述填充区域的填充色不同的颜色而被描绘的。
6.根据权利要求3所述的区域提取结果的显示方法，其特征在于，
在所述颜色决定步骤中，将不同色相的2个颜色决定为，使它们成为尽量与所述颜色提取步骤中提取的所述多个颜色中的任意一个颜色都不同的颜色，
使用所决定的2个颜色中的一方作为所述提取结果图像中的填充区域的填充色，使用另一方作为所述填充区域的轮廓线的颜色。
7.根据权利要求3～6中的任意一项所述的区域提取结果的显示方法，其特征在于，
根据所述显示装置的显示分辨率或所述对象图像的图像尺寸来决定所述轮廓线的粗细。
8.根据权利要求2～7中的任意一项所述的区域提取结果的显示方法，其特征在于，
在所述合成图像中，所述提取结果图像中的填充区域的颜色或透过率，在接近填充区域的轮廓的部分和远离填充区域的轮廓的部分处不同，或者从接近轮廓的部分朝向远离轮廓的部分进行变化。
9.根据权利要求1所述的区域提取结果的显示方法，其特征在于，
所述提取结果图像是使用所述颜色决定步骤中决定的颜色描绘了估计前景区域和估计背景区域之间的边界线而得到的图像，
根据所述显示装置的显示分辨率或所述对象图像的图像尺寸来决定所述边界线的粗细。
10.一种区域提取结果的显示方法，其是用于显示将对象图像划分为前景区域和背景区域的区域提取处理的结果的方法，其特征在于包含：
结果取得步骤，计算机取得针对对象图像的区域提取处理的结果；
提取结果图像生成步骤，计算机根据所述取得的结果，为了仅显示通过区域提取处理估计出的估计前景区域，生成对其他区域进行遮挡的掩模图像；以及
显示步骤，计算机生成在所述对象图像上合成所述掩模图像得到的合成图像，将所述合成图像在显示装置中进行显示，
所述提取结果图像生成步骤包含：
颜色提取步骤，从估计前景区域中的至少包含与估计背景区域相邻的部分的边界周边区域内的像素组中，提取全部的或代表性的多个颜色；以及
颜色决定步骤，将所述掩模图像的颜色决定为，使其成为尽量与所述颜色提取步骤中提取的所述多个颜色中的任意一个颜色都不同的颜色。
11.一种区域提取结果的显示方法，其是用于显示将对象图像划分为前景区域和背景区域的区域提取处理的结果的方法，其特征在于包含：
结果取得步骤，计算机取得针对对象图像的区域提取处理的结果；
提取结果图像生成步骤，计算机根据所述取得的结果，为了仅显示通过区域提取处理估计出的估计背景区域，生成对其他区域进行遮挡的掩模图像；以及
显示步骤，计算机生成在所述对象图像上合成所述掩模图像得到的合成图像，将所述合成图像在显示装置中进行显示，
所述提取结果图像生成步骤包含：
颜色提取步骤，从估计背景区域中的至少包含与估计前景区域相邻的部分的边界周边区域内的像素组中，提取全部的或代表性的多个颜色；以及
颜色决定步骤，将所述掩模图像的颜色决定为，使其成为尽量与所述颜色提取步骤中提取的所述多个颜色中的任意一个颜色都不同的颜色。
12.根据权利要求1～11中的任意一项所述的区域提取结果的显示方法，其特征在于，
在所述颜色决定步骤中，以使得分别相对于所述颜色提取步骤中提取的所述多个颜色的色差的绝对值的合计成为最大的方式，来决定所述提取结果图像的颜色。
13.根据权利要求1～11中的任意一项所述的区域提取结果的显示方法，其特征在于，
在所述颜色决定步骤中，将所述提取结果图像的颜色决定为，使其具有在将所述颜色提取步骤中提取的所述多个颜色映射到色相环上时在所述色相环上映射点最稀疏的部分的色相。
14.根据权利要求1～13中的任意一项所述的区域提取结果的显示方法，其特征在于，
在所述显示步骤中，以规定的周期自动地切换所述提取结果图像的显示/非显示。
15.一种程序，其特征在于，
该程序使计算机执行权利要求1～14中的任意一项所述的区域提取结果的显示方法的各步骤。
16.一种图像处理装置，其生成用于显示将对象图像划分为前景区域和背景区域的区域提取处理的结果的图像，其特征在于，该图像处理装置具有以下单元：
结果取得单元，其取得针对对象图像的区域提取处理的结果；
提取结果图像生成单元，其根据所述取得的结果，生成表示通过区域提取处理估计出的估计前景区域、估计背景区域、或估计前景区域和估计背景区域之间的边界的提取结果图像；
输出单元，其生成在所述对象图像上合成所述提取结果图像得到的合成图像，将所述合成图像输出到显示装置，
所述提取结果图像生成单元具有：
颜色提取单元，其从包含估计前景区域和估计背景区域之间的边界且跨估计前景区域和估计背景区域双方的边界周边区域内的像素组中，提取全部的或代表性的多个颜色；以及
颜色决定单元，其将所述提取结果图像的颜色决定为，使其成为尽量与由所述色提取单元提取的所述多个颜色中的任意一个颜色都不同的颜色。
CN201280071297.XA 2012-03-14 2012-11-16 区域提取结果的显示方法和图像处理装置 Active CN104160690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-057369 2012-03-14
JP2012057369A JP5962083B2 (ja) 2012-03-14 2012-03-14 領域抽出結果の表示方法及び画像処理装置
PCT/JP2012/079844 WO2013136593A1 (ja) 2012-03-14 2012-11-16 領域抽出結果の表示方法及び画像処理装置

Publications (2)

Publication Number Publication Date
CN104160690A true CN104160690A (zh) 2014-11-19
CN104160690B CN104160690B (zh) 2017-03-01

Family

ID=49160546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071297.XA Active CN104160690B (zh) 2012-03-14 2012-11-16 区域提取结果的显示方法和图像处理装置

Country Status (6)

Country Link
US (1) US9812086B2 (zh)
EP (1) EP2827576A4 (zh)
JP (1) JP5962083B2 (zh)
KR (1) KR101658719B1 (zh)
CN (1) CN104160690B (zh)
WO (1) WO2013136593A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486598A (zh) * 2014-12-31 2015-04-01 国家电网公司 一种视频监控方法及装置
CN105069453A (zh) * 2015-08-12 2015-11-18 青岛海信电器股份有限公司 一种图像校正方法及装置
CN105974874A (zh) * 2015-03-13 2016-09-28 欧姆龙株式会社 控制装置
CN107463544A (zh) * 2016-06-06 2017-12-12 汇仕电子商务（上海）有限公司 图形可视化配置方法
CN107918944A (zh) * 2016-10-09 2018-04-17 北京奇虎科技有限公司 一种图片色彩填充方法及装置
CN108024027A (zh) * 2016-11-02 2018-05-11 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN108055483A (zh) * 2017-11-30 2018-05-18 努比亚技术有限公司 一种照片合成方法、移动终端及计算机可读存储介质
CN108705974A (zh) * 2017-03-22 2018-10-26 丰田自动车株式会社 车辆用显示控制装置、控制系统及控制方法
CN110502205A (zh) * 2019-08-29 2019-11-26 百度在线网络技术（北京）有限公司 图片显示边缘处理方法、装置、电子设备和可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
US10318067B2 (en) * 2014-07-11 2019-06-11 Hewlett-Packard Development Company, L.P. Corner generation in a projector display area
JP6211484B2 (ja) * 2014-08-12 2017-10-11 東芝機械株式会社 画像処理装置
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
KR102267397B1 (ko) * 2016-10-25 2021-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102001944B1 (ko) * 2017-12-27 2019-07-19 충북대학교 산학협력단 색상 상호작용 네트워크 지도의 제작방법
US10574890B2 (en) 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
US10915995B2 (en) * 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
KR102566738B1 (ko) * 2018-10-15 2023-08-16 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022021836A (ja) 2020-07-22 2022-02-03 ブラザー工業株式会社 印字ラベル作成処理プログラム、記憶媒体、ラベル作成装置の制御装置、及び、印字ラベル作成処理方法
CN112181270A (zh) * 2020-09-29 2021-01-05 南方科技大学 图像分割标注方法、模型训练方法、装置及存储介质
CN112884867B (zh) * 2021-03-17 2022-03-11 杭州太火鸟科技有限公司 基于图片的组合模板生成方法、装置、设备及存储介质
CN113592773B (zh) * 2021-06-25 2023-07-25 东莞市鑫泰仪器仪表有限公司 一种阀门泄漏监测的无线声学成像方法及装置
CN113808235A (zh) * 2021-09-16 2021-12-17 平安普惠企业管理有限公司 颜色填充方法、装置、设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
JP2000030037A (ja) * 1998-07-10 2000-01-28 Casio Comput Co Ltd 撮影装置
JP2001043376A (ja) * 1999-07-30 2001-02-16 Canon Inc 画像抽出方法及び装置並びに記憶媒体
JP2001188910A (ja) * 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
US6839463B1 (en) * 2000-12-22 2005-01-04 Microsoft Corporation System and method providing subpixel-edge-offset-based determination of opacity
JP3972722B2 (ja) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ 車載画像処理装置
US7471815B2 (en) * 2004-08-31 2008-12-30 Siemens Medical Solutions Usa, Inc. Candidate generation for lung nodule detection
KR101194133B1 (ko) * 2005-03-31 2012-10-25 파나소닉 주식회사 화상 처리 방법, 표시 화상 처리 방법, 화상 처리 장치,화상 처리 프로그램 및 그 화상 처리 장치를 포함하는집적회로
US8456694B2 (en) * 2005-05-06 2013-06-04 Hewlett-Packard Development Company, L.P. System and method for proofing a page for color discriminability problems based on color names
GB0510793D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Segmentation of digital images
US7899258B2 (en) * 2005-08-12 2011-03-01 Seiko Epson Corporation Systems and methods to convert images into high-quality compressed documents
JP4167680B2 (ja) * 2005-09-14 2008-10-15 Ｎｅｃアクセステクニカ株式会社 原稿読取装置および原稿読取方法
US8013870B2 (en) * 2006-09-25 2011-09-06 Adobe Systems Incorporated Image masks generated from local color models
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
JP2009172970A (ja) * 2008-01-28 2009-08-06 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
US8218877B2 (en) * 2008-12-23 2012-07-10 National Chiao Tung University Tracking vehicle method by using image processing
JP5312166B2 (ja) * 2009-04-13 2013-10-09 キヤノン株式会社 画像処理装置及び制御方法及びプログラム
JP6489761B2 (ja) * 2014-05-14 2019-03-27 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
AU2015227469A1 (en) * 2015-09-17 2017-04-06 Canon Kabushiki Kaisha Method, apparatus and system for displaying video data

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486598A (zh) * 2014-12-31 2015-04-01 国家电网公司 一种视频监控方法及装置
CN105974874A (zh) * 2015-03-13 2016-09-28 欧姆龙株式会社 控制装置
CN105069453A (zh) * 2015-08-12 2015-11-18 青岛海信电器股份有限公司 一种图像校正方法及装置
CN107463544A (zh) * 2016-06-06 2017-12-12 汇仕电子商务（上海）有限公司 图形可视化配置方法
CN107918944A (zh) * 2016-10-09 2018-04-17 北京奇虎科技有限公司 一种图片色彩填充方法及装置
US10535113B2 (en) 2016-11-02 2020-01-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for generating a mask image
CN108024027A (zh) * 2016-11-02 2018-05-11 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN108024027B (zh) * 2016-11-02 2021-02-09 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN108705974A (zh) * 2017-03-22 2018-10-26 丰田自动车株式会社 车辆用显示控制装置、控制系统及控制方法
CN108705974B (zh) * 2017-03-22 2022-04-19 丰田自动车株式会社 车辆用显示控制装置、控制系统及控制方法
CN108055483A (zh) * 2017-11-30 2018-05-18 努比亚技术有限公司 一种照片合成方法、移动终端及计算机可读存储介质
CN110502205A (zh) * 2019-08-29 2019-11-26 百度在线网络技术（北京）有限公司 图片显示边缘处理方法、装置、电子设备和可读存储介质
CN110502205B (zh) * 2019-08-29 2023-08-01 百度在线网络技术（北京）有限公司 图片显示边缘处理方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
EP2827576A4 (en) 2016-09-28
EP2827576A1 (en) 2015-01-21
US9812086B2 (en) 2017-11-07
KR20140133547A (ko) 2014-11-19
WO2013136593A1 (ja) 2013-09-19
CN104160690B (zh) 2017-03-01
JP2013191054A (ja) 2013-09-26
JP5962083B2 (ja) 2016-08-03
KR101658719B1 (ko) 2016-09-21
US20150138225A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
CN104160690A (zh) 区域提取结果的显示方法和图像处理装置
TWI524734B (zh) 產生深度圖的方法及裝置
US8724894B1 (en) Colorization of digital imagery
US20120274626A1 (en) Stereoscopic Image Generating Apparatus and Method
US20110229024A1 (en) Devices and Methods for Processing Images Using Scale Space
EP3358844A1 (en) Method and apparatus for processing an image property map
CN104966285B (zh) 一种显著性区域的检测方法
US8369609B2 (en) Reduced-complexity disparity map estimation
CN102103749A (zh) 用于确定像素的平均颜色值的方法和系统
EP2849426A1 (en) Color video processing system and method, and corresponding computer program
CN102903098A (zh) 一种基于图像清晰度差异的深度估计方法
CN101246593B (zh) 一种彩色图像边缘检测方法及设备
US20130287292A1 (en) Image processing apparatus, image processing method and computer program product
CN103942756B (zh) 一种深度图后处理滤波的方法
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
Álvarez et al. Shadow resistant road segmentation from a mobile monocular system
He et al. Effective haze removal under mixed domain and retract neighborhood
EP3246878A1 (en) Method to determine chromatic component of illumination sources of an image
JP2014142866A (ja) 車線識別装置および車線識別方法
Ross et al. Learning static object segmentation from motion segmentation
Ismael Comparative Study for Different Color Spaces of Image Segmentation Based on Prewitt Edge Detection Technique
WO2018034287A1 (ja) 情報処理装置及びプログラム
EP2677496B1 (en) Method and device for determining a depth image
WIN et al. Comparison between Edge Detection and K-Means Clustering Methods for Image Segmentation and Merging
EP3598389A1 (en) Method for detecting occlusions in an image, corresponding device and computer program product

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant