CN112614138A - 图像处理装置、系统、存储介质及图像处理方法 - Google Patents

图像处理装置、系统、存储介质及图像处理方法 Download PDF

Info

Publication number
CN112614138A
CN112614138A CN202010497818.4A CN202010497818A CN112614138A CN 112614138 A CN112614138 A CN 112614138A CN 202010497818 A CN202010497818 A CN 202010497818A CN 112614138 A CN112614138 A CN 112614138A
Authority
CN
China
Prior art keywords
region
detection method
desired subject
input image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010497818.4A
Other languages
English (en)
Inventor
加茂碧唯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN112614138A publication Critical patent/CN112614138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理装置、系统、存储介质及图像处理方法，所述图像处理装置具备：输入部，输入图像；及处理器，读出并执行存储于存储器的程序，所述处理器通过第1检测方法从所输入的所述图像检测期望被摄体，对检测出的期望被摄体设定期望被摄体区域，并通过与所述第1检测方法不同的第2检测方法从所输入的所述图像检测所述期望被摄体，利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域。

Description

图像处理装置、系统、存储介质及图像处理方法
技术领域
本发明涉及一种图像处理装置、系统、存储介质及图像处理方法。
背景技术
一直以来，提出有对图像进行裁剪的各种技术。
专利文献1中记载有进行图像裁剪的图像裁剪装置。图像裁剪装置具备：图像读取单元，读取成为裁剪对象的图像；关注区域计算单元，将成为裁剪对象的图像分离为复数个区域，按所分离的每个区域求出关注度来计算图像的关注区域；对象存储单元，存储预先对规定的对象学习的对象模型；对象指标计算单元，根据存储于对象存储单元的对象模型，计算映现在图像的对象的指标；裁剪方法存储单元，存储裁剪方法；裁剪方法确定单元，根据通过关注区域计算单元获得的关注度及通过对象指标计算单元获得的对象指标来确定裁剪方法；及裁剪单元，根据通过裁剪方法确定单元确定的裁剪方法对图像进行裁剪。
专利文献2中记载有对通过将人体的诊断对象部位作为被摄体进行放射线摄影而获得的放射线图像实施图像处理的医用图像处理装置。医用图像处理装置具备：区域确定单元，通过分析放射线图像，将放射线图像的照射场区域的一部分区域且包含诊断对象部位的图像区域确定为从放射线图像剪切的图像区域；及裁剪单元，通过剪切所确定的图像区域来生成图像尺寸小于放射线图像的图像。区域确定单元在放射线图像的照射场区域内设定从该放射线图像剪切的图像区域的候选区域，判定该设定的候选区域是否为没有诊断对象部位的缺损的图像区域，判定为该候选区域为没有诊断对象部位的缺损的图像区域时，将该候选区域确定为从放射线图像剪切的图像区域。并且，区域确定单元在放射线图像的照射场区域内设定从该放射线图像剪切的图像区域的候选区域，判定该设定的候选区域是否为没有诊断对象部位的缺损的图像区域，判定为该候选区域为没有诊断对象部位的缺损的图像区域时，将比所设定的候选区域更小的区域依次设定为候选区域，并判定是否为没有诊断对象部位的缺损的图像区域，并将在判定为存在诊断对象部位的缺损的候选区域紧前设定的候选区域确定为从放射线图像剪切的图像区域。
专利文献1：日本专利第4052128号
专利文献2：日本特开2013-102814号公报
在商品摄影的业务流程等中，有时想要一边去除摄影时混入的白色背景等无用背景或映入到端部的阴影、标签、夹子(cilp)等无用物体，一边以可以完整地看到期望被摄体的最小限度的矩形框剪切图像的裁剪处理。
但是，尤其在作为被摄体的模特伸展四肢来摆姿势的情况或手上拿着包等的情况等，有时期望被摄体的端部伸出到通过物体检测推断的被摄体区域的外部，因此若仅依赖物体检测的结果推断被摄体区域来执行图像的裁剪处理，则无法完整地看到期望被摄体。
对此，还可设想在物体检测结果中设置一律成为多余的区域来推断被摄体区域并进行裁剪处理的方法，但根据期望被摄体，有可能产生成为包含位于周边的不必要的空白和无用物体的图像的情况。
发明内容
本发明的目的在于提供一种可对存在于图像内的期望被摄体设定去除无用背景和无用物体且可以完整地看到期望被摄体的提取区域。
方案1所述的发明是一种图像处理装置，其具备：输入部，输入图像；及处理器，读出并执行存储于存储器的程序，所述处理器通过第1检测方法从所输入的所述图像检测期望被摄体，对检测出的期望被摄体设定期望被摄体区域，并通过与所述第1检测方法不同的第2检测方法从所输入的所述图像检测所述期望被摄体，利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域。
方案2所述的发明是根据方案1所述的图像处理装置，其中，作为所述第2检测方法，所述处理器从所输入的所述图像检测显著性区域。
方案3所述的发明是根据方案2所述的图像处理装置，其中，所述处理器通过利用所述显著性区域进行扩展来更新所设定的所述期望被摄体区域。
方案4所述的发明是根据方案1所述的图像处理装置，其中，作为所述第2检测方法，所述处理器对所输入的所述图像进行二值化。
方案5所述的发明是根据方案4所述的图像处理装置，其中，所述处理器通过利用二值化结果进行扩展来更新所设定的所述期望被摄体区域。
方案6所述的发明是根据方案1所述的图像处理装置，其中，作为所述第2检测方法，所述处理器从所输入的所述图像检测表示人的关注度的显著性区域，并且对所输入的所述图像进行二值化。
方案7所述的发明是根据方案6所述的图像处理装置，其中，所述处理器利用所述显著性区域及二值化结果来更新所设定的所述期望被摄体区域。
方案8所述的发明是根据方案7所述的图像处理装置，其中，所述处理器通过利用所述显著性区域进行扩展，并进一步运算与所述二值化结果的二值化区域的逻辑和来更新所设定的所述期望被摄体区域。
方案9所述的发明是根据方案1所述的图像处理装置，其中，所述处理器进一步利用所述第2检测方法的检测结果和所更新的期望被摄体区域，从所输入的所述图像设定无用被摄体区域。
方案10所述的发明是根据方案9所述的图像处理装置，其中，所述处理器进一步利用所述无用被摄体区域对所更新的期望被摄体区域进行更新。
方案11所述的发明是根据方案1至10中任一方案所述的图像处理装置，其中，所述处理器进一步从所更新的期望被摄体区域设定剪切区域，并利用所述剪切区域从所输入的所述图像剪切所述期望被摄体。
方案12所述的发明是一种图像处理装置，其具备：第1检测单元，从输入图像检测期望被摄体；设定单元，根据所述第1检测单元的检测结果设定期望被摄体区域；第2检测单元，通过与所述第1检测单元不同的方法从所述输入图像检测所述期望被摄体；及更新单元，利用所述第2检测单元的检测结果更新利用所述设定单元设定的所述期望被摄体区域。
方案13所述的发明是一种存储介质，其存储有使计算机的处理器执行如下步骤的程序：通过第1检测方法从输入图像检测期望被摄体的步骤；对检测出的期望被摄体设定期望被摄体区域的步骤；通过与所述第1检测方法不同的第2检测方法从所述输入图像检测所述期望被摄体的步骤；及利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域的步骤。
方案14所述的发明是一种图像处理系统，其具备终端装置及服务器计算机，所述终端装置将输入图像供给至所述服务器计算机，所述服务器计算机的处理器通过第1检测方法从所述输入图像检测期望被摄体，根据所述第1检测方法的检测结果设定期望被摄体区域，通过与所述第1检测方法不同的第2检测方法从所述输入图像检测所述期望被摄体，利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域，从所更新的期望被摄体区域设定剪切区域，利用所述剪切区域从所述输入图像剪切所述期望被摄体并供给至所述终端装置。
方案15所述的发明是一种图像处理方法，其包括如下步骤：通过第1检测方法从输入图像检测期望被摄体的步骤；对检测出的期望被摄体设定期望被摄体区域的步骤；通过与所述第1检测方法不同的第2检测方法从所述输入图像检测所述期望被摄体的步骤；及利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域的步骤。
发明效果
根据本发明的第1、12、13、14、15方案，能够对存在于图像内的期望被摄体设定去除无用背景和无用物体且可以完整地看到期望被摄体的提取区域。
根据本发明的第2、3方案，能够进一步利用显著性区域更新期望被摄体区域。
根据本发明的第4、5方案，能够进一步利用二值化区域更新期望被摄体区域。
根据本发明的第6、7、8方案，能够进一步利用显著性区域和二值化区域更新期望被摄体区域。
根据本发明的第9方案，能够进一步设定位于期望被摄体区域外的无用被摄体区域。
根据本发明的第10方案，能够进一步利用无用被摄体区域更新期望被摄体区域。
根据本发明的第11方案，能够进一步设定剪切区域来以可以完整地看到期望被摄体的方式进行剪切。
附图说明
根据以下附图，对本发明的实施方式进行详细叙述。
图1是实施方式的图像处理装置的功能框图；
图2是实施方式的图像处理装置的结构框图；
图3是实施方式的图像处理装置的处理流程图；
图4是实施方式的期望被摄体区域的设定说明图；
图5是实施方式的显著性区域的检测说明图；
图6是实施方式的期望被摄体区域的更新说明图(其1)；
图7是实施方式的期望被摄体区域的更新说明图(其2)；
图8是实施方式的二值化说明图；
图9是实施方式的期望被摄体区域的更新说明图(其3)；
图10是实施方式的裁剪处理说明图；
图11是另一实施方式的无用被摄体区域的设定说明图；
图12是另一实施方式的可以完整地看到期望被摄体的帧的说明图；
图13是另一实施方式的不包含无用被摄体区域的帧的说明图；
图14是另一实施方式的可以完整地看到期望被摄体且不包含无用被摄体区域的帧的设定说明图；
图15是另一实施方式的裁剪处理说明图。
符号说明
10-第1检测部，12-第2检测部，14-期望被摄体区域设定部，16-更新部，18-提取部，30-图像处理装置，32-处理器。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
图1是本实施方式所涉及的图像处理装置的功能框图。作为功能块，图像处理装置具备第1检测部10、第2检测部12、期望被摄体区域设定部14、更新部16及提取部18。
第1检测部10输入输入图像，并通过第1检测方法从输入图像检测期望被摄体。输入图像例如为照片等摄影图像，但并不限定于此。第1检测方法能够利用公知的物体检测算法。例如，若应检测的期望被摄体为人物，则利用与人物模板的图案匹配进行检测。或者，也可以着眼于期望被摄体所具有的特定颜色，并利用该特定颜色进行检测。在该第1检测方法中，只要能够以一定精度检测到输入图像内的期望被摄体的存在位置即可。第1检测部10将检测结果输出至期望被摄体区域设定部14。
期望被摄体区域设定部14根据来自第1检测部10的检测结果，设定期望被摄体区域。期望被摄体区域设定为规定形状的区域，例如矩形区域，将矩形区域的尺寸即输入图像内的平面设为x-y平面时，根据来自第1检测部10的检测结果设定x方向的尺寸及y方向的尺寸。基本上，以来自第1检测部10的检测结果表示的物体存在区域内的矩形区域设定为期望被摄体区域。更详细地说，在物体存在区域内可取的最大的矩形区域设定为期望被摄体区域。因此，例如若期望被摄体的形状为矩形状，则可以将沿着期望被摄体的形状的适当的期望被摄体区域设定为期望被摄体区域，但期望被摄体的形状不是矩形状时，例如作为被摄体的模特伸展四肢而摆姿势的情况等，可以将除了四肢的一部分且包含头部及躯体的矩形部分设定为期望被摄体区域。期望被摄体区域设定部14将所设定的期望被摄体区域输出至更新部16。
第2检测部12输入输入图像，并通过第2检测方法从输入图像检测期望被摄体。第2检测方法为与第1检测部10中的第1检测方法不同的检测方法，例如在输入图像中根据图像的特征检测表示人看到该图像时关注的倾向高的区域的显著性区域，由此检测期望被摄体。显著性区域的检测能够利用公知的方法，例如可以利用使用基于认知机制的“特征综合理论”的模型或机器学习进行检测。在利用该“特征综合理论”的模型中，按各特征(亮度、颜色、倾角等)并行处理人的视野像，最终将这些特征综合，针对对象图像分别独立地求出亮度、颜色、倾角之类的图像特征，最终对这些进行加权并综合，并将由此获得的度数分布作为显著性图，检测图像中的显著性高的区域。或者，也可以通过对输入图像进行二值化来检测期望被摄体。第2检测部12将检测结果输出至更新部16。
更新部16输入来自期望被摄体区域设定部14的期望被摄体区域和来自第2检测部12的检测结果，并利用第2检测部12中的检测结果更新期望被摄体区域。具体地说，在通过期望被摄体区域设定部14设定的期望被摄体区域中，有可能无法完整地看到期望被摄体，因此利用第2检测部12中的检测结果扩展为可以完整地看到期望被摄体区域的程度的矩形区域。当然，仅通过简单地扩展期望被摄体区域，可以完整地看到期望被摄体，但是会包含无用背景和无用物体，因此使扩展尽可能停留在最小范围。换言之，可以说根据第2检测部12中的检测结果限制期望被摄体区域的扩展范围，并确定扩展的上限。更具体地说，更新部16利用第2检测部12中的检测结果，将与期望被摄体区域相邻且通过第2检测部12检测出的像素新追加到期望被摄体区域的像素，由此扩展期望被摄体区域。通过更新部16更新的期望被摄体区域不一定是矩形形状，成为与原本的期望被摄体的形状一致的形状。更新部16将更新后的期望被摄体区域输出至提取部18。
提取部18进行利用来自更新部16的更新后的期望被摄体区域从输入图像提取期望被摄体并剪切的裁剪处理，并作为输出图像而输出。即，提取部18利用来自更新部16的更新后的期望被摄体区域设定用于裁剪的矩形帧(裁剪帧)，利用所设定的裁剪帧裁剪输入图像来生成输出图像。
在图1中，第1检测部10及第2检测部12示为不同的功能块，但这是为了便于表示检测方法互不相同而示出的，并不一定必须是物理上不同的构成要件，也可以由单一部件或构成要件利用不同的2个检测方法进行检测。第1检测方法和第2检测方法互不相同，但第1检测方法是用于以第1精度对期望被摄体设定期望被摄体区域的检测方法，第2检测方法是用于以比第1精度更高的精度的第2精度更新期望被摄体区域的检测方法。
并且，图1中示出了第1检测部10及第2检测部12，但当然也可以根据需要，具备检测方法互不相同的第3检测部、第4检测部、……。
图2是实施方式中的图像处理装置的结构框图。图像处理装置30由计算机构成，具体地说，具备控制部32、通信部34、操作部36、显示部38及存储部40。
控制部32由CPU(中央处理器，Central Processing Unit)等处理器构成，通过读出并执行存储于存储部40的处理程序来实现图1所示的各功能块的功能。即，处理器通过第1检测方法从输入图像检测期望被摄体，对检测出的期望被摄体设定期望被摄体区域，并通过与所述第1检测方法不同的第2检测方法从输入图像检测期望被摄体，利用第2检测方法的检测结果更新所设定的期望被摄体区域。并且，进行利用更新后的期望被摄体区域从输入图像提取期望被摄体并剪切的裁剪处理，并作为输出图像而输出。
通信部34为实现向公用线路或者专用线路等通信线路的通信连接的通信模块。输入图像可经由通信部34输入。
操作部36为键盘或鼠标等用户接口。操作部36并不限定于物理按钮等，也可以是显示于显示部38的触摸按钮等软件按钮。
显示部38为液晶显示器或有机电致发光(EL)显示器等，根据来自控制部32的控制指令显示各种数据。各种数据中包含输入图像或期望被摄体区域、更新后的期望被摄体区域、裁剪帧、输出图像等。
存储部40由硬盘或闪存等构成。存储部40存储处理程序40a及图像数据40b。图像数据40b中包含输入图像、通过第1检测方法检测出的检测结果、通过第2检测方法检测出的检测缺陷、期望被摄体区域、更新后的期望被摄体区域、裁剪帧、输出图像等。
另外，处理器是指广义的处理器，包含通用的处理器(例如CPU：中央处理器，Central Processing Unit等)或专用的处理器(例如GPU：图形处理器，GraphicsProcessing Unit、ASIC：专用集成电路，Application Specific IntegrateD Circuit、FPGA：现场可编程门阵列，FielD Programmable Gate Array、可编程逻辑器件等)。并且，处理器的动作不仅可以通过1个处理器完成，也可以由存在于物理上分开的位置的复数个处理器协同作用来完成。
图3是图像处理装置30的处理流程图，是构成控制部32的处理器的处理流程图。
首先，处理器输入作为裁剪处理对象的图像(S101)。即，经由通信部34从存储部40读出存储于存储部40的图像。另外，图像也可以通过由用户对操作部36进行操作而从外部存储器传送至存储部40。
接着，处理器通过第1检测方法从输入图像检测期望被摄体(S102)。处理器例如通过图案匹配或特定颜色的检测来检测期望被摄体。
接着，处理器根据检测结果设定期望被摄体区域(S103)。期望被摄体区域在通过第1检测方法检测出的期望被摄体存在区域内设定为矩形区域。若设定期望被摄体区域，则处理器将其存储于存储部40。
接着，处理器通过与第1检测方法不同的第2检测方法从输入图像检测期望被摄体(S104)。处理器例如通过显著性区域检测和二值化检测中的至少任一个方法进行检测。在此，作为一例，设为检测显著性区域。若从输入图像检测显著性区域，则处理器将其存储于存储部40。
接着，处理器读出存储于存储部40的期望被摄体区域和显著性区域，并通过利用显著性区域进行扩展来更新期望被摄体区域(S105)。即，当显著性区域与期望被摄体区域相邻时，处理器通过将该相邻的区域和期望被摄体区域相加来进行更新。处理器可以通过利用二值化区域进行扩展来更新期望被摄体区域，或者也可以通过并用显著性区域和二值化区域进行扩展来更新期望被摄体区域。在后者的情况下，处理器例如可以利用显著性区域进行扩展来更新期望被摄体区域，并利用二值化区域进一步进行扩展来对更新后的期望被摄体区域进行更新。处理器将更新后的期望被摄体区域存储于存储部40。
接着，处理器从存储部40读出更新后的期望被摄体区域，利用更新后的期望被摄体区域设定提取区域即裁剪帧(S106)。处理器利用更新后的期望被摄体区域的x坐标的最小值和y坐标的最小值及更新后的期望被摄体区域的x坐标的最大值和y坐标的最大值计算裁剪帧的左上顶点的坐标及右下顶点的坐标，由此设定裁剪帧。处理器将所设定的裁剪帧存储于存储部40。
接着，处理器从存储部40读出裁剪帧，并将裁剪帧适用于输入图像，由此执行裁剪处理(S107)。并且，将提取图像即所裁剪的图像作为输出图像而存储于存储部40，并且输出至显示部38来显示。
图3所示的S101～S108的处理可以通过1个处理器依次进行处理，或者也可以通过复数个处理器进行分散处理。例如，可以通过不同的处理器并列处理S102的处理和S104的处理。
以下，对各处理进行具体说明。
图4示意地示出S102及S103的处理。若输入输入图像100，则处理器通过第1检测方法检测期望被摄体，并在检测出的期望被摄体的存在区域内设定矩形区域(图中以虚线示出)，由此设定期望被摄体区域102。期望被摄体区域102为矩形形状，可以规定为其尺寸与期望被摄体的尺寸大致相等的区域。期望被摄体为人物时，其轮廓并非必须为矩形，如图所示，可以表现为由头部及躯体构成的复合形状，因此矩形形状的期望被摄体区域102并不一定与期望被摄体一致。因此，若假设利用所设定的期望被摄体区域102对输入图像进行裁剪，则会致无法完整地看到期望被摄体的一部分。这表示依赖于通过第1检测方法检测期望被摄体的精度而确定裁剪的精度。另一方面，还可考虑通过第1检测方法检测期望被摄体，对其设定一律成为多余的区域来设定期望被摄体区域的方法，但虽然能够防止无法完整地看到期望被摄体的情况，但会混入位于周边的无用背景或无用物体。因此，需要以防止无法完整地看到期望被摄体的情况且尽可能不包含无用背景或无用物体的方式扩展期望被摄体区域。
图5示意地示出S104的处理。若输入输入图像100，则处理器通过第2检测方法检测期望被摄体。具体地说，检测表示人的关注度的显著性区域。显著性区域的检测算法为任意，但将输入图像100分割为复数个子区域(部分区域)，分别对这些复数个子区域，运算与各子区域中包含的像素的值或数量中的至少一个相关的显著性特征量。将各个子区域依次选为关注子区域，选择与关注子区域T相接的其他(除关注子区域以外的)子区域的集合D(T)。即，对于关注子区域T中包含的各像素，调查其附近8个区域(左上、上、右上、左、右、左下、下、右下的8个)相邻像素所属的子区域，该子区域不是关注子区域T时，将该相邻像素所属的子区域包含在相邻的其他子区域的集合D(T)。在该情况下，可以按D(T)中包含的每个子区域，事先对与关注子区域内的几个像素相邻即位于关注子区域与其他子区域的边界的像素所涉及的数量进行计数，从D(T)去除该数量小于预先设定的阈值的子区域。并且，也可以事先将该计数值与D(T)中包含的各子区域建立关联而存储于存储部40。
接着，制作关注子区域T所涉及的特征矢量FT＝(lT，aT，bT，sT)。在此，lT、aT、bT表示作为关注子区域T中包含的像素的L*a*b值的统计量的平均(重心)，sT表示关注子区域T中包含的像素的数量。
并且，生成关于集合D(T)中包含的子区域的平均特征矢量FD(T)＝(lD(T)，aD(T)，bD(T)，sD(T))。在此，lD(T)等表示集合D(T)中包含的各子区域中的特征矢量的要素值的平均。另外，||D(T)||为集合D(T)中包含的子区域的数量(相邻子区域的数量)。处理器通过以下数式1运算关于关注子区域T所涉及的特征要素f(l、a、b、s中的任一个)的显著性特征量要素S(T，f)。
[数式1]
Figure BDA0002523554320000111
即，显著性特征量要素基本上是通过对于关注子区域的特征量的要素之一，将该要素与各相邻子区域中的相对应的要素之差的平方值的和除以相邻子区域的数量(||D(T)||)而得到的。在此，运算要素之间的差时，也可以将基于位于关注子区域与其他子区域的边界的像素的数量的权重和该要素之间的差的值相乘，并进行总和。而且，以最小值成为0且最大值成为100的方式事先对该显著性特征量要素进行标准化(式中，Norm的记载表示进行该标准化)。而且，处理器通过以下数式2运算关注子区域T相对于周边区域的显著性特征量要素S(T，D)。
[数式2]
Figure BDA0002523554320000112
在此，Σ表示运算每个要素的和。在此，也以最小值成为0且最大值成为100的方式事先对显著性特征量进行标准化。
该显著性特征量要素S(T，D)为如下值，即，关注子区域与其周边的子区域相比，视觉上越显著，则该显著性特征量要素越大。在此，作为特征矢量利用了颜色和尺寸，也可以将形状和表示曲率等的量包含在特征矢量中。另外，例如在日本特开2006-133990号公报中，记载有计算显著性特征量的图像处理装置。
处理器根据按每个子区域运算出的显著性特征量，从输入图像100检测显著性区域。即，将成为预先设定的阈值以上的子区域检测为显著性区域104。图5中，示出了输入图像100中的左侧部分、右上部分及中央部分检测为显著性区域104的情况。
图6示意地示出S105的处理。将在S103中设定的期望被摄体区域102和在S104中检测出的显著性区域104相加，即进行逻辑和运算来生成更新后的期望被摄体区域106。更新后的期望被摄体区域106通过显著性区域104被扩展，因此并不一定是矩形形状，成为与显著性区域104相应的形状。
图7更详细地示出S105的处理。从上段的左侧向右侧进行处理，进一步转移到下段并从左侧向右侧进行处理。叠加在S103中设定的期望被摄体区域102和在S104中检测出的显著性区域104，着眼于构成显著性区域104的像素，与关注像素相邻的像素为期望被摄体区域102时，将该关注像素新追加到期望被摄体区域102。例如，若着眼于上段的左侧，则与构成显著性区域104的上侧部分的像素相邻的下侧的像素为期望被摄体区域102，因此如上段的中央所示，这些像素新追加到期望被摄体区域102。并且，如上段的中央所示，与构成显著性区域104的下侧部分的像素相邻的右侧的像素为期望被摄体区域102，因此这些像素新追加到期望被摄体区域102。通过重复以上的处理，最终如下段的右侧所示，显著性区域104新追加到期望被摄体区域102，期望被摄体区域102被扩展而生成更新后的期望被摄体区域106。
图8示意地示出S104的另一处理。示意地示出利用某个阈值针对输入图像100的亮度分布和颜色分布进行二值化的处理。例如，对输入图像100进行二值化而将特定颜色(例如，橙色)的区域检测为二值化区域108。
图9示意地示出S105的另一处理。利用显著性区域104更新期望被摄体区域102来生成更新后的期望被摄体区域106，利用二值化区域108对该更新后的期望被摄体区域106进行扩展，由此生成进一步更新后的期望被摄体区域110。具体地说，通过运算更新后的期望被摄体区域106和二值化区域108的逻辑和来对更新后的期望被摄体区域106进行扩展。若对图9和图6进行比较，则可知图9中的期望被摄体区域110比图6中的期望被摄体区域106进一步被扩展，尤其相当于人物的头部的区域被扩展。
图10示意地示出S106、S107的处理。是根据图9所示的更新后的期望被摄体区域110设定提取区域即裁剪帧的处理。在更新后的期望被摄体区域110中，检测x坐标的最小值Xmin和y坐标的最小值Ymin、x坐标的最大值Xmax和y坐标的最大值Ymax，设定将这些2个点分别作为左上顶点、右下顶点的矩形的裁剪帧。该裁剪帧为与更新后的期望被摄体区域110外接的矩形区域。若设定裁剪帧，则将裁剪帧适用于输入图像100，并执行输入图像100的裁剪处理，从而将期望被摄体作为输出图像200而输出。
如此，在本实施方式中，通过利用第2检测部12中的检测结果扩展并更新根据第1检测部10中的检测结果设定的期望被摄体区域，能够防止无法完整地看到期望被摄体的情况，并且防止无用背景和无用物体的混入。基于第2检测部12中的检测结果的更新并不限定于1次，可以通过利用不同检测结果的复数次的更新来提高期望被摄体区域的设定精度。
在本实施方式中，例示了在输入图像100中存在1个期望被摄体的情况，但并不限定于此，可以存在复数个期望被摄体，可以按各期望被摄体的每一个执行已叙述的处理来更新期望被摄体区域，并从更新后的期望被摄体区域设定裁剪帧。
并且，在本实施方式中，将可以完整地看到期望被摄体的尽可能最小的矩形帧设定为裁剪帧，但也可以在计算其他构图的帧的基础上，以该最小的矩形帧为基准进行计算，例如设定有意地设置期望被摄体区域的2倍面积的空白的裁剪帧等。
并且，在本实施方式中，作为第2检测部12中的第2检测方法，例示了显著性区域及二值化，但并不限定于这些，可以利用边缘检测或切割等，也可以单独利用这些或者组合复数个来利用。若例示列举第1检测方法与第2检测方法的组合，则如下。
(1)物体检测与显著性区域检测的组合
(2)物体检测与二值化区域检测的组合
(3)物体检测与边缘检测的组合
(4)物体检测、显著性区域检测及二值化区域的组合
(5)物体检测、显著性区域检测及边缘检测的组合
(6)物体检测、二值化区域及边缘检测的组合
而且，在本实施方式中，还能够检测不包含期望被摄体的无用被摄体区域，并利用该无用被摄体区域裁剪期望被摄体。以下，对该情况进行说明。
图11示意地示出检测无用被摄体区域的处理。
处理器从存储部40读出图8所示的二值化区域108和图9所示的更新后的期望被摄体区域110，并从二值化区域108减去更新后的期望被摄体区域110，由此计算无用被摄体区域112。无用被摄体区域规定为二值化区域108中位于期望被摄体的外侧的区域。
图12示意地示出根据更新后的期望被摄体区域110计算可以完整地看到期望被摄体的帧的另一处理。在更新后的期望被摄体区域110中，检测x坐标的最小值Xmin、y坐标的最小值Ymin、x坐标的最大值Xmax、y坐标的最大值Ymax，并设定以如下条件定义的区域。
X≤Xmin且Y≤Ymin
X≥Xmax且Y≤Ymin
X≤Xmin且Y≥Ymax
X≥Xmax且Y≥Ymax
图中，未涂布的区域为以这些不等式示出的区域，是可以完整地看到期望被摄体的帧区域114(并不是如图10所示那样的最小的矩形区域)。
图13示意地示出根据图11所示的无用被摄体区域112计算不包含无用被摄体区域的帧区域的处理。计算除去无用被摄体区域112的区域(图中涂布的区域)作为不包含无用被摄体区域的帧区域116。
图14示意地示出根据图12及图13所示的2个区域计算可以完整地看到期望被摄体区域且不包含无用被摄体区域的帧区域的处理。处理器通过运算图12所示的可以完整地看到期望被摄体的帧区域114和图13所示的不包含无用被摄体区域的帧区域116的逻辑积，计算可以完整地看到期望被摄体且不包含无用被摄体区域的帧区域118。
图15示意地示出根据图14所示的帧区域118计算裁剪帧，并适用于输入图像100而执行裁剪的处理。若对图15所示的输出图像200和图10所示的输出图像200进行对比，则图15所示的输出图像200的空白变多。
如以上说明，在本实施方式中，能够从输入图像以可以完整地看到期望被摄体且不包含无用背景和无用物体的方式进行提取。
如图2所示，在本实施方式中，对通过计算机实现图像处理装置30的情况进行了说明，但不仅可以通过单一的计算机实现，也可以利用通过通信网络连接的复数个计算机作为系统来实现。例如，也可以如下：服务器计算机(云计算机)和终端计算机通过通信网络连接，从终端计算机将输入图像发送至服务器计算机，通过服务器计算机进行裁剪处理而生成输出图像，从服务器计算机将输出图像发送至终端计算机并显示于终端计算机的显示部。在该情况下，可以如下：在终端计算机中从复数个检测方法中选择第1检测方法及第2检测方法并对服务器计算机进行发送指示，在服务器计算机中通过被指示的第1检测方法及第2检测方法进行处理，从而对输入图像进行裁剪处理来生成输出图像。或者，也可以构成为如下：服务器计算机通过第1检测方法与第2检测方法的复数个组合进行裁剪处理，将复数个输出图像发送至终端计算机，从而能够在终端计算机中选择所期望的输出图像。
上述本发明的实施方式是以例示及说明为目的而提供的。另外，本发明的实施方式并不全面详尽地包括本发明，并且并不将本发明限定于所公开的方式。很显然，对本发明所属的领域中的技术人员而言，各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此，本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。

Claims (15)

1.一种图像处理装置，其具备：
输入部，输入图像；及
处理器，读出并执行存储于存储器的程序，
所述处理器通过第1检测方法从所输入的所述图像检测期望被摄体，
对检测出的期望被摄体设定期望被摄体区域，
并通过与所述第1检测方法不同的第2检测方法从所输入的所述图像检测所述期望被摄体，
利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域。
2.根据权利要求1所述的图像处理装置，其中，
作为所述第2检测方法，所述处理器从所输入的所述图像检测显著性区域。
3.根据权利要求2所述的图像处理装置，其中，
所述处理器通过利用所述显著性区域进行扩展来更新所设定的所述期望被摄体区域。
4.根据权利要求1所述的图像处理装置，其中，
作为所述第2检测方法，所述处理器对所输入的所述图像进行二值化。
5.根据权利要求4所述的图像处理装置，其中，
所述处理器通过利用二值化结果进行扩展来更新所设定的所述期望被摄体区域。
6.根据权利要求1所述的图像处理装置，其中，
作为所述第2检测方法，所述处理器从所输入的所述图像检测表示人的关注度的显著性区域，并且对所输入的所述图像进行二值化。
7.根据权利要求6所述的图像处理装置，其中，
所述处理器利用所述显著性区域及二值化结果来更新所设定的所述期望被摄体区域。
8.根据权利要求7所述的图像处理装置，其中，
所述处理器通过利用所述显著性区域进行扩展，并进一步运算与所述二值化结果的二值化区域的逻辑和来更新所设定的所述期望被摄体区域。
9.根据权利要求1所述的图像处理装置，其中，
所述处理器进一步利用所述第2检测方法的检测结果和所更新的期望被摄体区域，从所输入的所述图像设定无用被摄体区域。
10.根据权利要求9所述的图像处理装置，其中，
所述处理器进一步利用所述无用被摄体区域对所更新的期望被摄体区域进行更新。
11.根据权利要求1至10中任一项所述的图像处理装置，其中，
所述处理器进一步从所更新的期望被摄体区域设定剪切区域，并利用所述剪切区域从所输入的所述图像剪切所述期望被摄体。
12.一种图像处理装置，其具备：
第1检测单元，从输入图像检测期望被摄体；
设定单元，根据所述第1检测单元的检测结果设定期望被摄体区域；
第2检测单元，通过与所述第1检测单元不同的方法从所述输入图像检测所述期望被摄体；及
更新单元，利用所述第2检测单元的检测结果更新利用所述设定单元设定的所述期望被摄体区域。
13.一种存储介质，其存储有使计算机的处理器执行如下步骤的程序：
通过第1检测方法从输入图像检测期望被摄体的步骤；
对检测出的期望被摄体设定期望被摄体区域的步骤；
通过与所述第1检测方法不同的第2检测方法从所述输入图像检测所述期望被摄体的步骤；及
利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域的步骤。
14.一种图像处理系统，其具备终端装置及服务器计算机，
所述终端装置将输入图像供给至所述服务器计算机，
所述服务器计算机的处理器通过第1检测方法从所述输入图像检测期望被摄体，
根据所述第1检测方法的检测结果设定期望被摄体区域，
通过与所述第1检测方法不同的第2检测方法从所述输入图像检测所述期望被摄体，
利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域，从所更新的期望被摄体区域设定剪切区域，利用所述剪切区域从所述输入图像剪切所述期望被摄体并供给至所述终端装置。
15.一种图像处理方法，其包括如下步骤：
通过第1检测方法从输入图像检测期望被摄体的步骤；
对检测出的期望被摄体设定期望被摄体区域的步骤；
通过与所述第1检测方法不同的第2检测方法从所述输入图像检测所述期望被摄体的步骤；及
利用所述第2检测方法的检测结果更新所设定的所述期望被摄体区域的步骤。
CN202010497818.4A 2019-10-03 2020-06-04 图像处理装置、系统、存储介质及图像处理方法 Pending CN112614138A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-182729 2019-10-03
JP2019182729A JP7392368B2 (ja) 2019-10-03 2019-10-03 画像処理装置，システム，プログラム

Publications (1)

Publication Number Publication Date
CN112614138A true CN112614138A (zh) 2021-04-06

Family

ID=75224352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497818.4A Pending CN112614138A (zh) 2019-10-03 2020-06-04 图像处理装置、系统、存储介质及图像处理方法

Country Status (3)

Country Link
US (2) US11443434B2 (zh)
JP (1) JP7392368B2 (zh)
CN (1) CN112614138A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7219413B1 (ja) 2022-08-31 2023-02-08 岩崎通信機株式会社 角度計測装置、角度計測方法、角度計測プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3690391B2 (ja) * 2003-01-23 2005-08-31 セイコーエプソン株式会社 画像編集装置、画像のトリミング方法、及びプログラム
JP4052128B2 (ja) 2003-01-23 2008-02-27 セイコーエプソン株式会社 画像トリミング装置、画像のトリミング方法、及びプログラム
JP4639754B2 (ja) * 2004-11-04 2011-02-23 富士ゼロックス株式会社 画像処理装置
JP4624948B2 (ja) 2006-03-22 2011-02-02 富士フイルム株式会社 画像のトリミング方法および撮像装置
JP2007272685A (ja) 2006-03-31 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
JP2007316957A (ja) 2006-05-26 2007-12-06 Fujifilm Corp 画像トリミング装置、画像トリミング方法およびそのプログラム
JP4683339B2 (ja) 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
JP2009212929A (ja) 2008-03-05 2009-09-17 Fujifilm Corp 画像トリミング範囲の評価方法、装置およびプログラム
JP5427577B2 (ja) 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
JP2011176747A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
JP2013102814A (ja) 2011-11-10 2013-05-30 Sanyo Electric Co Ltd 高圧蒸気滅菌器
KR101508977B1 (ko) 2012-08-16 2015-04-08 네이버 주식회사 이미지 분석에 의한 이미지 자동 편집 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2015023294A (ja) 2013-07-16 2015-02-02 オリンパスイメージング株式会社 動画処理装置及び動画処理方法
TWI532361B (zh) * 2013-12-27 2016-05-01 國立臺灣科技大學 自動尋景拍攝方法及其系統
JP6320130B2 (ja) 2014-04-02 2018-05-09 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP2015215741A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
CN104268827B (zh) * 2014-09-24 2019-06-04 三星电子（中国）研发中心 视频图像局部区域放大的方法和装置
JP6642970B2 (ja) * 2015-03-05 2020-02-12 キヤノン株式会社 注目領域検出装置、注目領域検出方法及びプログラム
US10297024B2 (en) * 2015-09-30 2019-05-21 Shanghai United Imaging Healthcare Co., Ltd. System and method for determining a breast region in a medical image

Also Published As

Publication number Publication date
US20220237802A1 (en) 2022-07-28
JP2021060649A (ja) 2021-04-15
US11443434B2 (en) 2022-09-13
US11704807B2 (en) 2023-07-18
US20210104047A1 (en) 2021-04-08
JP7392368B2 (ja) 2023-12-06

Similar Documents

Publication Publication Date Title
CN111127425B (zh) 基于视网膜眼底图像的目标检测定位方法和装置
WO1996027846A1 (en) Method and system for the detection of lesions in medical images
JP6639523B2 (ja) 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
US11704807B2 (en) Image processing apparatus and non-transitory computer readable medium storing program
CN109559303B (zh) 钙化点的识别方法、装置和计算机可读存储介质
JP2006325937A (ja) 画像判定装置、画像判定方法およびそのプログラム
JP2006006359A (ja) 画像生成装置、画像生成装置方法、およびそのプログラム
Chawathe Rice disease detection by image analysis
WO2023047118A1 (en) A computer-implemented method of enhancing object detection in a digital image of known underlying structure, and corresponding module, data processing apparatus and computer program
JPWO2017086433A1 (ja) 医用画像処理方法及び装置及びシステム及びプログラム
CN114757908A (zh) 基于ct影像的图像处理方法、装置、设备及存储介质
JP2018073385A (ja) 画像処理装置及びプログラム
CN111898408B (zh) 一种快速人脸识别方法及装置
EP3018626B1 (en) Apparatus and method for image segmentation
CN115294426B (zh) 介入医学设备的跟踪方法、装置、设备及存储介质
CN116258643A (zh) 图像阴影消除方法、装置、设备及存储介质
CN113343987B (zh) 文本检测处理方法、装置、电子设备及存储介质
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
CN117635519A (zh) 基于ct图像的病灶检测方法、装置及计算机可读存储介质
JP2007219899A (ja) 個人識別装置、個人識別方法および個人識別プログラム
CN117690142B (zh) 晶圆字符的预处理方法、设备及存储介质
JP5343973B2 (ja) 医用画像処理装置及びプログラム
Johnston et al. Fixation region overlap: A quantitative method for the analysis of fixational eye movement patterns
CN117315378B (zh) 一种尘肺病的分级判定方法及相关设备
JP7426712B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination