CN110291575A - 图像处理装置以及图像处理程序 - Google Patents

图像处理装置以及图像处理程序 Download PDF

Info

Publication number
CN110291575A
CN110291575A CN201780086137.5A CN201780086137A CN110291575A CN 110291575 A CN110291575 A CN 110291575A CN 201780086137 A CN201780086137 A CN 201780086137A CN 110291575 A CN110291575 A CN 110291575A
Authority
CN
China
Prior art keywords
superimposed
image processing
visual information
input picture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780086137.5A
Other languages
English (en)
Inventor
市川拓人
大津诚
三宅太一
德井圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110291575A publication Critical patent/CN110291575A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

通过图像处理来决定叠加显示视觉信息的位置或者不叠加显示视觉信息的位置。图像处理装置(1A)具备将视觉信息叠加于输入图像的控制部(201)，控制部(201)根据输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定叠加视觉信息的位置。

Description

图像处理装置以及图像处理程序
技术领域
本公开涉及一种使视觉信息叠加于输入图像的图像处理装置以及图像处理程序。
背景技术
近年来，开发了将图形、文字、静止图像、影像等视觉信息叠加于表示真实空间的图像并进行显示的增强现实(Augmented Reality，AR)技术。根据AR技术，例如，在作业现场，能对作业对象物叠加指示作业方法的影像等；或者在医疗现场，能对患者的身体叠加诊察图像等。
作为AR技术的实施方式，存在：使用半透半反镜等将视觉信息叠加于真实空间，并提示叠加的图像的光学透视型；利用摄像机拍摄真实空间，使视觉信息叠加于所拍摄的图像，并提示叠加的影像的视频透视型等方式，根据利用用途采用适当的方式。
在此，在视频透视型AR技术中，真实空间被叠加的视觉信息隐藏，存在真实空间的视觉确认性受损的问题。对于该问题，在专利文献1中，公开了事先将显示视觉信息的区域的优先级列表化，根据列表变更视觉信息的位置、大小、形状的方法。
现有技术文献
专利文献
专利文献1：日本公开专利公报“日本特开2012-69111号公报”(2012年4月5日公开)
发明内容
发明要解决的问题
专利文献1中记载的方法，需要事先生成叠加信息的可显示区域的列表。因此，专利文献1中记载的方法只能在例如桌游等的拍摄场所被特定的状况下使用。即，专利文献1中记载的方法例如在屋外使用的情况等，无法在任意的场所使用。
因此，本发明人等基于独特的构思，对通过图像处理来决定叠加显示视觉信息的位置或者不叠加显示视觉信息的位置的技术进行了深入研究。若能通过图像处理来决定叠加显示视觉信息的位置或者不叠加显示视觉信息的位置，则在各种场所，可以在适当的位置叠加显示视觉信息。然而，目前为止还不知道报告关于能够用于决定叠加显示视觉信息的位置或者不叠加显示视觉信息的位置的图像处理的文献。
鉴于以上问题，本公开的一个方案的目的在于，提供一种通过图像处理来决定叠加显示视觉信息的位置或者不叠加显示视觉信息的位置的图像处理装置以及图像处理程序。
技术方案
为了解决上述问题，本公开的一个方案的图像处理装置的特征在于，具备：图像处理部，将视觉信息叠加于输入图像，所述图像处理部根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定叠加所述视觉信息的位置。
为了解决上述问题，本公开的一个方案的其他图像处理装置的特征在于，具备：图像处理部，将视觉信息叠加于输入图像，所述图像处理部根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定不叠加所述视觉信息的范围。
为了解决上述问题，本公开的一个方案的其他图像处理装置的特征在于，具备：图像处理部，将视觉信息叠加于输入图像，所述图像处理部从所述输入图像中检测移动体，根据检测到的移动体的位置以及移动方向中的至少一方，切换是否叠加所述视觉信息。
为了解决上述问题，本公开的一个方案的图像处理程序的特征在于，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定叠加所述视觉信息的位置的叠加位置决定处理。
为了解决上述问题，本公开的一个方案的其他图像处理程序的特征在于，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定不叠加所述视觉信息的范围的非叠加区域决定处理。
为了解决上述问题，本公开的一个方案的其他图像处理程序的特征在于，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：从所述输入图像中检测移动体，根据检测到的移动体的位置以及移动方向中的至少一方，切换是否叠加所述视觉信息的叠加切换处理。
有益效果
根据本公开的一个方案，起到能通过图像处理来决定叠加显示视觉信息的位置或者不叠加显示视觉信息的位置的效果。
附图说明
图1是示意性地表示作为本公开的一实施方式的图像处理装置的使用方式的一例的图。
图2是表示图1所示的图像处理装置的功能块配置的一例的图。
图3是详细表示图2所示的功能块配置的一部分的图。
图4是表示输入图像显示在图1所示的图像处理装置的显示部的状态的图。
图5是示意性地表示图1所示的图像处理装置的处理的一部分的图。
图6是示意性地表示图1所示的图像处理装置的处理的一部分的图。
图7是表示图1所示的图像处理装置的处理流程的图。
图8是表示作为本公开的其他实施方式的图像处理装置的功能块配置的一例的图。
图9是详细表示图8所示的功能块配置的一部分的图。
图10是示意性地表示图8所示的图像处理装置的处理的一部分的图。
图11是示意性地表示图8所示的图像处理装置的处理的一部分的图。
图12是表示图8所示的图像处理装置的处理流程的图。
图13是表示作为本公开的其他实施方式的图像处理装置的功能块配置的一例的图。
图14是详细表示图13所示的功能块配置的一部分的图。
图15是表示图13所示的图像处理装置的处理流程的图。
图16是示意性地表示输入图像和在该输入图像叠加显示的视觉信息显示在图1所示的图像处理装置的显示部的情况的图。
图17是示意性地表示输入图像和在该输入图像叠加显示的视觉信息显示在图1所示的图像处理装置的显示部的情况的图。
图18是示意性地表示输入图像和在该输入图像叠加显示的视觉信息显示在图1所示的图像处理装置的显示部的情况的图。
图19是示意性地表示作为本公开的其他实施方式的图像处理装置的使用方式的一例的图。
图20是示意性地表示在图19所示的方案的图像处理装置中感测到移动体时的情况的图。
图21是示意性地表示作为本公开的其他实施方式的图像处理装置的使用方式的一例的图。
图22是示意性地表示在图21所示的方案的图像处理装置中感测到移动体时的情况的图。
具体实施方式
〔实施方式1〕
以下，使用图1～图7对本公开的图像处理装置以及图像处理程序的一个实施方式进行说明。
图1是示意性地表示本实施方式1的图像处理装置1A的使用方式的一例的图。
图像处理装置1A是能将视觉信息叠加于输入图像进行显示的图像处理装置。在图1中示出了使用图像处理装置1A，将视觉信息104叠加于对拍摄对象102进行拍摄而获取的输入图像103并进行显示的情况。
在图1所示的例子中，图像处理装置1A如下动作。图像处理装置1A通过在背面具备的拍摄用的摄像机101对拍摄对象102进行拍摄。此外，图像处理装置1A输入拍摄获取的输入图像103，决定显示视觉信息104的区域，将输入图像103和视觉信息104显示在图像处理装置1A。
需要说明的是，在本实施方式1中，对拍摄对象102的拍摄、视觉信息104的显示区域的决定、以及输入图像103和视觉信息104的显示均由同一个终端处理的情况进行说明，但本实施方式1并不限定于此，这些处理也可以由多个终端进行，或者这些处理的一部分可以由服务器进行。
此外，没有特别限定视觉信息104的种类，可以举出例如文字信息、图形、记号、静止图像、视频、以及它们的组合等。以下，作为一例，对使用文字信息作为视觉信息104的情况进行说明。
<功能块配置>
图2是表示本实施方式1的图像处理装置1A的功能块配置的一例的图。
如图2所示，图像处理装置1A具备：拍摄部200、控制部201(图像处理部)、以及显示部207。
拍摄部200构成为，具备：用于调入拍摄空间作为图像的光学部件、以及互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)或电荷耦合器件(Charge Coupled Device，CCD)等拍摄元件，基于由拍摄元件中的光电转换而得到的电信号，生成输入图像103的图像数据。需要说明的是，在一个方案中，拍摄部200可以将生成的图像数据直接以原始数据输出，也可以使用未图示的图像处理部，对获取到的图像数据实施亮度图像化、噪声去除等图像处理之后输出，也可以输出这两方。拍摄部200将图像数据、以及拍摄时的焦距等摄像机参数输出至控制部201的后述的差分信息获取部202。需要说明的是，也可以将图像数据和摄像机参数输出至控制部201的后述的保存部208。
控制部201具有：差分信息获取部202、非叠加区域获取部203、叠加区域决定部204、叠加信息获取部205、描绘部206、以及保存部208。控制部201可以由一个以上的处理器构成。具体地，控制部201可以通过在集成电路(IC芯片)等中形成的逻辑电路(硬件)来实现，例如，可以由现场可编程门阵列(Field Programmable Gate Array，FPGA)或专用集成电路(Application Specific Integrated Circuit，ASIC)等构成。或者，控制部201也可以使用中央处理器(Central Processing Unit，CPU)并通过软件来实现。
差分信息获取部202从拍摄部200获取到的输入图像中获取表示图像内的像素值的差分的差分信息。
非叠加区域获取部203参照差分信息获取部202获取到的差分信息，获取输入图像103中的无法叠加视觉信息的范围(以下，称为非叠加区域)。在本实施方式1中，在决定叠加视觉信息的区域时，首先决定非叠加区域，将除了该非叠加区域以外的区域视为能够叠加视觉信息的区域，从而决定叠加视觉信息的区域。因此，在本实施方式1中，具备获取非叠加区域的非叠加区域获取部203。
叠加区域决定部204参照非叠加区域获取部203获取到的非叠加区域，决定输入图像103中的叠加视觉信息的区域(位置)。
叠加信息获取部205获取与输入图像103关联的视觉信息。获取与输入图像103关联的视觉信息的方法可以是任意方法，例如，可以应用在拍摄对象102附带有标记，拍摄部200将标记与拍摄对象102一起拍摄，选择与标记关联的视觉信息的方法等。此外，在一个方案中，没有特别限定视觉信息的数据形式，例如，若为静止图像，可以是例如，Bitmap、JPEG(Joint Photographic Experts Group)等通用的数据形式；若为视频，可以是例如，AVI(Audio Video Interleave)、FLV(Flash Video)等通用的数据形式，也可以是独特的数据形式。此外，叠加信息获取部205也可以转换获取到的视觉信息的数据形式。需要说明的是，视觉信息不需要与图像有关联。
描绘部206针对拍摄部200获取到的图像，生成将叠加信息获取部205获取到的视觉信息叠加于叠加区域决定部204所决定的区域的图像(以下，称为叠加图像)。
显示部207显示从描绘部206输出的叠加图像、用于控制图像处理装置1A的用户界面(User Interface，UI)等。在一个方案中，显示部207可以由液晶显示器(Liquid CrystalDisplay，LCD)、有机EL显示器(Organic ElectroLuminescence Display，OELD)等构成。
保存部208对叠加信息获取部205获取到的视觉信息、利用于图像处理的各种数据进行保存。在一个方案中，保存部208可以由随机存取存储器(Random Access Memory，RAM)、硬盘等存储装置构成。
控制部201在以上所述的各功能块中的功能的基础上，进行图像处理装置1A整体的控制，进行与各功能块中的处理的命令、控制或数据的输入/输出有关的控制。
需要说明的是，也可以设置用于进行控制部201的各单元之间的数据交换的数据总线。
需要说明的是，在一个方案中，如图1所示，图像处理装置1A构成为在一个装置中包含上述的各功能块。不过，本实施方式1并不限定于此，在其他方案中，也可以具备一部分功能块独立的壳体。例如，在一个方案中，例如，也可以使用个人计算机(PC)等构成对显示在图像处理装置1A的图像进行描绘的、具备差分信息获取部202、非叠加区域获取部203、叠加区域决定部204、叠加信息获取部205、描绘部206的装置。
<差分信息获取部202的构成>
图3是表示差分信息获取部202的功能块配置的一例的图。如图3所示，差分信息获取部202具备：输入图像分割部301、以及对比度计算部302。
输入图像分割部301获取输入图像，并将输入图像分割为多个区域。在一个方案中，输入图像分割部301获取保存于保存部208的输入图像。
对比度计算部302参照输入图像分割部301所分割的输入图像的各区域(以下，称为分割区域)，计算出各分割区域中的对比度(表示像素值的差分的差分信息)。
<差分信息的获取方法>
接着，使用图4对差分信息获取部202中的差分信息的获取方法进行说明。图4是表示计算输入图像103的各分割区域中的对比度的情况的图。
首先，差分信息获取部202的输入图像分割部301将输入图像103分割为多个分割区域。在图4所示的例子中，将输入图像103分割为3行4列，但分割数并不限定于此，也可以分割为一行以上以及一列以上。在此，将输入图像103中的r行c列的分割区域设为A(r，c)。
接着，差分信息获取部202的对比度计算部302计算出在输入图像分割部301所分割的输入图像103的各分割区域中的对比度。当将分割区域A(r，c)的对比度设为V(r，c)时，V(r，c)例如可以通过下述的式(1)来获取。
[算式1]
在此，在式(1)中，Lmax(r，c)是分割区域A(r，c)中的最大亮度，Lmin(r，c)是分割区域A(r，c)中的最小亮度。
需要说明的是，在本实施方式1中，对比度计算部302只要计算出分割区域A(r，c)的对比度即可，并不限定于上述的根据亮度(像素值)来计算出浓淡的对比度的方案。例如，也可以根据输入图像的色相来计算出颜色的对比度。或者，也可以根据色度来计算出对比度。
<非叠加区域的获取方法>
接着，使用图5对非叠加区域获取部203中的非叠加区域的获取方法进行说明。
图5是表示差分信息获取部202获取到的、输入图像103的各分割区域中的对比度的一例的图。在图5中示出：颜色越接近黑色的分割区域，对比度越低，颜色越接近白色的分割区域，对比度越高。
于是，非叠加区域获取部203参照差分信息获取部202生成的输入图像的各分割区域中的对比度，对输入图像103的各分割区域的对比度和预先设定的对比度阈值Th进行比较。对比度阈值Th例如保存于保存部208。
接着，非叠加区域获取部203根据下述的式(2)，将对比度阈值Th以上的对比度的分割区域决定为非叠加区域GF，并将决定为非叠加区域GF的分割区域的、输入图像103内的位置信息保存于保存部208。
[算式2]
GF＝{A(r，c)|1≤r≤R，1≤c≤C，V(r，c)≥Th}···(2)
在此，在式(2)中，R是输入图像的分割行数，C是输入图像的分割列数。
在图5的例子中，分割区域501、502、503、504、505是具有对比度阈值Th以上的对比度的区域，非叠加区域获取部203将分割区域501、502、503、504、505决定为非叠加区域GF。
需要说明的是，在本实施方式1中，非叠加区域获取部203只要获取输入图像103中对比度高的分割区域作为非叠加区域即可，并不限定于如上所述根据阈值来获取非叠加区域的方式。例如，也可以对输入图像103的各分割区域的对比度进行比较，按对比度的降序获取规定数量的分割区域作为非叠加区域。即，非叠加区域获取部203只要获取对比度比规定的基准高的区域作为非叠加区域即可，该基准可以是使用阈值的绝对基准，也可以是相对基准。
此外，在非叠加区域获取部203使输入图像103的各分割区域均为对比度阈值Th以上的情况下，非叠加区域获取部203可以将输入图像103的所有分割区域作为非叠加区域，或者也可以按对比度的降序，将输入图像103的各分割区域中的规定数量的分割区域作为非叠加区域。
此外，在非叠加区域获取部203无法获取具有对比度阈值Th以上的对比度的区域的情况下，非叠加区域获取部203可以设为，例如没有非叠加区域，或者也可以将输入图像103的位于中央的分割区域等固定区域作为非叠加区域；等。
<叠加区域的决定方法>
接着，使用图6对本实施方式1的叠加区域决定部204中的叠加区域的决定方法进行说明。图6是表示非叠加区域获取部203获取到的非叠加区域的一例的图。在图6中，分割区域组601表示非叠加区域GF。
首先，叠加区域决定部204从保存部208获取非叠加区域GF的位置信息。接着，叠加区域决定部204从非叠加区域GF以外的分割区域决定叠加区域。在一方案中，叠加区域决定部204首先对属于非叠加区域GF的多个分割区域A(r，c)的对比度V(r，c)进行相互比较，从该多个分割区域中提取出具有根据下述的式(3)规定的最大的对比度V(r0，c0)的分割区域A(r0，c0)。
[算式3]
V(r0，c0)＝max(V(r，c))，其中A(r，c)∈GF···(3)
接着，叠加区域决定部204依次搜索邻接于分割区域A(r0，c0)的分割区域A(r0-1，c0)、分割区域A(r0，c0-1)、分割区域A(r0，c0+1)、分割区域A(r0+1，c0)，若有不属于非叠加区域GF的区域，则将其决定为叠加区域。
在此，在搜索到的所有分割区域均属于非叠加区域GF的情况下，将位于更远离分割区域A(r0，c0)的位置的分割区域作为搜索范围，反复扩大搜索范围和搜索，直到找到不属于非叠加区域GF的分割区域。
需要说明的是，在本实施方式1中，叠加区域决定部204只要将输入图像的非叠加区域以外决定为叠加区域即可，并不限定于上述那样的将对比度最高的区域附近决定为叠加区域的方式。例如，在另一个方案中，叠加区域决定部204可以将输入图像的非叠加区域以外的区域中、位于最外缘的区域决定为叠加区域，或者可以在连接叠加区域时，决定为面积最大的区域。
<流程图>
图7是说明本实施方式1的图像处理装置1A的动作的一例的流程图。参照图7，说明了如下处理：图像处理装置1A获取输入图像103的差分信息，参照获取到的差分信息，决定在输入图像103上叠加视觉信息104的区域，显示叠加的图像。
需要说明的是，如上所述，在本实施方式1中，获取输入图像103中的非叠加区域，参照获取到的非叠加区域来决定叠加区域。以下，基于该方案，对图像处理装置1A的动作进行说明。
首先，在步骤S100中，通过差分信息获取部202从拍摄部200获取输入图像。获取后，进入步骤S101。
在步骤S101中，通过差分信息获取部202将输入图像分割为多个分割区域。分割后，进入步骤S102。
在步骤S102中，通过差分信息获取部202计算出输入图像的各分割区域的对比度。算出后，进入步骤S103。
在步骤S103中，通过非叠加区域获取部203，参照步骤S102中计算出的对比度，对输入图像的非叠加区域进行检测。检测后，进入步骤S104。
在步骤S104中，通过叠加区域决定部204，参照步骤S103中所检测的非叠加区域，决定输入图像的叠加区域。决定后，进入步骤S105。
在步骤S105中，通过叠加信息获取部205获取叠加于输入图像的视觉信息。获取后，视觉信息被输出至描绘部206，进入步骤S106。
在步骤S106中，通过描绘部206，对于输入图像103，生成将步骤S105中获取到的视觉信息叠加于步骤S105中决定的输入图像的叠加区域的叠加图像。在生成叠加图像之后，进入步骤S107。
在步骤S107中，通过显示部207获取描绘部206所生成的叠加图像，并显示该叠加图像。
在步骤S108中，通过控制部201判定显示处理是否结束。在显示处理未结束而继续的情况下(步骤S108的否)，返回至步骤S100，重复前述的显示处理。在显示处理结束的情况下(步骤S108的是)，结束所有的处理。
通过以上的构成，在将视觉信息叠加于输入图像的图像处理装置1A中，可以根据输入图像103的差分信息来决定不叠加(不显示)视觉信息的区域。
需要说明的是，在本实施方式1中，对用于决定叠加视觉信息的区域(位置)的方案进行了说明，但该方案可以换言之，是基于获取到的差分信息来决定不叠加视觉信息的区域(非叠加区域)的方案。
〔实施方式2〕
基于图8～图12，对本公开的其他实施方式进行说明，并如下所述。需要说明的是，为了方便说明，对具有与上述的实施方式1中说明过的构件相同的功能的构件，标注相同的符号，并省略其说明。
图8是表示本实施方式2的图像处理装置1B的功能块配置的一例的图。
在图8所示的图像处理装置1B中，控制部201(图像处理部)的差分信息获取部802和非叠加区域获取部803，与图2所示的实施方式1中的图像处理装置1A的控制部201的差分信息获取部202和非叠加区域获取部203不同。除此之外，本实施方式2的图像处理装置1B与实施方式1的图像处理装置1A相同。
差分信息获取部802获取拍摄时刻不同的多个输入图像，并获取这些输入图像的时间差分(差分信息)。
非叠加区域获取部803参照差分信息获取部802所获取的差分信息，获取非叠加区域。
<差分信息获取部802的构成>
图9是表示差分信息获取部802的功能块配置的一例的图。图10是说明差分信息获取部802的示意图。
如图9所示，差分信息获取部802具备：输入图像读入部901、以及差分图像生成部902。
输入图像读入部901从保存部208(图8)获取拍摄时刻不同的两个输入图像，具体而言，获取图10所示的在第一时刻(处理帧t-1)拍摄的第一输入图像1001、以及在该第一时刻之后的第二时刻(处理帧t)拍摄的第二输入图像1002。
差分图像生成部902从第一输入图像1001和第二输入图像1002获取差分图像1003(差分信息)。
在此，当将处理帧t中的输入图像的像素(m，n)设为It(m，n)、将差分图像1003的像素(m，n)的像素值设为D(m，n)时，差分图像1003可以通过下述式(4)来计算出。
[算式4]
D(m，n)＝|It(m，n)-It-1(m，n)|...(4)
需要说明的是，差分图像1003的像素(m，n)的像素值在一个方案中可以是亮度值，然而，并不限定于此，像素值也可以是RGB中的任一个，也可以是色度、色相等。
根据计算出的差分图像1003，能检测到像素值有大的变动的部位。在此，在本实施方式2中，以在不同的拍摄时刻拍摄相同的拍摄范围为前提，在这样的前提下，像素值根据拍摄时刻有大的变动的部位表示在真实空间内被摄体出现的部位。作为这样的被摄体，有移动体。然后，在本实施方式2中，将该移动体视为对用户来说应该识别的被摄体。即，在本实施方式2中，通过观察输入图像中的像素值随时间的变动，来检测移动体的有无和位置，使视觉信息不会叠加于这些位置。
差分图像1003可以直接保存在保存部208，也可以将由阈值ThD二值化后的图像保存在保存部208。
<非叠加区域的获取方法>
非叠加区域获取部803参照差分信息获取部802的差分图像生成部902生成的差分图像1003，将差分图像1003的像素值在阈值以上的像素作为非叠加区域。在图11的例子中，区域1101是非叠加区域。这样，非叠加区域获取部803将输入图像中随时间的变化比规定的基准大的区域作为非叠加区域。
此外，使用非叠加区域的移动方向信息，预测下一个处理帧中可能成为非叠加区域的区域，也可以将预测到的区域作为非叠加区域。移动方向信息可以通过线性预测等周知的算法来获取。
<流程图>
图12是说明本实施方式2的图像处理装置1B的动作的一例的流程图。参照图12，说明了如下处理：图像处理装置1B获取输入图像103的差分信息，参照获取到的差分信息，决定视觉信息104叠加于输入图像103的区域，对叠加的图像进行显示。
需要说明的是，与上述的实施方式1相同，在本实施方式2中，也获取输入图像103中的非叠加区域，并参照获取到的非叠加区域来决定叠加区域。
首先，在步骤S200中，通过差分信息获取部802从拍摄部200获取多个输入图像。获取后，进入步骤S201。
在步骤S201中，通过差分信息获取部802从多个输入图像获取差分图像。获取后，进入步骤S202。
在步骤S202中，通过非叠加区域获取部803，参照步骤S201中获取到的差分图像，获取非叠加区域。获取后，进入步骤S203。
在步骤S203中，通过叠加区域决定部204，参照步骤S202中获取到的非叠加区域，决定输入图像的叠加区域。决定后，进入步骤S204。
在步骤S204中，通过叠加信息获取部205，获取叠加于输入图像的视觉信息。获取后，进入步骤S205。
在步骤S205中，通过描绘部206，对于输入图像，生成将步骤S205中获取到的视觉信息叠加于步骤S203中决定的叠加区域的叠加图像。生成后，进入步骤S206。
在步骤S206中，通过显示部207获取描绘部206所生成的叠加图像，并显示该叠加图像。
在步骤S207中，通过控制部201判定是否结束显示处理。在显示处理未结束而继续的情况下(步骤S207的否)，返回至步骤S200，重复前述的显示处理。在显示处理结束的情况下(步骤S207的是)，结束所有的处理。
通过以上的构成，在将视觉信息叠加于输入图像的图像处理装置1B中，可以根据输入图像103的差分信息来决定不叠加(不显示)视觉信息的区域。
此外，根据本实施方式2，将显示移动体的区域设为非叠加区域，由此，在该区域不显示视觉信息。由此，能确保用户对移动体的视觉确认性。假如在显示移动体的区域叠加视觉信息，则用户无法视觉确认移动体，恐怕会发生危险。然而，根据本实施方式2的构成，能够避免这样的危险。
需要说明的是，在本实施方式2中，也与上述实施方式1同样，对用于决定叠加视觉信息的区域(位置)的方案进行了说明，但该方案可以换言之，是基于获取到的差分信息，决定不叠加视觉信息的区域(非叠加区域)的方案。
〔实施方式3〕
基于图13～图15，对本公开的其他实施方式进行说明，如下所述。需要说明的是，为了方便说明，对具有与上述的实施方式2中说明过的构件相同的功能的构件，标注相同的符号，并省略其说明。
图13是表示本实施方式3中的图像处理装置1C的功能块配置的一例的图。
在图13所示的图像处理装置1C中，控制部201(图像处理部)的差分信息获取部1302和非叠加区域获取部1303，与图8所示的实施方式2中的图像处理装置1B的控制部201的差分信息获取部802和非叠加区域获取部803不同。除此之外，本实施方式3的图像处理装置1C与实施方式2的图像处理装置1B相同。
在本实施方式3中，为了改善视觉信息的视觉确认性，决定非叠加区域以及叠加区域，以免叠加的视觉信息的位置发生大的变动。因此，在本实施方式3中，作为与实施方式2的不同点，包括获取输入图像的对焦位置(焦点位置)的步骤。具体如下。
差分信息获取部1302获取拍摄时刻不同的多个输入图像、以及输入图像的对焦位置。
非叠加区域获取部1303参照输入图像的时间差分和对焦位置的时间差分，获取非叠加区域。
<差分信息获取部1302的构成>
图14是表示差分信息获取部1302的功能块配置的一例的图。
如图14所示，差分信息获取部1302具备：输入图像读入部1401、差分图像生成部1402、以及对焦位置变动计算部1403。
输入图像读入部1401从保存部208获取：拍摄时刻不同的第一输入图像1001、第二输入图像1002、第一输入图像1001的对焦位置、以及第二输入图像1002的对焦位置。在此，作为对焦位置的获取方法的一个方案，有如下方法：按每个像素计算出对比度，获取对比度比预先设定的阈值高的位置，或者，在图像内比较对比度而获取对比度最高的位置作为对焦位置。需要说明的是，获取方法并不限定于此。
差分图像生成部1402与实施方式2的差分图像生成部902(图9)同样，从第一输入图像1001和第二输入图像1002获取差分图像1003。
对焦位置变动计算部1403参照输入图像读入部1401所获取的第一输入图像1001的对焦位置和第二输入图像1002的对焦位置，计算出对焦位置的位移。
<非叠加区域的获取方法>
非叠加区域获取部1303参照对焦位置的位移，若对焦位置的位移为规定的基准以上(例如，阈值ThF以上)，则参照差分图像1003，将差分图像1003的像素值为阈值以上的像素设为非叠加区域。
此外，若对焦位置的位移比规定的基准小(例如，小于阈值ThF)，则非叠加区域获取部1303维持非叠加区域。由此，图像处理装置1C在对焦位置的位移比规定的基准小时，不改变叠加视觉信息的位置。
<流程图>
图15是说明本实施方式3的图像处理装置1C的动作的一例的流程图。
首先，在步骤S300中，通过差分信息获取部1302从拍摄部200获取多个输入图像。获取后，进入步骤S301。
在步骤S301中，通过差分信息获取部1302的对焦位置变动计算部1403，从多个输入图像中获取对焦位置的位移。获取后，进入步骤S302。
在步骤S302中，通过差分信息获取部1302的差分图像生成部1402，从多个输入图像中获取差分图像。获取后，进入步骤S303。
在步骤S303中，通过非叠加区域获取部1303，对步骤S301中对焦位置变动计算部1403所获取的对焦位置的位移是否为阈值以上进行判定。在判定结果是对焦位置的位移为阈值以上的情况下(步骤S303的是)，进入步骤S304。
在步骤S304中，通过非叠加区域获取部1303，从差分图像获取非叠加区域。获取后，进入步骤S305。
在步骤S305中，通过叠加区域决定部204，参照步骤S304中获取到的非叠加区域，决定输入图像的叠加区域。决定后，进入步骤S306。
另一方面，在步骤S303中的判定结果是对焦位置的位移小于阈值的情况下(步骤S303的否)，不改变非叠加区域以及叠加区域，进入步骤S306。
在步骤S306中，通过叠加信息获取部205，获取叠加于输入图像的视觉信息。获取后，进入步骤S307。
在步骤S307中，通过描绘部206，对于输入图像，生成将步骤S306中获取到的视觉信息叠加于步骤S305中决定的叠加区域的叠加图像。生成后，进入步骤S308。
在步骤S308中，通过显示部207，获取描绘部206所生成的叠加图像，并显示该叠加图像。
在步骤S309中，通过控制部201判定是否结束显示处理。在显示处理未结束而继续的情况下(步骤S309的否)，返回至步骤S300，重复前述的显示处理。在显示处理结束的情况下(步骤S309的是)，结束所有的处理。
需要说明的是，在本实施方式3中，在对焦位置的位移为阈值以上的情况下，在步骤S304中，与实施方式2同样，基于使用拍摄时刻不同的两个输入图像而生成的差分图像来决定非叠加区域，但并不限定于此。例如，在对焦位置的位移为阈值以上的情况下，可以是如下方案：参照实施方式1中说明过的对比度(表示像素值的差分的差分信息)来决定非叠加区域。
如上所述，根据本实施方式3，在对焦位置的位移小于阈值的情况下，不改变视觉信息的叠加位置。由此，在调整变焦时等，在对焦位置不变化、用户的视线不变时，能抑制由视觉信息的叠加位置移动引起的视觉信息的视觉确认性的降低。
〔实施方式4〕
以下基于图16～图18进一步说明上述的实施方式1的图像处理装置1A中图1所示的视觉信息104的显示方式。需要说明的是，为了方便说明，对具有与上述的实施方式1中说明过的构件相同的功能的构件，标注相同的符号，并省略其说明。
图16中的(a)和(b)中示出了视觉信息104的显示方式的一个形态。在图16中的(a)和(b)中，对于作为输入图像103中的被摄体(部位)的杯子1601，在叠加区域602叠加有称为“杯子”的视觉信息104和与其相伴的对话框图像104a(附加图像)。对话框图像104a具有从输入图像103内的杯子1601弹出的形状，通过连接杯子1601和视觉信息104来表示两者相关联。
图16中的(a)与(b)的不同在于叠加区域602的范围。在图16中的(a)所示的方案中，输入图像103内的杯子1601的附近存在叠加区域602，视觉信息104以及对话框图像104a叠加于杯子1601的附近的位置。另一方面，在图16中的(b)所示的方案中，在比较远离反映在输入图像103内的右端的杯子1601的位置即输入图像103内的左端存在叠加区域602。因此，视觉信息104以及对话框图像104a叠加于位于输入图像103内的左端的叠加区域602，但是，与图16中的(a)所示的方案同样，对话框图像104a具有从杯子1601弹出的形状，成为将分开地位于左右两端的杯子1601与视觉信息104相连的形状。因此，用户能够判断叠加的视觉信息104是与什么关联的信息。
此外，即使在拍摄范围从图16中的(a)所示的状态变到图16中的(b)所示的状态，视觉信息104的叠加位置发生了变化的情况下，若对话框图像104a的形状随之变化，则通过视觉信息104能消除无法视觉确认杯子1601的不良情况，用户能对视觉信息104以及杯子1601这两者进行视觉确认。
即，在一个方案中，基于叠加视觉信息104的坐标位置、以及输入图像103内的与视觉信息104关联的被摄体(部位)的坐标位置，决定对话框图像104a的形状。
图17所示的方案与图16同样，基于叠加视觉信息104的叠加区域602的坐标位置和杯子1601的坐标位置，决定将视觉信息104和输入图像103内的与视觉信息104关联的被摄体即杯子1601连接的指示线104b(附加图像)的方向以及长度(形状)。
需要说明的是，在本说明书中，指示线104b的形状发生变化包括仅指示线104b的长度发生变化的情况。即，在一个方案中，基于叠加视觉信息104的坐标位置、和输入图像103内的与视觉信息104关联的被摄体(部位)的坐标位置，决定指示线104b的形状。
图18所示的方案表示在输入图像103内，分别对不同的多个部位叠加不同的视觉信息的情况。在图18中，作为输入图像103的两个部位，举出杯子1601和大盘子1801作为例子。然后，对于杯子1601，将称为“杯子”的视觉信息104叠加于输入图像103，对于大盘子1801，将称为“大盘子”的视觉信息104c叠加于输入图像103。在该方案中，称为“杯子”的视觉信息104叠加于比称为“大盘子”的视觉信息104c更接近杯子1601的位置。同样地，称为“大盘子”的视觉信息104c叠加于比称为“杯子”的视觉信息104更接近大盘子1801的位置。
而且，在图18所示的方案中，在输入图像103叠加有将称为“杯子”的视觉信息104与杯子1601相连的指示线104b(附加图像)。同样地，在输入图像103叠加有将称为“大盘子”的视觉信息104c与大盘子1801相连的指示线104d(附加图像)。在图18所示的方案中，通过将称为“杯子”的视觉信息104叠加于接近杯子1601的位置，将称为“大盘子”的视觉信息104c叠加于接近大盘子1801的位置，由此，构成为这两个指示线104b、104d不会交叉。
即，在一个方案中，通过使视觉信息和与该视觉信息关联的被摄体(部位)在图像内接近，即使在叠加显示多种视觉信息的情况下，也能不混乱地视觉确认各自的视觉信息。
〔实施方式5〕
基于图19～图20，对本公开的其他实施方式进行说明，并如下所述。需要说明的是，为了方便说明，对具有与上述的实施方式2中说明过的构件相同的功能的构件，标注相同的符号，并省略其说明。
图19是表示本实施方式5中的图像处理装置1D的使用方式的一例的图。虽然在上述的实施方式2中已经说明过，但是，作为本公开的一个方案，可以使用输入图像对真实空间上的移动体进行检测，使视觉信息不会叠加于检测到的移动体的位置。在本实施方式5中，对此进行详述。
本实施方式5中的图像处理装置1D与实施方式2的图像处理装置1B的不同之处在于，控制部201从由摄像机获取的输入图像中检测移动体，根据检测到的移动体的位置，切换是否叠加视觉信息。
具体而言，本实施方式5中的图像处理装置1D的控制部201构成为，在检测到的移动体的位置在叠加视觉信息的区域内的情况下，切换为不叠加视觉信息。由此，用户能识别被视觉信息隐藏的移动体。
在图19所示的图像处理装置1D的显示部207中，作为输入图像103显示实时拍摄从画面跟前侧向画面内侧延伸的道路而得到的图像。此外，在该显示部207，在输入图像103的中央附近设定有叠加区域，在该叠加区域叠加显示有保龄球瓶型的视觉信息104。
在一个方案中，在图19所示的状态下，假设车辆(移动体)从画面内侧出现在道路上并正在移动的情况下，使用输入图像对移动的车辆进行感测。然后，根据该感测结果，进行使叠加显示的保龄球瓶型的视觉信息104不叠加的处理。具体而言，接受检测到移动的车辆的感测结果，将设定于输入图像103的中央附近的叠加区域切换为非叠加区域。由此，在设定于输入图像103的中央附近的叠加区域叠加显示的保龄球瓶型的视觉信息104消失。保龄球瓶型的视觉信息104可以从显示部207所显示的输入图像103完全地消失，也可以将叠加位置移到其他叠加区域。
总之，在本实施方式5中，根据感测到的移动体的位置，进行将已被设定为叠加区域的区域切换为非叠加区域的处理。
如实施方式2中所说明的那样，车辆的出现以及移动能通过获取输入图像103的时间差分(差分信息)来进行感测。此时，也能确定出现的车辆在输入图像内的位置。
图20示出了感测到车辆的出现时的显示部207的一例。在图20中，在显示部207所显示的输入图像103中映有车辆2000，在图19中叠加显示的保龄球瓶型的视觉信息104未叠加。
这样，根据本实施方式5，能感测移动体，并切换是否叠加视觉信息。如图19以及图20所示，可以通过检测移动体，将已经叠加显示的视觉信息104设为非叠加。
因此，在如图19以及图20所示例的情境下使用图像处理装置1D的情况下，用户能够识别车辆的出现，假设在用户闯入道路内或者接近道路进行拍摄的情况下，能够注意到车辆，采取躲避等对应措施，因此，能防止事故发生。
特别是，在检测到的车辆2000的位置在叠加保龄球瓶型的视觉信息104的区域内，车辆2000的移动方向是朝向输入图像103跟前侧的方向的情况下，优选构成为切换成不叠加保龄球瓶型的视觉信息104。如实施方式2中说明的那样，车辆2000的移动方向信息能通过线性预测来获取。通过这样构成，能确保用户对隐藏于视觉信息且向接近用户的方向移动的移动体的视觉确认性。
〔实施方式6〕
基于图21～图22，对本公开的其他实施方式进行说明，并如下所述。需要说明的是，为了方便说明，对具有与上述的实施方式5中说明过的构件相同的功能的构件，标注相同的符号，并省略其说明。
在上述的实施方式5中，根据感测到的移动体的位置，进行将已被设定为叠加区域的区域切换为非叠加区域的处理。与此相对，在本实施方式6中，根据检测到的移动体的移动方向，进行切换成不叠加视觉信息的处理。
图21是表示本实施方式6中的图像处理装置1E的使用方式的一例的图。在图21中，把持图像处理装置1E的用户对从纸面跟前侧向内侧延伸的道路进行拍摄。然后，在显示部207中，显示有：以道路及其周边作为拍摄范围而拍摄的输入图像103、和在该输入图像103的中央附近以及其下方的位置叠加显示的保龄球瓶型的视觉信息104以及保龄球型的视觉信息104’。此外，在图21的输入图像103中，拍摄了放置于道路的前端的自行车2100。
然后，在本实施方式6中，当该自行车2100移动时，图像处理装置1E的控制部201使用输入图像感测该移动，在检测到的自行车2100(移动体)的移动方向为朝向输入图像103跟前侧的方向的情况下，切换成不叠加保龄球瓶型的视觉信息104以及保龄球型的视觉信息104’。
图22示出了将表示自行车2100向输入图像103跟前侧(图22中的箭头表示的方向)移动的状态的输入图像103显示在显示部207的情况。
当图像处理装置1E的控制部201基于输入图像103感测到如图22所示自行车2100向输入图像103跟前侧移动时，将叠加显示的保龄球瓶型的视觉信息104以及保龄球型的视觉信息104’设为不叠加。
另一方面，图像处理装置1E的控制部201在检测到的自行车2100(移动体)的移动方向为朝向输入图像103横向的方向的情况下，维持叠加保龄球瓶型的视觉信息104以及保龄球型的视觉信息104’。
对于自行车2100的移动的感测以及移动方向的检测，如实施方式2中说明的那样，可以通过获取输入图像103的时间差分(差分信息)来进行。
根据本实施方式6，在图21以及图22所示例的情境下使用图像处理装置1E的情况下，用户能识别向接近用户的方向移动的移动体，能防止事故发生。
〔基于软件的实现例〕
图像处理装置1A～1E的控制部201可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(Central Processing Unit)通过软件来实现。
在后者的情况下，控制部201具备：执行作为实现各功能的软件的程序的命令的CPU、以计算机(或CPU)可读取的方式记录有上述程序以及各种数据的只读存储器(ReadOnly Memory，ROM)或存储装置(将它们称为“记录介质”)、以及扩展上述程序的随机存取存储器(Random Access Memory，RAM)等。然后，通过由计算机(或CPU)从上述记录介质读取并执行上述程序，来达成本公开的目的。作为上述记录介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是，本公开的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。
[总结]
本公开的方案1的图像处理装置1A、1B、1C具备：图像处理部(控制部201)，将视觉信息104叠加于输入图像103，所述图像处理部(控制部201)根据所述输入图像103中的表示图像内的像素值的差分(对比度)、以及图像间的差分(差分图像1003)中的至少一方的差分信息，决定叠加所述视觉信息104的位置(叠加区域)。
根据上述的构成，能提供通过图像处理来决定叠加显示视觉信息的位置的图像处理装置。
具体而言，根据输入图像的差分信息，决定在输入图像上叠加显示视觉信息的位置。
本公开的方案2的图像处理装置1A，在上述方案1中，可以是，所述差分信息包含表示所述输入图像的对比度的信息，所述图像处理部(控制部201)以在所述对比度比规定的基准高的区域不叠加所述视觉信息104的方式，决定叠加所述视觉信息104的位置。
在输入图像内对比度高的部位，被认为是对用户来说想要视觉确认或者应该视觉确认的部位。因此，根据上述的构成，为了使视觉信息不叠加在该部位，将该部位以外的位置决定为叠加视觉信息的位置。由此，用户能舒适地视觉确认包含该部位的输入图像和叠加于该部位以外的位置的视觉信息。
本公开的方案3的图像处理装置1B、1C，在上述方案1或2中，可以是，所述差分信息包含表示所述输入图像(第一输入图像1001以及第二输入图像1002)随时间的变化的信息，所述图像处理部(控制部201)以在所述随时间的变化比规定的基准大的区域不叠加所述视觉信息104的方式，决定叠加所述视觉信息104的位置。
可以认为，拍摄时刻不同的输入图像彼此之间随时间的变化大的区域包含某种有意义的信息。例如，可能正在拍摄移动的实物体。这样的区域可以说是用户应该视觉确认的区域。因此，根据上述的构成，成为在这样的区域不叠加视觉信息的构成。由此，用户能对在输入图像中应该视觉确认的信息进行视觉确认，并且也能对叠加的视觉信息进行视觉确认。
本公开的方案4的图像处理装置1C，在上述方案1至3中，所述差分信息包含表示所述输入图像的焦点位置(对焦位置)的位移的信息，所述图像处理部在所述焦点位置(对焦位置)的位移比规定的基准小的情况下，不改变叠加所述视觉信息104的位置。
根据上述的构成，在调整变焦时等，在对焦位置不变、用户的视线不变时，能抑制由视觉信息的叠加位置移动引起的视觉信息的视觉确认性的降低。
本公开的方案5的图像处理装置1A、1B、1C，在上述方案1至4中，将附加图像(对话框图像104a、指示线104b、104d)随着所述视觉信息叠加于所述输入图像103，根据所决定的叠加所述视觉信息的位置，改变所述附加图像(对话框图像104a、指示线104b、104d)的形状。
根据上述的构成，用户能容易地识别被摄体与叠加的视觉信息104的关联性。
本公开的方案6的图像处理装置1A、1B、1C，在上述方案1至5中，所述视觉信息104、104c与所述输入图像中的特定部位(杯子1601，大盘子1801)关联，所述图像处理部(控制部201)使所述附加图像(对话框图像104a、指示线104b、104d)的形状改变为将所述特定部位(杯子1601、大盘子1801)与所述视觉信息104、104c相连的形状。
根据上述的构成，用户能更容易地识别被摄体与叠加的视觉信息104的关联性。
本公开的方案7的图像处理装置1A、1B、1C，在上述方案1至6中，所述图像处理部(控制部201)将多个所述视觉信息(指示线104b、104d)叠加于所述输入图像103，所述视觉信息(指示线104b、104d)分别与所述输入图像103中的相互不同的部位(杯子1601、大盘子1801)关联，所述图像处理部(控制部201)以所述视觉信息(指示线104b、104d)各自的叠加位置为比与该视觉信息以外的所述视觉信息关联的所述部位更接近与该视觉信息关联的所述部位的位置的方式，决定所述视觉信息各自的叠加位置。
根据上述的构成，即使在叠加显示多种视觉信息的情况下，也能不混乱地视觉确认各自的视觉信息。
本公开的方案8的图像处理装置1A、1B、1C具备：图像处理部(控制部201)，将视觉信息104叠加于输入图像103，所述图像处理部(控制部201)根据所述输入图像103中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定不叠加所述视觉信息的范围(非叠加区域)。
根据上述的构成，能够提供通过图像处理来决定不叠加显示视觉信息的范围的图像处理装置。
具体而言，能根据输入图像的差分信息，决定在输入图像上不叠加显示视觉信息的范围。由此，将除了所决定的不叠加显示的范围以外的区域决定为能叠加显示视觉信息的区域，能在该区域叠加显示视觉信息。
本公开的方案9的图像处理装置1B、1D具备：图像处理部(控制部201)，将视觉信息104叠加于输入图像103，所述图像处理部(控制部201)从所述输入图像103中检测移动体(车辆2000)，根据检测到的移动体(车辆2000)的位置以及移动方向中的至少一方，切换是否叠加所述视觉信息(保龄球瓶型的视觉信息104)。
根据上述的构成，能确保用户对移动体的视觉确认性。
本公开的方案10的图像处理装置1D，在上述方案9中，在所述检测到的移动体(车辆2000)的位置在叠加所述视觉信息的区域内的情况下，切换成不叠加所述视觉信息(保龄球瓶型的视觉信息104)。
根据上述的构成，能够确保用户对隐藏于视觉信息的移动体的视觉确认性。
本公开的方案11的图像处理装置1D，在上述方案9中，在所述检测到的移动体(车辆2000)的位置在叠加所述视觉信息的区域内、且所述检测到的移动体(车辆2000)的移动方向为朝向所述输入图像103跟前侧的方向的情况下，切换成不叠加所述视觉信息(保龄球瓶型的视觉信息104)。
根据上述的构成，能够确保用户对隐藏于视觉信息且向接近用户的方向移动的移动体的视觉确认性。
本公开的方案12的图像处理装置1E，在上述方案9中，在所述检测到的移动体(自行车2100)的移动方向为朝向所述输入图像103跟前侧的方向的情况下，切换成不叠加所述视觉信息。
根据上述的构成，能确保用户对向接近用户的方向移动的移动体的视觉确认性。
而且，本公开的各方案的图像处理装置可以通过计算机来实现，在该情况下，通过使计算机作为上述图像处理装置所具备的各部分(软件要素)进行动作而使上述图像处理装置由计算机实现的图像处理装置的图像处理程序、以及记录有该图像处理程序的计算机可读记录介质也落入本公开的范畴。
即，本公开的方案13的图像处理程序，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定叠加所述视觉信息的位置的叠加位置决定处理。
此外，本公开的方案14的图像处理程序，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定不叠加所述视觉信息的范围的非叠加区域决定处理。
此外，本公开的方案15的图像处理程序，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：从所述输入图像中检测移动体，根据检测到的移动体的位置以及移动方向中的至少一方，切换是否叠加所述视觉信息的叠加切换处理。
本公开并不限定于上述各实施方式，在权利要求所示的范围内可以进行各种变更，将分别公开于不同的实施方式的技术方案适当组合而得到的实施方式也包含在本公开的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。
(相关申请的交叉引用)
本申请对2017年2月10日提出申请的日本专利申请：日本特愿2017-023586主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。
符号说明
1A、1B、1C、1D、1E 图像处理装置
101 摄像机
102 拍摄对象
103 输入图像
104a 对话框图像(附加图像)
104、104c、104’ 视觉信息
104b、104d 指示线(附加图像)
200 拍摄部
201 控制部
202、802、1302 差分信息获取部
203、302 对比度计算部
203、802、803、1302、1303 非叠加区域获取部
204 叠加区域决定部
205 叠加信息获取部
206 描绘部
207 显示部
208 保存部
301 输入图像分割部
501 分割区域
601 分割区域组
602 叠加区域
901、1401 输入图像读入部
902、1402 差分图像生成部
1001 第一输入图像
1002 第二输入图像
1003 差分图像
1101 区域
1403 对焦位置变动计算部

Claims (15)

1.一种图像处理装置，其特征在于，
具备：图像处理部，将视觉信息叠加于输入图像，
所述图像处理部根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定叠加所述视觉信息的位置。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述差分信息包含表示所述输入图像的对比度的信息，
所述图像处理部以在所述对比度比规定的基准高的区域不叠加所述视觉信息的方式，决定叠加所述视觉信息的位置。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述差分信息包含表示所述输入图像随时间的变化的信息，
所述图像处理部以在所述随时间的变化比规定的基准大的区域不叠加所述视觉信息的方式，决定叠加所述视觉信息的位置。
4.根据权利要求1～3中任一项所述的图像处理装置，其特征在于，
所述差分信息包含表示所述输入图像的焦点位置的位移的信息，
在所述焦点位置的位移比规定的基准小的情况下，所述图像处理部不改变叠加所述视觉信息的位置。
5.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，
所述图像处理部将附加图像随着所述视觉信息叠加于所述输入图像，
根据所决定的叠加所述视觉信息的位置，改变所述附加图像的形状。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述视觉信息与所述输入图像中的特定部位关联，
所述图像处理部使所述附加图像的形状改变为将所述特定部位与所述视觉信息相连的形状。
7.根据权利要求1～6中任一项所述的图像处理装置，其特征在于，
所述图像处理部将多个所述视觉信息叠加于所述输入图像，
所述视觉信息分别与所述输入图像中的相互不同的部位关联，
所述图像处理部以所述视觉信息各自的叠加位置为比与所述视觉信息以外的所述视觉信息关联的所述部位更接近与所述视觉信息关联的所述部位的位置的方式，决定所述视觉信息各自的叠加位置。
8.一种图像处理装置，其特征在于，
具备：图像处理部，将视觉信息叠加于输入图像，
所述图像处理部根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定不叠加所述视觉信息的范围。
9.一种图像处理装置，其特征在于，
具备：图像处理部，将视觉信息叠加于输入图像，
所述图像处理部从所述输入图像中检测移动体，根据检测到的移动体的位置以及移动方向中的至少一方，切换是否叠加所述视觉信息。
10.根据权利要求9所述的图像处理装置，其特征在于，
在所述检测到的移动体的位置在叠加所述视觉信息的区域内的情况下，所述图像处理部切换成不叠加所述视觉信息。
11.根据权利要求9所述的图像处理装置，其特征在于，
在所述检测到的移动体的位置在叠加所述视觉信息的区域内、且所述检测到的移动体的移动方向为朝向所述输入图像跟前侧的方向的情况下，所述图像处理部切换成不叠加所述视觉信息。
12.根据权利要求9所述的图像处理装置，其特征在于，
在所述检测到的移动体的移动方向为朝向所述输入图像跟前侧的方向的情况下，所述图像处理部切换成不叠加所述视觉信息。
13.一种图像处理程序，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：
根据所述输入图像中的表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定叠加所述视觉信息的位置的叠加位置决定处理。
14.一种图像处理程序，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：
根据所述输入图像中表示图像内的像素值的差分、以及图像间的差分中的至少一方的差分信息，决定不叠加所述视觉信息的范围的非叠加区域决定处理。
15.一种图像处理程序，用于使将视觉信息叠加于输入图像且具备处理器的图像处理装置的所述处理器执行：
从所述输入图像中检测移动体，根据检测到的移动体的位置以及移动方向中的至少一方，切换是否叠加所述视觉信息的叠加切换处理。
CN201780086137.5A 2017-02-10 2017-12-28 图像处理装置以及图像处理程序 Withdrawn CN110291575A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017023586 2017-02-10
JP2017-023586 2017-02-10
PCT/JP2017/047262 WO2018146979A1 (ja) 2017-02-10 2017-12-28 画像処理装置及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN110291575A true CN110291575A (zh) 2019-09-27

Family

ID=63107521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086137.5A Withdrawn CN110291575A (zh) 2017-02-10 2017-12-28 图像处理装置以及图像处理程序

Country Status (4)

Country Link
US (1) US20210158553A1 (zh)
JP (1) JP6708760B2 (zh)
CN (1) CN110291575A (zh)
WO (1) WO2018146979A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7134759B2 (ja) * 2018-07-13 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128607A (ja) * 2003-10-21 2005-05-19 Nissan Motor Co Ltd 車両用表示装置
US20090268940A1 (en) * 2008-04-25 2009-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium storing program thereof
JP2010226496A (ja) * 2009-03-24 2010-10-07 Olympus Imaging Corp 撮影装置およびライブビュー表示方法
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
JP2012234022A (ja) * 2011-04-28 2012-11-29 Jvc Kenwood Corp 撮像装置、撮像方法および撮像プログラム
CN103189899A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
US20150186341A1 (en) * 2013-12-26 2015-07-02 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
WO2016017121A1 (ja) * 2014-07-28 2016-02-04 パナソニックＩｐマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法
JP2016061885A (ja) * 2014-09-17 2016-04-25 ヤフー株式会社 広告表示装置、広告表示方法、及び広告表示プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6674793B2 (ja) * 2016-02-25 2020-04-01 京セラ株式会社 運転支援情報表示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128607A (ja) * 2003-10-21 2005-05-19 Nissan Motor Co Ltd 車両用表示装置
US20090268940A1 (en) * 2008-04-25 2009-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium storing program thereof
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
JP2010226496A (ja) * 2009-03-24 2010-10-07 Olympus Imaging Corp 撮影装置およびライブビュー表示方法
CN103189899A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
JP2012234022A (ja) * 2011-04-28 2012-11-29 Jvc Kenwood Corp 撮像装置、撮像方法および撮像プログラム
US20150186341A1 (en) * 2013-12-26 2015-07-02 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
WO2016017121A1 (ja) * 2014-07-28 2016-02-04 パナソニックＩｐマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法
JP2016061885A (ja) * 2014-09-17 2016-04-25 ヤフー株式会社 広告表示装置、広告表示方法、及び広告表示プログラム

Also Published As

Publication number Publication date
JPWO2018146979A1 (ja) 2019-11-14
WO2018146979A1 (ja) 2018-08-16
US20210158553A1 (en) 2021-05-27
JP6708760B2 (ja) 2020-06-10

Similar Documents

Publication Publication Date Title
US11335079B2 (en) Method and system of reflection suppression for image processing
CN109670397B (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
EP3146500B1 (en) Adaptive low-light identification
US11050915B2 (en) Method for zooming by switching between dual cameras, mobile terminal, and storage apparatus
US20070113099A1 (en) Authentication apparatus and portable terminal
US9436064B2 (en) Imaging device, and focus-confirmation display method
CN107766831A (zh) 图像处理方法、装置、移动终端和计算机可读存储介质
JP5753251B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20160163066A1 (en) Image processing device and imaging apparatus
CN111095364A (zh) 信息处理装置、信息处理方法和程序
US10282819B2 (en) Image display control to grasp information about image
JP2017201745A (ja) 画像処理装置、画像処理方法およびプログラム
US20090122158A1 (en) Image capturing device and method
CN107800953A (zh) 图像获取装置及其缩放图像的方法
US10623625B2 (en) Focusing control device, imaging device, focusing control method, and nontransitory computer readable medium
CN106650583B (zh) 人脸检测方法、装置及终端设备
US7505069B2 (en) Method and apparatus for maintaining consistent white balance in successive digital images
CN110291575A (zh) 图像处理装置以及图像处理程序
US10506155B2 (en) Image capturing apparatus and image stitching method thereof
CN104871526A (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序
US20160295117A1 (en) Display control apparatus, display control method, and recording medium
CN104349058B (zh) 图像处理装置、图像处理方法以及记录介质
CN117981338A (zh) 用于底片快门滞后捕获的低功率融合
JP5242827B2 (ja) 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190927