CN116661143A - 图像处理装置、图像处理方法及存储介质 - Google Patents

图像处理装置、图像处理方法及存储介质 Download PDF

Info

Publication number
CN116661143A
CN116661143A CN202310160521.2A CN202310160521A CN116661143A CN 116661143 A CN116661143 A CN 116661143A CN 202310160521 A CN202310160521 A CN 202310160521A CN 116661143 A CN116661143 A CN 116661143A
Authority
CN
China
Prior art keywords
image
processing apparatus
image processing
display
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310160521.2A
Other languages
English (en)
Inventor
神谷毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116661143A publication Critical patent/CN116661143A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种能够以高精度再现透射显示器中的视觉辨认状态的图像处理装置、图像处理方法及图像处理程序。一种图像处理装置，其具备处理器，所述处理器执行如下合成处理：从成为虚拟像的基础的第1图像及表示现实像的第2图像，并根据表示透射显示器的机种的特性的参数，生成对经由所述透射显示器的所述虚拟像的透射状态进行了模拟的图像。

Description

图像处理装置、图像处理方法及存储介质
技术领域
本发明涉及一种图像处理装置、图像处理方法及图像处理程序。
背景技术
以往，已知有在现实世界中，以重合了图像的状态显示的增强现实(AR：AugmentedReality)设备等显示器。已知有通过其他显示装置来再现通过增强现实设备来显示的显示状态的技术。
例如，在专利文献1中已知有在生成增强现实(AR：Augmented Reality)即虚像并显示于显示部的显示系统中，记录通过相机拍摄的图像及所显示的虚像，并根据用户的指定将图像及虚像显示于其他显示装置的技术。
专利文献1：日本特开2021-51764号公报
根据专利文献1中所记载的技术，当通过非透射型显示器来再现显示于透射型显示器的虚像时，有时无法说再现程度充分。
发明内容
本发明是鉴于上情况而完成的，其目的在于提供一种能够以高精度再现透射显示器中的视觉辨认状态的图像处理装置、图像处理方法及图像处理程序。
为了实现上述目的，本发明的第1方式的图像处理装置具备处理器，该处理器执行如下合成处理：从成为虚拟像的基础的第1图像及表示现实像的第2图像，并根据表示透射显示器的机种的特性的参数，生成对经由透射显示器的虚拟像的透射状态进行了模拟的图像。
本发明的第2方式的图像处理装置在第1方式的图像处理装置中，透射显示器具备通过使光透射而对观察者提供现实像的透射部及对透射部投影信息并生成虚拟像的投影部，处理器对使用透射显示器的观察者进行视觉辨认且在现实像的视野中插入有信息的视觉辨认像进行再现，通过将表示投影到透射部的信息的第1图像与成为第1图像的背景的第2图像进行重合，执行合成处理。
本发明的第3方式的图像处理装置在第1方式的图像处理装置中，处理器对第1图像及第2图像中的至少一个的亮度的维数据进行图像处理并进行重合。
本发明的第4方式的图像处理装置在第3方式的图像处理装置中，将投影部所输出的第1图像的亮度(a1)与作为人类所感知的第1图像的亮度来预先设定的亮度(a2)的比率设为a，将第2图像的亮度(b1)与作为通过透射部视被人类视觉辨认的第2图像的亮度来预先设定的亮度(b2)的比率设为b，处理器使用透射显示器的机种固有的a/b确定第1图像的透射度。
本发明的第5方式的图像处理装置在第4方式的图像处理装置中，处理器除了a/b以外，还使用与透射显示器中的a/b不同的表示机种的特性的其他参数进行合成处理。
本发明的第6方式的图像处理装置在第5方式的图像处理装置中，表示机种的特性的其他参数为像差、光斑、杂散光及散射中的至少一个参数。
本发明的第7方式的图像处理装置在第4方式至第6方式中任一个方式的图像处理装置中，处理器根据a/b，对第1图像进行空间间拔处理。
本发明的第8方式的图像处理装置在第4方式至第7方式中任一个方式的图像处理装置中，在隔着间隔显示第1图像的多个帧的情况下，处理器根据a/b，确定一个帧的显示时间。
本发明的第9方式的图像处理装置在第4方式至第8方式中任一个方式的图像处理装置中，a及b具有透射显示器的显示面内的空间分布。
本发明的第10方式的图像处理装置在第4方式至第9方式中任一个方式的图像处理装置中，当在透射显示器中设置有拍摄现实像的相机时，第2图像为通过相机拍摄的图像，b1为通过相机拍摄的第2图像的亮度。
本发明的第11方式的图像处理装置在第1方式至第9方式中任一个方式的图像处理装置中，不管在透射显示器中是否设置有拍摄现实像的相机，第2图像为通过与设置于透射显示器的相机不同的相机拍摄的图像或通过CG(Comp uter Graphics：计算机绘图)制作出的图像。
本发明的第12方式的图像处理装置在第1方式至第11方式中任一个方式的图像处理装置中，第2图像为动态图像。
本发明的第13方式的图像处理装置在第1方式至第12方式中任一个方式的图像处理装置中，处理器执行如下处理：以通过空间识别传感器检测到现实像中所包含的被摄体的现实空间中的位置的检测结果为基准，重合第1图像与第2图像。
为了实现上述目的，本发明的第14方式的图像处理方法通过处理器执行如下合成处理：从成为虚拟像的基础的第1图像及表示现实像的第2图像，并根据表示透射显示器的机种的特性的参数，生成对经由透射显示器的虚拟像的透射状态进行了模拟的图像。
本发明的第15方式的图像处理方法在第14方式的图像处理方法中，透射显示器具备通过使光透射而对观察者提供现实像的透射部及对透射部投影信息并生成虚拟像的投影部，处理器对使用透射显示器的观察者进行视觉辨认且在现实像的视野中插入有信息的视觉辨认像进行再现，通过将表示投影到透射部的信息的第1图像与成为第1图像的背景的第2图像进行重合，执行合成处理。
为了实现上述目的，本发明的第16方式的图像处理程序用于执行如下合成处理：从成为虚拟像的基础的第1图像及表示现实像的第2图像，并根据表示透射显示器的机种的特性的参数，生成对经由透射显示器的虚拟像的透射状态进行了模拟的图像。
本发明的第17方式的图像处理程序在第16方式的图像处理程序中，透射显示器具备通过使光透射而对观察者提供现实像的透射部及对透射部投影信息并生成虚拟像的投影部，图像处理程序用于进一步使处理器执行如下处理：通过将表示投影到透射部的信息的第1图像与成为第1图像的背景的第2图像进行重合，执行合成处理。
发明效果
根据本发明，能够以高精度再现透射显示器中的视觉辨认状态。
附图说明
图1是表示实施方式的图像显示系统的结构的一例的结构图。
图2是表示眼镜型信息显示装置的结构的一例的结构图。
图3是表示实施方式的AR眼镜的一例的立体图。
图4是表示实施方式的智能手机的结构的一例的框图。
图5是表示实施方式的智能手机的硬件结构的一例的框图。
图6是表示实施方式的图像处理装置的硬件结构的一例的框图。
图7是用于对表示AR眼镜的特性的参数进行说明的说明图。
图8是用于说明由AR眼镜的用户视觉辨认的视觉辨认像的图。
图9是用于说明关于合成图像的图像数据的生成的以往的生成方法的图。
图10是用于说明通过非透射显示器显示了摄影图像及投影图像的例子的图。
图11是用于说明关于合成图像的图像数据的生成的本实施方式的生成方法的图。
图12是用于说明本实施方式的合成图像的图。
图13是表示由实施方式的图像处理装置执行的图像处理的一例的流程图。
图14是用于说明关于合成图像的图像数据的生成的变形例1的生成方法的图。
图15是用于说明关于合成图像的图像数据的生成的变形例2的生成方法的图。
图16是用于说明关于合成图像的图像数据的生成的变形例3的生成方法的图。
符号说明
1-图像显示系统，2-眼镜型信息显示装置，10-AR(Augmented Reality：增强现实)眼镜，12-智能手机，14-图像处理装置，16-智能手机，16A-显示器，18-打印机，19-网络，20L-左眼用透射部，20R-右眼用透射部，22L-左眼用透镜，22R-右眼用透镜，24-导光板，26-OLED(Organic Light Emitting Diode：有机发光二极管)，28-相机，29-空间识别传感器，40、50-处理器，42、52-存储器，43、53-I/F(InterFace：接口)部，44、54-存储部，45-显示控制程序，46、56-显示器，48、58-输入装置，49、59-总线，55-图像处理程序，60-图像获取部，62-特性参数获取部，64-合成部，66-图像输出部，70-现实像，72-虚拟像，73-间拔图像，74-视觉辨认像，76-摄影图像，78-投影图像，79、80-合成图像。
具体实施方式
以下，参考附图对用于实施本发明的技术的方式例进行详细说明。
参考图1对本实施方式的图像显示系统1的结构进行说明。如图1所示，本实施方式的图像显示系统1具备眼镜型信息显示装置2、图像处理装置14、智能手机16及打印机18。眼镜型信息显示装置2、图像处理装置14、智能手机16及打印机18经由网络19通过有线通信或无线通信连接。
眼镜型信息显示装置2对通过AR眼镜10视觉辨认现实像的用户投影从智能手机12提供的投影图像，由此用户能够视觉辨认在现实像的视野中重叠有虚拟像的状态。
图像处理装置14从成为虚拟像的基础的投影图像及表示现实像的摄影图像，并根据表示眼镜型信息显示装置2的机种的特性的参数，生成模拟了经由眼镜型信息显示装置2的虚拟像的透射状态的图像。以下，将模拟了经由眼镜型信息显示装置2的虚拟像的透射状态的图像称为合成图像。
智能手机16通过获取由图像处理装置14生成的合成图像，能够用显示器16A来显示用户通过眼镜型信息显示装置2的AR眼镜10视觉辨认出的视觉辨认像且合成有现实像及虚拟像的视觉辨认像。并且，打印机18通过获取由图像处理装置14生成的合成图像，能够印刷用户通过眼镜型信息显示装置2的AR眼镜10视觉辨认出的视觉辨认像且合成有现实像及虚拟像的视觉辨认像。
参考图2对本实施方式的眼镜型信息显示装置2的结构进行说明。如图2所示，本实施方式的眼镜型信息显示装置2具备AR(Augmented Reality：增强现实)眼镜10及智能手机12。
AR眼镜10为能够以将从OLD(Organic Light Emitting Diode：有机发光二极管)26投影的投影图像重叠于现实像的状态使用户能够视觉辨认的装置。在图3中示出了本实施方式的AR眼镜10的一例的立体图。如图2及图3所示，AR眼镜10具备一对左眼用透射部20L及右眼用透射部20R、0LED26、相机28以及空间识别传感器29。本实施方式的右眼用透射部20R为本发明的透射部的一例。
0LED26为了在通过右眼用透射部20R被用户视觉辨认的现实像的视野内重叠插入信息而对右眼用透射部20R投影表示信息的图像(投影图像)。本实施方式的OLED26为本发明的投影部的一例，OLED26所投影的投影图像为本发明的第1图像的一例。
右眼用透射部20R包含右眼用透镜22R及导光板24。与从OLED26投影的投影图像相对应的光入射于导光板24的一端。在导光板24中传播的光在射出部(省略图示)中改变朝向而沿用户眼睛的方向射出。与从导光板24射出的投影图像相对应的光透射右眼用透镜22R，并且引导至用户的右眼。并且，用户用右眼视觉辨认通过了右眼用透镜22R的现实世界作为现实像。
因此，在从OLED26投影了投影图像的期间，通过用户的右眼视觉辨认的视觉辨认像处于表示通过了右眼用透镜22R的现实世界的现实像与投影到导光板24的投影图像重叠的状态。并且，在从OLED26没有投影投影图像的期间，被用户视觉辨认的视觉辨认像成为表示通过了右眼用透镜22R及导光板24的现实世界的现实像。
相机28为拍摄用户所视觉辨认的现实世界的相机。作为相机28，例如可举出CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)相机等数码相机，优选为能够拍摄彩色图像的相机。通过相机28拍摄的摄影图像的图像数据输出至智能手机12。表示本实施方式的相机28所拍摄的现实像的摄影图像为本发明的第2图像的一例。
空间识别传感器29为检测距在用户所视觉辨认的现实世界中存在的被摄体的距离的传感器。作为空间识别传感器29，例如可举出单镜头反光相机、立体相机及TOF相机等。空间识别传感器29的检测结果输出至智能手机12。另外，空间识别传感器29的检测结果为表示在现实世界中存在的被摄体的位置的数据，因此以下称为“位置数据”。
另外，当通过OLED26投影投影图像时，通过相机28拍摄摄影图像，通过空间识别传感器29获取位置数据。摄影图像的图像数据及空间识别传感器29的位置数据与所投影的投影图像的图像数据建立对应关联并存储于智能手机12。
并且，左眼用透射部20L包含左眼用透镜22L。用户用左眼视觉辨认通过了左眼用透镜22L的现实世界。
另一方面，智能手机12具备处理器40。本实施方式的处理器40对OLED26进行从OLED26将投影图像投影到导光板24的控制。并且，处理器40对相机28进行OLED26正在将投影图像投影到导光板24时拍摄用户所视觉所辨认的现实世界的控制，并且对空间识别传感器29进行检测距用户所视觉辨认的现实世界中存在的被摄体的距离的控制。
在图4中示出了表示智能手机12中的与投影图像的投影所涉及的功能相关的结构的一例的框图。如图4所示，智能手机12具备处理器40、存储器42、I/F(InterFace：接口)部43、存储部44、显示器46及输入装置48。处理器40、存储器42、I/F部43、存储部44、显示器46及输入装置48连接成经由系统总线或控制总线等总线49彼此能够收发各种信息。
处理器40将包含存储于存储部44的显示控制程序45的各种程序读出到存储器42，并且按照所读出的程序执行处理。由此，处理器40进行由OLED26投影投影图像的控制。存储器42为供处理器40执行处理的工作存储器。
在存储部44存储显示控制程序45、从OLED26投影的投影图像的图像数据(省略图示)及其他各种信息等。作为存储部44的具体例，可举出HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)等。
I/F部43通过无线通信或有线通信在与OLED26、相机28、空间识别传感器29及图像处理装置14之间分别进行各种信息的通信。显示器46及输入装置48作为用户界面而发挥作用。显示器46对用户提供与投影图像的投影相关的各种信息。显示器46并无特别限定，可举出液晶监视器及LED(Light Emitting Diode：发光二极管)监视器等。并且，为了输入与投影图像的投影相关的各种指示，而由用户操作输入装置48。输入装置48并无特别限定，例如可举出键盘、触控笔及鼠标等。另外，在智能手机12中采用了使显示器46与输入装置48一体化的触摸面板显示器。
另一方面，如上所述，图像处理装置14具有生成模拟了经由眼镜型信息显示装置2的虚拟像的透射状态的合成图像的功能。
在图5中示出了表示图像处理装置14中的与合成图像的生成所涉及的功能相关的结构的一例的框图。如图5所示，图像处理装置14具备处理器50、存储器52、I/F部53、存储部54、显示器56及输入装置58。处理器50、存储器52、I/F部53、存储部54、显示器56及输入装置58连接成经由系统总线或控制总线等总线59彼此能够收发各种信息。
处理器50将包含存储于存储部54的图像处理程序55的各种程序读出到存储器52，并且按照所读出的程序执行处理。由此，处理器50进行生成合成图像的处理。存储器52为供处理器50执行处理的工作存储器。
在存储部54存储图像处理程序55、在眼镜型信息显示装置2中通过OLD26投影的投影图像的图像数据、通过相机28拍摄的摄影图像的图像数据及其他各种信息等。作为存储部54的具体例，可举出HDD或SSD等。
I/F部53通过无线通信或有线通信在与智能手机12、智能手机16及打印机18之间分别进行各种信息的通信。显示器56及输入装置58作为用户界面而发挥作用。显示器56对用户提供与合成图像的生成相关的各种信息。显示器56并无特别限定，可举出液晶监视器及LED监视器等。并且，为了输入与合成图像的生成相关的各种指示，而由用户操作输入装置58。输入装置58并无特别限定，例如可举出键盘、触控笔及鼠标等。另外，可以采用使显示器56与输入装置58一体化的触摸面板显示器。
在图6中示出了表示本实施方式的图像处理装置14的功能所涉及的结构的一例的功能框图。如图6所示，图像处理装置14具备图像获取部60、特性参数获取部62、合成部64及图像输出部66。作为一例，本实施方式的图像处理装置14通过处理器50执行存储于存储部54的图像处理程序55，处理器50作为图像获取部60、特性参数获取部62、合成部64及图像输出部66而发挥作用。
图像获取部60具有从智能手机12获取0LED26所投影的投影图像的图像数据的功能。作为一例，本实施方式的图像处理装置14以规定的定时从智能手机12建立对应关联地获取投影图像的图像数据、在该投影图像的投影中通过相机28拍摄的摄影图像的图像数据及位置数据，并将所获取的投影图像的图像数据、摄影图像的图像数据及位置数据存储于存储部54。因此，图像获取部60以任意的定时经由I/F部53从智能手机12获取投影图像的图像数据及摄影图像的图像数据。并且，当进行合成图像的生成时，图像获取部60从存储部54获取投影图像的图像数据、摄影图像的图像数据及位置数据。当进行合成图像的生成时，图像获取部60将所获取的投影图像的图像数据、摄影图像的图像数据及位置数据输出至合成部64。
特性参数获取部62具有从智能手机12获取表示眼镜型信息显示装置2的特性的参数(以下，称为“特性参数”)的功能。在本实施方式中，作为特性参数的一例，如图7所示，获取OLED26所投影的投影图像的亮度a1(cd/m2)、作为用户所感知的投影图像的亮度来预先设定的亮度a2(cd/m2)、相机28所拍摄的摄影图像的亮度b1(cd/m2)及作为通过导光板24被人类视觉辨认的投影图像的亮度来预先设定的亮度b2(cd/m2)。特性参数获取部62将所获取的特性参数输出至合成部64。
另外，具体的亮度a1、a2、b1、b2的值根据各部件的透射率或反射率而设计性地导出，或设定测定试制品而获得的值，或设定测定这里的AR眼镜10等而获得的值即可。
并且，特性参数获取部62获取特性参数的方法并无特别限定。例如，可以是如下方式：当眼镜型信息显示装置2的智能手机12存储有特性参数(亮度a1、a2、b1、b2)，并且与投影图像的图像数据建立对应关联时，特性参数获取部62获取与图像获取部60所获取的投影图像建立对应关联的特性参数。并且，例如，可以是如下方式：当表示AR眼镜10的机种的信息与投影图像的图像数据建立对应关联时，特性参数获取部62获取与投影图像的图像数据建立对应关联的表示AR眼镜10的机种的信息，例如经由网络19从外部装置等获取与所获取的表示机种的信息对应的特性参数。
合成部64具有通过对投影图像及摄影图像中的至少一个的亮度的维数据进行图像处理并进行重合来生成合成图像的功能。作为一例，本实施方式的合成部64具有根据特性参数，生成在摄影图像中合成了投影图像的合成图像的功能。合成图像为再现了在使用AR眼镜10的用户的现实像的视野中插入有投影图像的视觉辨认像的图像。即，通过本实施方式的合成部64生成的合成图像为模拟了视觉辨认像中的投影图像的外观状态换言之虚拟像的透射状态的图像。
在此，对虚拟像的透射状态即投影图像的外观状态进行说明。
在图8中示出了用户通过AR眼镜10视觉辨认出的视觉辨认像74的一例。AR眼镜10为透射显示器，因此通过由OLED26投影了投影图像而经由导光板24视觉辨认的虚拟像72以透射了现实像70的状态得到视觉辨认。
在该状态下，以往，如图9所示，在通过相机28拍摄的摄影图像76的图像数据中直接合成通过OLED26投影的投影图像78的图像数据，而生成合成图像的图像数据。在以图9的方式生成的以往的合成图像79中，如图10所示，有时会导致相对于摄影图像76的投影图像78的状态与相对于现实像70的虚拟像72的状态不同。尤其，当显示于智能手机16的显示器16A等非透射显示器时或通过打印机18印刷时等，如图9所示，若在摄影图像76的图像数据中直接合成投影图像78的图像数据，则会导致生成合成图像79。在该情况下，与投影图像78重叠的摄影图像76不会被透视。并且，即使在显示于透射显示器的情况下，当在AR眼镜10中的透射显示器与显示投影图像78及摄影图像76的透射显示器中机种不同时，若表示特性的参数不同，则有时会投影图像78的透射状态与虚拟像72的透射状态不同。
因此，本实施方式的图像处理装置14生成模拟了经由AR眼镜10的虚拟像72的透射状态的合成了摄影图像76及投影图像78的合成图像。
如图11所示，本实施方式的合成部64根据特性参数，对投影图像的图像数据进行间拔而生成模拟了用户通过AR眼镜10视觉辨认的虚拟像的透射状态的间拔图像。具体而言，根据眼镜型信息显示装置2的机种固有的亮度比率a/b，对投影图像的图像数据进行间拔。在此，a为OLED26所输出的投影图像的亮度a1与用户所感知的投影图像的亮度a2的比率，并且以下述(1)式来表示。并且，b为相机28所拍摄的摄影图像的亮度b1与用户所感知的现实像的亮度b2的比率，并且以下述(2)式来表示。另外，a、b可以具有AR眼镜10的显示面内的空间分布。
a＝a2/a1……(1)
b＝b2/b1……(2)
并且，如图11所示，合成部64根据位置数据对间拔图像的图像数据及摄影图像的图像数据进行位置对准并进行合成，由此生成合成图像的图像数据。
在图12中示出了通过合成部64合成的合成图像80的一例。如图12所示，在摄影图像76中重叠有间拔图像73，因此相对于摄影图像76的间拔图像73的状态与相对于现实像70的虚拟像72的状态(参考图8)相同。
图像输出部66具有将表示合成部64所生成的合成图像的图像数据输出至任意的装置的功能。本实施方式的图像输出部66将合成图像的图像数据输出至智能手机16及打印机18中的至少一个。
接着，对本实施方式的图像处理装置14的作用进行说明。在图13中示出了表示由本实施方式的图像处理装置14的处理器50进行的图像处理的流程的一例的流程图。作为一例，在本实施方式的图像处理装置14中，当从智能手机16或打印机18接收了显示合成图像的指示时，通过处理器50执行存储于存储部54的图像处理程序55，执行在图13中示出了一例的图像处理。
在图13的步骤S100中，如上所述，图像获取部60从存储部54获取与投影图像的图像数据建立对应关联的摄影图像的图像数据及位置数据。
在接下来的步骤S102中，如上所述，特性参数获取部62获取进行了在上述步骤S100中获取的投影图像的投影的眼镜型信息显示装置2的特性参数。
在接下来的步骤S104中，如上所述，合成部64使用上述(1)式及(2)式，导出眼镜型信息显示装置2的机种固有的亮度比率a/b。
在接下来的步骤S106中，合成部64根据在上述步骤S104中导出的a/b，对投影图像进行间拔而生成间拔图像。具体而言，根据a/b，按N个像素的每一个生成以1个像素的比例来将亮度值设为0的间拔图像。N为0以上，根据a/b来预先设定。另外，与本实施方式不同，可以是代替将亮度值设为0，而与原始值相比减小的方式。在该情况下，例如，根据a/b预先确定减少程度即可。另外，优选对间拔图像进行灰度变换等处理。
在接下来的步骤S108中，合成部64根据位置数据对在上述步骤S106中生成的间拔图像及在上述步骤S100中获取的摄影图像进行位置对准并进行合成，生成合成图像。具体而言，根据位置数据，以现实空间的被摄体的空间位置为基准，对摄影图像合成间拔图像。另外，合成投影图像与摄影图像的合成方法并无特别限定，例如，适用使用了阿尔法通道的图像合成(阿尔法混合)技术等即可。作为与阿尔法混合相关的技术，例如可举出日本特开2019-185365号中所记载的技术。
在接下来的步骤S110中，图像输出部66将在上述步骤S108中生成的合成图像的图像数据输出至进行了显示合成图像的指示的智能手机16或打印机18。若步骤S110的处理结束，则图13所示的图像处理结束。
[变形例1]
合成部64生成合成图像的方法并不限定于上述方式。在上述方式中，对合成部64根据a/b生成间拔图像的方式进行了说明，但本方式并不限定于此。例如，如图14所示，可以是如下方式：根据位置数据对投影图像的图像数据及摄影图像的图像数据进行位置对准，通过使用了与a/b相对应的阿尔法值的阿尔法混合进行合成，并生成合成图像的图像数据。在该情况下，预先确定a/b的值与阿尔法值之间的对应关系即可。另外，通常，在以0～255的范围来表示阿尔法值的情况下，阿尔法值为1时表示完全透明的状态，阿尔法值为255时表示完全不透明的状态。
[变形例2]
在上述方式中，对作为模拟了虚拟像的透射状态的图像生成模拟了实际上用户视觉辨认出的视觉辨认像的合成图像的方式进行了说明，但只要模拟出虚拟像的透射状态即可，所生成的图像并无特别限定。例如，可以是如下方式：当用户通过AR眼镜10视觉辨认出某一特定的现实世界时，为了模拟视觉辨认像成为哪种状态，以上述方式合成拍摄了该现实世界的摄影图像的图像数据与投影图像的图像数据，并生成模拟了虚拟像的透射状态的合成图像的图像数据。并且，如图15所示，可以是如下方式：以上述方式合成通过CG(Compute r Graphics：计算机绘图)生成的CG图像的图像数据与投影图像的图像数据，并生成模拟了虚拟像的透射状态的合成图像的图像数据。另外，在该情况下，可以是如下方式：投影图像的图像数据与CG图像的图像数据的位置对准由生成合成图像的操作者适当进行调整。并且，特性参数即a/b也根据所假定的AR眼镜10来适当进行设定即可。另外，投影图像的图像数据也可以是通过CG临时生成的图像。
如此，根据本变形例，并不限于实际上用户视觉辨认出的视觉辨认像，能够生成表示使用了AR眼镜10时被用户视觉辨认的视觉辨认像的合成图像。
[变形例3]
投影图像可以是具有多个帧并且将多个帧分别隔着间隔显示的方式，例如也可以是动态图像。在该情况下，如图16所示，合成部64根据a/b确定投影图像的一个帧的显示时间。根据显示时间，合成摄影图像的图像数据与投影图像的图像数据来生成合成图像的合成图像数据。另外，显示时间与a/b之间的对应关系预先设定即可。
如以上进行的说明，本实施方式的图像处理装置14执行如下合成处理：从成为虚拟像的基础的投影图像及表示现实像的摄影图像，并根据表示眼镜型信息显示装置2的机种的特性的参数，生成模拟了经由眼镜型信息显示装置2的虚拟像的透射状态的图像。
如此，根据本实施方式的图像处理装置14，使用眼镜型信息显示装置2的机种的特性参数，因此能够适当地模拟虚拟像的透射状态。因此，根据本实施方式的图像处理装置14，能够以高精度再现透射显示器中的视觉辨认状态。
另外，在上述方式中，对合成部64作为特性参数根据a/b生成合成图像的方式进行了说明，但作为特性参数，除了a/b以外，还可以使用表示机种的特性的其他参数。作为其他参数，例如可举出像差、光斑、杂散光及散射中的至少一个。使用哪个参数能够根据合成图像中的虚拟像的透射状态的模拟精度及眼镜型信息显示装置2的特性等来适当设定。
另外，在上述方式中，对通过用户的右眼视觉辨认投影图像的方式进行了说明，但并不限定于本方式，可以是通过用户的左眼来视觉辨认投影图像的方式。在该情况下，左眼用透射部20L为本发明的透射部的一例。
另外，摄影图像可以是静态图像，可以是动态图像。
并且，合成部64并不限定于作为合成投影图像与摄影图像时的位置对准而使用空间识别传感器29的检测结果(位置数据)的方式。例如，可以是在摄影图像上的预先设定的位置上重叠投影图像的方式。
并且，在上述各方式中，对图像处理装置14具备图像获取部60、特性参数获取部62、合成部64及图像输出部66的方式进行了说明，但也可以是智能手机12、智能手机16及打印机18中的至少一个具备这些功能部的一部分或全部的方式。
并且，在上述方式中，例如，作为图像获取部60、特性参数获取部62、合成部64及图像输出部66等执行各种处理的处理部(processing unit)的硬件结构，能够使用如下所示的各种处理器(processor)。上述各种处理器中，如前述，除了执行软件(程序)而作为各种处理部发挥作用的通用处理器即CPU以外，还包含FPGA(Field Programmable Gate Array：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，也可以由一个处理器来构成多个处理部。
作为由一个处理器来构成多个处理部的例子，第1，有如以客户端及服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且该处理器作为多个处理部而发挥作用的方式。第2，有如以片上系统(System On Chip：SoC)等为代表，使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit：集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上的上述各种处理器而构成。
而且，更具体而言，作为这些各种处理器的硬件结构，能够使用组合了半导体元件等电路元件的电气电路(circuitry)。
并且，在上述各方式中，对图像处理程序55预先存储(安装)于存储部54的方式进行了说明，但并不限定于此。图像处理程序55也可以以记录于CD-ROM(Compact Disc ReadOnly Memory：光盘只读存储器)、DVD-ROM(Digital Versatile Disc Read Only Memory：数字通用盘只读存储器)及USB(Universal Serial Bus：通用串行总线)存储器等记录介质的方式提供。并且，图像处理程序55也可以是经由网络从外部装置下载的方式。

Claims (17)

1.一种图像处理装置，其具备处理器，所述处理器执行如下合成处理：
从成为虚拟像的基础的第1图像及表示现实像的第2图像，并根据表示透射显示器的机种的特性的参数，生成对经由所述透射显示器的所述虚拟像的透射状态进行了模拟的图像。
2.根据权利要求1所述的图像处理装置，其中，
所述透射显示器具备通过使光透射而对观察者提供所述现实像的透射部及对所述透射部投影信息并生成所述虚拟像的投影部，
所述处理器对使用所述透射显示器的观察者进行视觉辨认且在所述现实像的视野中插入有所述信息的视觉辨认像进行再现，
通过将表示投影到所述透射部的信息的所述第1图像与成为所述第1图像的背景的所述第2图像进行重合，执行所述合成处理。
3.根据权利要求1所述的图像处理装置，其中，
所述处理器对所述第1图像及所述第2图像中的至少一个的亮度的维数据进行图像处理并进行重合。
4.根据权利要求3所述的图像处理装置，其中，
将投影部所输出的第1图像的亮度a1与作为人类所感知的第1图像的亮度来预先设定的亮度a2的比率设为a，
将第2图像的亮度b1与作为通过透射部被人类视觉辨认的第2图像的亮度来预先设定的亮度b2的比率设为b，
所述处理器使用所述透射显示器的机种固有的a/b来确定所述第1图像的透射度。
5.根据权利要求4所述的图像处理装置，其中，
所述处理器除了a/b以外，还使用与所述透射显示器中的a/b不同的表示机种的特性的其他参数进行所述合成处理。
6.根据权利要求5所述的图像处理装置，其中，
所述表示机种的特性的其他参数为像差、光斑、杂散光及散射中的至少一个参数。
7.根据权利要求4至6中任一项所述的图像处理装置，其中，
所述处理器根据a/b，对所述第1图像进行空间间拔处理。
8.根据权利要求4至6中任一项所述的图像处理装置，其中，
在隔着间隔显示所述第1图像的多个帧的情况下，
所述处理器根据a/b，确定一个帧的显示时间。
9.根据权利要求4至6中任一项所述的图像处理装置，其中，
所述a及所述b具有所述透射显示器的显示面内的空间分布。
10.根据权利要求4至6中任一项所述的图像处理装置，其中，
当在所述透射显示器中设置有拍摄所述现实像的相机时，
所述第2图像为通过所述相机拍摄的图像，
所述b1为通过所述相机拍摄的所述第2图像的亮度。
11.根据权利要求1至6中任一项所述的图像处理装置，其中，
不管在所述透射显示器中是否设置有拍摄所述现实像的相机，
所述第2图像为通过与设置于所述透射显示器的相机不同的相机拍摄的图像或通过CG制作出的图像。
12.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述第2图像为动态图像。
13.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述处理器执行如下处理：
以通过空间识别传感器检测到所述现实像中所包含的被摄体的现实空间中的位置的检测结果为基准，重合所述第1图像与所述第2图像。
14.一种图像处理方法，其通过处理器执行如下合成处理：
从成为虚拟像的基础的第1图像及表示现实像的第2图像，并根据表示透射显示器的机种的特性的参数，生成对经由所述透射显示器的所述虚拟像的透射状态进行了模拟的图像。
15.根据权利要求14所述的图像处理方法，其中，
所述透射显示器具备通过使光透射而对观察者提供所述现实像的透射部及对所述透射部投影信息并生成所述虚拟像的投影部，
所述处理器对使用所述透射显示器的观察者进行视觉辨认且在所述现实像的视野中插入有所述信息的视觉辨认像进行再现，
通过将表示投影到所述透射部的信息的所述第1图像与成为所述第1图像的背景的所述第2图像进行重合，执行所述合成处理。
16.一种计算机可读取的非暂时性存储介质，存储有图像处理程序，所述图像处理程序用于使处理器执行如下合成处理：
从成为虚拟像的基础的第1图像及表示现实像的第2图像，并根据表示透射显示器的机种的特性的参数，生成对经由所述透射显示器的所述虚拟像的透射状态进行了模拟的图像。
17.根据权利要求16所述的非暂时性存储介质，其中，
所述透射显示器具备通过使光透射而对观察者提供所述现实像的透射部及对所述透射部投影信息并生成所述虚拟像的投影部，
进而用于使处理器执行如下处理：对使用所述透射显示器的观察者进行视觉辨认且在所述现实像的视野中插入有所述信息的视觉辨认像进行再现，
通过将表示投影到所述透射部的信息的所述第1图像与成为所述第1图像的背景的所述第2图像进行重合，执行所述合成处理。
CN202310160521.2A 2022-02-25 2023-02-23 图像处理装置、图像处理方法及存储介质 Pending CN116661143A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022028599A JP2023124678A (ja) 2022-02-25 2022-02-25 画像処理装置、画像処理方法、及び画像処理プログラム
JP2022-028599 2022-02-25

Publications (1)

Publication Number Publication Date
CN116661143A true CN116661143A (zh) 2023-08-29

Family

ID=85384618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310160521.2A Pending CN116661143A (zh) 2022-02-25 2023-02-23 图像处理装置、图像处理方法及存储介质

Country Status (4)

Country Link
US (1) US20230276020A1 (zh)
EP (1) EP4235393A1 (zh)
JP (1) JP2023124678A (zh)
CN (1) CN116661143A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024018720A (ja) * 2022-07-29 2024-02-08 富士フイルム株式会社 画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US10923076B2 (en) * 2018-03-27 2021-02-16 Ricoh Company, Ltd. Display device, display system, mobile object, display-brightness control method, and recording medium storing program code
JP2019185365A (ja) 2018-04-09 2019-10-24 キヤノン株式会社 情報処理装置、プリンタドライバ、情報処理方法
JP7094349B2 (ja) 2020-12-04 2022-07-01 マクセル株式会社 情報記録装置

Also Published As

Publication number Publication date
EP4235393A1 (en) 2023-08-30
JP2023124678A (ja) 2023-09-06
US20230276020A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
US11978175B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
JP7201869B1 (ja) 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成
WO2014105646A1 (en) Low-latency fusing of color image data in a color sequential display system
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
CN116661143A (zh) 图像处理装置、图像处理方法及存储介质
US11089279B2 (en) 3D image processing method, camera device, and non-transitory computer readable storage medium
CN103297791A (zh) 图像显示装置及图像显示方法
US20230056459A1 (en) Image processing device, method of generating 3d model, learning method, and program
JPWO2013186960A1 (ja) 画像データ処理装置及び画像データ処理方法
US10713836B2 (en) Simulating lenses
KR102680570B1 (ko) 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하는 새로운 프레임의 생성
KR102675906B1 (ko) Hud 고스트 이미지 측정 방법 및 장치
KR20240053443A (ko) Hud 고스트 이미지 측정 방법 및 장치
EP3410256A1 (en) Method for outputting of combined 2d and 3d imaging
CN117478863A (zh) 图像处理装置、方法及记录介质、眼镜型信息显示装置
CN117808993A (zh) 处理器、信息处理方法及非暂时性存储介质
CN114359516A (zh) 虚实影像融合方法、虚实影像融合系统及非暂态计算机可读取媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication