JP2023124678A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2023124678A
JP2023124678A JP2022028599A JP2022028599A JP2023124678A JP 2023124678 A JP2023124678 A JP 2023124678A JP 2022028599 A JP2022028599 A JP 2022028599A JP 2022028599 A JP2022028599 A JP 2022028599A JP 2023124678 A JP2023124678 A JP 2023124678A
Authority
JP
Japan
Prior art keywords
image
image processing
transmissive display
processor
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022028599A
Other languages
English (en)
Inventor
毅 神谷
Takeshi Kamiya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022028599A priority Critical patent/JP2023124678A/ja
Priority to US18/173,341 priority patent/US20230276020A1/en
Priority to CN202310160521.2A priority patent/CN116661143A/zh
Priority to EP23158774.2A priority patent/EP4235393A1/en
Publication of JP2023124678A publication Critical patent/JP2023124678A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Abstract

【課題】透過ディスプレイでの視認状態を精度良く再現することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。【解決手段】仮想像の基となる第１画像と、現実像を表す第２画像とから、透過ディスプレイの機種の特性を示すパラメータに基づいて、前記透過ディスプレイを介した前記仮想像の透過状態を模擬した画像を生成する合成処理を実行するプロセッサを備えた画像処理装置。【選択図】図２

Description

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
従来、現実の世界に、画像を重ね合わせた状態で表示する、拡張現実（ＡＲ：Augmented Reality）機器等のディスプレイが知られている。拡張現実機器で表示した表示状態を他の表示装置で再現する技術が知られている。
例えば、特許文献１には、拡張現実（ＡＲ：Augmented Reality）である虚像を生成し、表示部に表示させる表示システムにおいて、カメラによって撮影された画像と表示させた虚像とを記録しておき、ユーザの指定に応じて画像及び虚像を他の表示装置に表示させる技術が知られている。
特開２０２１－５１７６４号公報
特許文献１に記載の技術によれば、透過型ディスプレイに表示させた虚像を非透過型ディスプレイで再現する場合、再現具合が十分とは言えない場合があった。
本開示は、以上の事情を鑑みて成されたものであり、透過ディスプレイでの視認状態を精度良く再現することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第１の態様の画像処理装置は、仮想像の基となる第１画像と、現実像を表す第２画像とから、透過ディスプレイの機種の特性を示すパラメータに基づいて、透過ディスプレイを介した仮想像の透過状態を模擬した画像を生成する合成処理を実行するプロセッサを備える。
本開示の第２の態様の画像処理装置は、第１の態様の画像処理装置において、透過ディスプレイは、光を透過させることにより観察者に現実像を提供する透過部と、透過部に情報を投影し仮想像を生成する投影部とを備え、プロセッサは、透過ディスプレイを使用する観察者が視認する視認像であって、現実像の視野に情報が挿入された視認像を再現し、透過部に投影される情報を表す第１画像と、第１画像の背景となる第２画像とを重ね合わせることにより、合成処理を実行する。
本開示の第３の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、第１画像及び第２画像の少なくとも一方の輝度の次元のデータに画像処理を行い重ね合わせる。
本開示の第４の態様の画像処理装置は、第３の態様の画像処理装置において、投影部が出力する第１画像の輝度ａ１と、人間が感じる第１画像の輝度として予め設定された輝度ａ２との比率をａとし、第２画像の輝度ｂ１と、透過部を通じて人間によって視認され第２画像の輝度として予め設定された輝度ｂ２との比率をｂとし、プロセッサは、透過ディスプレイの機種固有のａ／ｂを用いて、第１画像の透過度を決定する。
本開示の第５の態様の画像処理装置は、第４の態様の画像処理装置において、プロセッサは、ａ／ｂに加えて、透過ディスプレイにおけるａ／ｂとは機種の特性を示す別のパラメータを用いて合成処理を行う。
本開示の第６の態様の画像処理装置は、第５の態様の画像処理装置において、機種の特性を示す別のパラメータは、収差、フレア、迷光、及び散乱のうちの少なくとも一つのパラメータである。
本開示の第７の態様の画像処理装置は、第４の態様から第６の態様のいずれか１態様の画像処理装置において、プロセッサは、ａ／ｂに基づいて、第１画像に対して空間的な間引き処理を行う。
本開示の第８の態様の画像処理装置は、第４の態様から第７の態様のいずれか１態様の画像処理装置において、第１画像の複数のフレームを、間隔を開けて表示する場合において、プロセッサは、ａ／ｂに基づいて、１つのフレームの表示時間を決定する。
本開示の第９の態様の画像処理装置は、第４の態様から第８の態様のいずれか１態様の画像処理装置において、ａ、及びｂは、透過ディスプレイの表示面内における空間的な分布を有する。
本開示の第１０の態様の画像処理装置は、第４の態様から第９の態様のいずれか１態様の画像処理装置において、透過ディスプレイに、現実像を撮影するカメラが設けられている場合には、第２画像は、カメラによって撮影される画像であり、ｂ１は、カメラによって撮影される第２画像の輝度である。
本開示の第１１の態様の画像処理装置は、第１の態様から第９の態様のいずれか１態様の画像処理装置において、透過ディスプレイに、現実像を撮影するカメラが設けられているか否かに関わらず、第２画像は、透過ディスプレイに設けられたカメラとは別のカメラで撮影された画像であるか、あるいは、ＣＧ（Computer Graphics）によって作成された画像である。
本開示の第１２の態様の画像処理装置は、第１の態様から第１１の態様のいずれか１態様の画像処理装置において、第２画像は動画像である。
本開示の第１３の態様の画像処理装置は、第１の態様から第１２の態様のいずれか１態様の画像処理装置において、プロセッサは、現実像に含まれる被写体の現実空間における位置を空間認識センサにより検出した検出結果を基準として、第１画像と第２画像とを重ね合わせる。
上記目的を達成するために、本開示の第１４の態様の画像処理方法は、プロセッサにより、仮想像の基となる第１画像と、現実像を表す第２画像とから、透過ディスプレイの機種の特性を示すパラメータに基づいて、透過ディスプレイを介した仮想像の透過状態を模擬した画像を生成する合成処理を実行する方法である。
本開示の第１５の態様の画像処理方法は、第１４の態様の画像処理方法において、透過ディスプレイは、光を透過させることにより観察者に現実像を提供する透過部と、透過部に情報を投影し仮想像を生成する投影部とを備え、プロセッサは、透過ディスプレイを使用する観察者が視認する視認像であって、現実像の視野に情報が挿入された視認像を再現し、透過部に投影される情報を表す第１画像と、第１画像の背景となる第２画像とを重ね合わせることにより、合成処理を実行する。
上記目的を達成するために、本開示の第１６の態様の画像処理プログラムは、仮想像の基となる第１画像と、現実像を表す第２画像とから、透過ディスプレイの機種の特性を示すパラメータに基づいて、透過ディスプレイを介した仮想像の透過状態を模擬した画像を生成する合成処理を実行させるためのものである。
本開示の第１７の態様の画像処理プログラムは、第１６の態様の画像処理プログラムにおいて、透過ディスプレイは、光を透過させることにより観察者に現実像を提供する透過部と、透過部に情報を投影し仮想像を生成する投影部とを備え、プロセッサは、透過ディスプレイを使用する観察者が視認する視認像であって、現実像の視野に情報が挿入された視認像を再現し、透過部に投影される情報を表す第１画像と、第１画像の背景となる第２画像とを重ね合わせることにより、合成処理を実行させるためのものである。
本開示によれば、透過ディスプレイでの視認状態を精度良く再現することができる。
実施形態の画像表示システムの構成の一例を示す構成図である。 眼鏡型情報表示装置の構成の一例を示す構成図である。 実施形態のＡＲグラスの一例を示す斜視図である。 実施形態のスマートフォンの構成の一例を示すブロック図である。 実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 実施形態の画像処理装置のハードウェア構成の一例を示すブロック図である。 ＡＲグラスの特性を示すパラメータについて説明するための説明図である。 ＡＲグラスのユーザにより視認される視認像を説明するための図である。 合成画像の画像データの生成について、従来の生成方法を説明するための図である。 非透過ディスプレイで撮影画像及び投影画像を表示させた例を説明するための図である。 合成画像の画像データの生成について、本実施形態の生成方法を説明するための図である。 本実施形態の合成画像を説明するための図である。 実施形態の画像処理装置で実行される画像処理の一例を示すフローチャートである。 合成画像の画像データの生成について、変形例１の生成方法を説明するための図である。 合成画像の画像データの生成について、変形例２の生成方法を説明するための図である。 合成画像の画像データの生成について、変形例２の生成方法を説明するための図である。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
図１を参照して、本実施形態の画像表示システム１の構成を説明する。図１に示すように、本実施形態の画像表示システム１は、眼鏡型情報表示装置２、画像処理装置１４、スマートフォン１６、及びプリンタ１８を備える。眼鏡型情報表示装置２、画像処理装置１４、スマートフォン１６、及びプリンタ１８は、ネットワーク１９を介して有線通信または無線通信により接続されている。
眼鏡型情報表示装置２は、ＡＲグラス１０により現実像を視認するユーザに、スマートフォン１２から提供した投影画像を投影することにより、ユーザは、現実像の視野に仮想像が重畳された状態を視認することができる。
画像処理装置１４は、仮想像の基となる投影画像と、現実像を表す撮影画像とから、眼鏡型情報表示装置２の機種の特性を示すパラメータに基づいて、眼鏡型情報表示装置２を介した仮想像の透過状態を模擬した画像を生成する。以下、眼鏡型情報表示装置２を介した仮想像の透過状態を模擬した画像を合成画像という。
スマートフォン１６は、画像処理装置１４により生成された合成画像を取得することで、眼鏡型情報表示装置２のＡＲグラス１０によりユーザが視認した視認像であって、現実像及び仮想像が合成された視認像をディスプレイ１６Ａで表示することができる。また、プリンタ１８は、画像処理装置１４により生成された合成画像を取得することで、眼鏡型情報表示装置２のＡＲグラス１０によりユーザが視認した視認像であって、現実像及び仮想像が合成された視認像を印刷することができる。
図２を参照して、本実施形態の眼鏡型情報表示装置２の構成を説明する。図２に示すように、本実施形態の眼鏡型情報表示装置２は、ＡＲ（Augmented Reality）グラス１０及びスマートフォン１２を備える。
ＡＲグラス１０は、ＯＬＥＤ（Organic Light Emitting Diode）２６から投影された投影画像を現実像に重畳させた状態でユーザによる視認を可能にする装置である。図３には、本実施形態のＡＲグラス１０の一例の斜視図が示されている。図２及び図３に示すように、ＡＲグラス１０は、一対の左眼用透過部２０Ｌ及び右眼用透過部２０Ｒと、ＯＬＥＤ２６と、カメラ２８と、空間認識センサ２９と、を備える。本実施形態の右眼用透過部２０Ｒが、本開示の透過部の一例である。
ＯＬＥＤ２６は、右眼用透過部２０Ｒを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部２０Ｒに情報を表す画像（投影画像）を投影する。本実施形態のＯＬＥＤ２６が本開示の投影部の一例であり、ＯＬＥＤ２６が投影する投影画像が、本開示の第１画像の一例である。
右眼用透過部２０Ｒは、右眼用レンズ２２Ｒ及び導光板２４を含む。導光板２４の一端には、ＯＬＥＤ２６から投影された投影画像に応じた光が入射される。導光板２４の中を伝播した光は、出射部（図示省略）において向きを変えて、ユーザの眼の方向に出射される。導光板２４から出射された投影画像に応じた光は、右眼用レンズ２２Ｒを透過し、ユーザの右眼に導かれる。また、ユーザは、右眼用レンズ２２Ｒを通した現実の世界を現実像として右目で視認する。
そのため、ＯＬＥＤ２６から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ２２Ｒを通した現実の世界を表す現実像と、導光板２４に投影された投影画像とが重畳された状態となる。また、ＯＬＥＤ２６から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ２２Ｒ及び導光板２４を通した現実の世界を表す現実像となる。
カメラ２８は、ユーザが視認する現実の世界を撮影するカメラである。カメラ２８としては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等のデジタル式カメラが挙げられ、カラー画像の撮影が可能であることが好ましい。カメラ２８により撮影された撮影画像の画像データは、スマートフォン１２に出力される。本実施形態のカメラ２８が撮影する現実像を表す撮影画像が、本開示の第２画像の一例である。
空間認識センサ２９は、ユーザが視認する現実世界に存在する被写体までの距離を検出するセンサである。空間認識センサ２９としては、例えば、単眼カメラ、ステレオカメラ、及びＴＯＦカメラ等が挙げられる。空間認識センサ２９の検出結果は、スマートフォン１２に出力される。なお、空間認識センサ２９の検出結果は、現実世界に存在する被写体の位置を表すデータであるため、以下、「位置データ」という。
なお、ＯＬＥＤ２６により投影画像の投影中は、カメラ２８により撮影画像を撮影し、空間認識センサ２９により位置データを取得する。撮影画像の画像データ及び空間認識センサ２９の位置データは、投影された投影画像の画像データに対応付けて、スマートフォン１２に記憶される。
また、左眼用透過部２０Ｌは、左眼用レンズ２２Ｌを含む。ユーザは、左眼用レンズ２２Ｌを通した現実の世界を左眼で視認する。
一方、スマートフォン１２は、プロセッサ４０を備える。本実施形態のプロセッサ４０は、ＯＬＥＤ２６から導光板２４に投影画像を投影させる制御を、ＯＬＥＤ２６に対して行う。また、プロセッサ４０は、ＯＬＥＤ２６が導光板２４に投影画像を投影している最中に、ユーザが視認している現実の世界を撮影させる制御を、カメラ２８に対して行い、また、ユーザが視認している現実の世界に存在する被写体までの距離を検出させる制御を、空間認識センサ２９に対して行う。
図４には、スマートフォン１２における、投影画像の投影に係わる機能に関する構成の一例を表したブロック図が示されている。図４に示すように、スマートフォン１２は、プロセッサ４０、メモリ４２、Ｉ／Ｆ（InterFace）部４３、記憶部４４、ディスプレイ４６、及び入力装置４８を備える。プロセッサ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ４０は、記憶部４４に記憶された表示制御プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、プロセッサ４０は、ＯＬＥＤ２６による投影画像の投影の制御を行う。メモリ４２は、プロセッサ４０が処理を実行するためのワークメモリである。
記憶部４４には、表示制御プログラム４５、及びＯＬＥＤ２６から投影する投影画像の画像データ（図示省略）や、その他の各種情報等が記憶される。記憶部４４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。
Ｉ／Ｆ部４３は、無線通信または有線通信により、ＯＬＥＤ２６、カメラ２８、空間認識センサ２９、及び画像処理装置１４各々との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。また、入力装置４８は、投影画像の投影に関する各種の指示を入力するためにユーザによって操作される。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。
一方、画像処理装置１４は、上述したように、眼鏡型情報表示装置２を介した仮想像の透過状態を模擬した合成画像を生成する機能を有する。
図５には、画像処理装置１４における、合成画像の生成に係わる機能に関する構成の一例を表したブロック図が示されている。図５に示すように、画像処理装置１４は、プロセッサ５０、メモリ５２、Ｉ／Ｆ部５３、記憶部５４、ディスプレイ５６、及び入力装置５８を備える。プロセッサ５０、メモリ５２、Ｉ／Ｆ部５３、記憶部５４、ディスプレイ５６、及び入力装置５８は、システムバスやコントロールバス等のバス５９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ５０は、記憶部５４に記憶された画像処理プログラム５５を含む各種のプログラムをメモリ５２へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、プロセッサ５０は、合成画像を生成する処理を行う。メモリ５２は、プロセッサ５０が処理を実行するためのワークメモリである。
記憶部５４には、画像処理プログラム５５、及び眼鏡型情報表示装置２においてＯＬＥＤ２６により投影された投影画像の画像データ及びカメラ２８により撮影された撮影画像の画像データや、その他の各種情報等が記憶される。記憶部５４の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。
Ｉ／Ｆ部５３は、無線通信または有線通信により、スマートフォン１２、スマートフォン１６、及びプリンタ１８各々との間で各種情報の通信を行う。ディスプレイ５６及び入力装置５８はユーザインタフェースとして機能する。ディスプレイ５６は、ユーザに対して、合成画像の生成に関する各種の情報を提供する。ディスプレイ５６は特に限定されるものではなく、液晶モニタ及びＬＥＤモニタ等が挙げられる。また、入力装置５８は、合成画像の生成に関する各種の指示を入力するためにユーザによって操作される。入力装置５８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、ディスプレイ５６と入力装置５８とを一体化したタッチパネルディスプレイを採用してもよい。
図６には、本実施形態の画像処理装置１４の機能に係る構成の一例を表す機能ブロック図が示されている。図６に示すように画像処理装置１４は、画像取得部６０、特性パラメータ取得部６２、合成部６４、及び画像出力部６６を備える。一例として本実施形態の画像処理装置１４は、プロセッサ５０が記憶部５４に記憶されている画像処理プログラム５５を実行することにより、プロセッサ５０が画像取得部６０、特性パラメータ取得部６２、合成部６４、及び画像出力部６６として機能する。
画像取得部６０は、スマートフォン１２から、ＯＬＥＤ２６が投影する投影画像の画像データを取得する機能を有する。一例として、本実施形態の画像処理装置１４は所定のタイミングで、スマートフォン１２から投影画像の画像データと、当該投影画像の投影中にカメラ２８により撮影した撮影画像の画像データと、位置データとを対応付けて取得し、取得した投影画像の画像データ、撮影画像の画像データ、及び位置データを記憶部５４に記憶する。そのため、画像取得部６０は、任意のタイミングで投影画像の画像データ及び撮影画像の画像データをＩ／Ｆ部５３を介して、スマートフォン１２から取得する。また、画像取得部６０は、合成画像の生成を行う場合、記憶部５４から投影画像の画像データ、撮影画像の画像データ、及び位置データを取得する。画像取得部６０は、合成画像の生成を行う場合、取得した投影画像の画像データ、撮影画像の画像データ、及び位置データを合成部６４に出力する。
特性パラメータ取得部６２は、スマートフォン１２から、眼鏡型情報表示装置２の特性を示すパラメータ（以下、「特性パラメータ」という）を取得する機能を有する。本実施形態では特性パラメータの一例として、図７に示すように、ＯＬＥＤ２６が投影する投影画像の輝度ａ１（ｃｄ／ｍ２）と、ユーザが感じる投影画像の輝度として予め設定された輝度ａ２（ｃｄ／ｍ２）と、カメラ２８が撮影する撮影画像の輝度ｂ１（ｃｄ／ｍ２）と、導光板２４を通じて人間によって視認される投影画像の輝度として予め設定された輝度ｂ２（ｃｄ／ｍ２）と、を取得する。特性パラメータ取得部６２は、取得した特性パラメータを、合成部６４に出力する。
なお、具体的な、輝度ａ１、ａ２、ｂ１、ｂ２の値は、各部材の透過率や反射率に基づいて設計的に導出したり、試作品を測定して得られた値を設定したり、ここのＡＲグラス１０等を測定して得られた値を設定したりすればよい。
また、特性パラメータ取得部６２が特性パラメータを取得する方法は、特に限定されない。例えば、眼鏡型情報表示装置２のスマートフォン１２が特性パラメータ（輝度ａ１、ａ２、ｂ１、ｂ２）を記憶しており、投影画像の画像データに対応付けられている場合、特性パラメータ取得部６２は、画像取得部６０が取得した投影画像に対応付けられている特性パラメータを取得する形態としてもよい。また例えば、ＡＲグラス１０の機種を表す情報が投影画像の画像データに対応付けられている場合、特性パラメータ取得部６２は、投影画像の画像データに対応付けられているＡＲグラス１０の機種を表す情報を取得し、取得した機種を表す情報に対応する特性パラメータを、例えば、ネットワーク１９を介して外部の装置等から取得する形態としてもよい。
合成部６４は、投影画像及び撮影画像の少なくとも一方の輝度の次元のデータに画像処理を行い重ね合わせることにより、合成画像を生成する機能を有する。一例として、本実施形態の合成部６４は、特性パラメータに基づいて、撮影画像に投影画像を合成した合成画像を生成する機能を有する。合成画像は、ＡＲグラス１０を使用するユーザの現実像の視野に投影画像が挿入された視認像が再現された画像である。すなわち、本実施形態の合成部６４により生成される合成画像は、視認像における投影画像の見え具合、換言すると仮想像の透過状態を模擬した画像である。
ここで、仮想像の透過状態である投影画像の見え具合について説明する。
図８には、ＡＲグラス１０によりユーザが視認した視認像７４の一例が示されている。ＡＲグラス１０が透過ディスプレイであるため、ＯＬＥＤ２６により投影画像が投影されたことにより導光板２４を介して視認される仮想像７２は、現実像７０が透過した状態で視認される。
この状態において従来では、図９に示すように、カメラ２８により撮影された撮影画像７６の画像データに、ＯＬＥＤ２６により投影された投影画像７８の画像データをそのまま合成して合成画像の画像データを生成する。図９のようにして生成された従来の合成画像７９では、図１０に示すように、撮影画像７６に対する投影画像７８の見え方が、現実像７０に対する仮想像７２の見え方と異なってしまう場合がある。特に、スマートフォン１６のディスプレイ１６Ａ等の非透過ディスプレイに表示した場合や、プリンタ１８により印刷した場合等、図９に示したように、撮影画像７６の画像データに、投影画像７８の画像データをそのまま合成すると合成画像７９が生成されてしまう。この場合、投影画像７８と重畳する撮影画像７６が透けて見えることがない。また、透過ディスプレイに表示する場合であっても、ＡＲグラス１０における透過ディスプレイと、投影画像７８及び撮影画像７６を表示する透過ディスプレイとで機種が異なる場合、特性を示すパラメータが異なると、投影画像７８の透過状態が、仮想像７２の透過状態と異なる場合がある。
そこで、本実施形態の画像処理装置１４は、ＡＲグラス１０を介した仮想像７２の透過状態を模擬した、撮影画像７６及び投影画像７８を合成した合成画像を生成する。
本実施形態の合成部６４は、図１１に示すように、特性パラメータに基づいて、投影画像の画像データを間引いて、ＡＲグラス１０によりユーザが視認する仮想像の透過状態を模擬した間引き画像を生成する。具体的には、眼鏡型情報表示装置２の機種固有の輝度比率ａ／ｂに基づいて、投影画像の画像データを間引きする。こここでａは、ＯＬＥＤ２６が出力した投影画像の輝度ａ１と、ユーザが感じる投影画像の輝度ａ２の比率であり、下記（１）式で表される。また、ｂは、カメラ２８が撮影する撮影画像の輝度ｂ１と、ユーザが感じる現実像の輝度ｂ２の比率であり、下記（２）式で表される。なお、ａ、ｂは、ＡＲグラス１０の表示面内における空間的な分布を有していてもよい。
ａ＝ａ２／ａ１ ・・・（１）
ｂ＝ｂ２／ｂ１ ・・・（２）
また、合成部６４は、図１１に示すように、間引き画像の画像データと撮影画像の画像データとを位置データに基づいて位置合わせを行い、合成することで合成画像の画像データを生成する。
図１２には、合成部６４により合成された合成画像８０の一例が示されている。図１２に示すように、撮影画像７６に間引き画像７３が重畳されているため、撮影画像７６に対する間引き画像７３の見え方が、現実像７０に対する仮想像７２の見え方（図８参照）と同様になる。
画像出力部６６は、合成部６４が生成した合成画像を表す画像データ、任意の装置に出力する機能を有する。本実施形態の画像出力部６６は、合成画像の画像データをスマートフォン１６及びプリンタ１８の少なくとも一方に出力する。
次に、本実施形態の画像処理装置１４の作用を説明する。図１３には、本実施形態の画像処理装置１４のプロセッサ５０による画像処理の流れの一例を表したフローチャートが示されている。一例として本実施形態の画像処理装置１４では、スマートフォン１６またはプリンタ１８から合成画像の表示の指示を受けた場合、プロセッサ５０が、記憶部５４に記憶されている画像処理プログラム５５を実行することにより、図１３に一例を示した画像処理を実行する。
図１３のステップＳ１００で画像取得部６０は、上述したように、投影画像の画像データと、対応付けられている撮影画像の画像データ及び位置データを記憶部５４から取得する。
次のステップＳ１０２で特性パラメータ取得部６２は、上述したように、上記ステップＳ１００で取得した投影画像の投影を行った眼鏡型情報表示装置２の特性パラメータを取得する。
次のステップＳ１０４で合成部６４は、上述したように、上記（１）式及び（２）式を用いて、眼鏡型情報表示装置２の機種固有の輝度比率ａ／ｂを導出する。
次のステップＳ１０６で合成部６４は、上記ステップＳ１０４で導出したａ／ｂに基づいて、投影画像の間引いて間引き画像を生成する。具体的には、ａ／ｂに基づいて、Ｎ画素毎に、１画素の割合で輝度値を０にした間引き画像を生成する。Ｎは０以上であり、ａ／ｂに応じて予め定められている。なお、本実施形態と異なり、輝度値を０にするのに代えて、元の値より低減する形態としてもよい。この場合、例えば、ａ／ｂに応じてどの程度低減するかを予め定めておけばよい。なお、間引き画像に対して、階調変換等の処理を行うことが好ましい。
次のステップＳ１０８で合成部６４は、上記ステップＳ１０６で生成した間引き画像と、上記ステップＳ１００で取得した撮影画像とを位置データに基づいて位置合わせをして合成し、合成画像を生成する。具体的には、位置データに基づいて、現実空間の被写体の空間位置を基準として、撮影画像に対して、間引き画像を合成する。なお、投影画像と撮影画像とを合成する合成方法は得に限定されず、例えば、アルファチャンネルを用いた画像合成（アルファブレンディング）技術等を適用すればよい。アルファブレンディングに関する技術としては、例えば、特開２０１９－１８５３６５号に記載されている技術が上げられる。
次のステップＳ１１０で画像出力部６６は、上記ステップＳ１０８で生成した合成画像の画像データを、合成画像の表示の指示が行われたスマートフォン１６またはプリンタ１８に出力する。ステップＳ１１０の処理が終了すると、図１３に示した画像処理が終了する。
［変形例１］
合成部６４が合成画像を生成する方法は、上記形態に限定されない。上記形態では、合成部６４が、ａ／ｂに基づいて、間引き画像を生成する形態について説明したが本形態に限定されない。例えば、図１４に示したように、投影画像の画像データと撮影画像の画像データとを位置データに基づいて位置合わせを行い、ａ／ｂに応じたアルファ値を用いたアルファブレンディングにより合成し、合成画像の画像データを生成する形態としてもよい。この場合、ａ／ｂの値と、アルファ値との対応関係を予め定めておけばよい。なお、一般的にアルファ値が０～２５５の範囲で表される場合、アルファ値が１の場合が、完全に透明な状態を示し、アルファ値が２５５の場合が、完全に不透明な状態を示している。
［変形例２］
上記形態では、仮想像の透過状態を模擬した画像として、実際にユーザが視認した視認像を模擬した合成画像を生成する形態について説明したが、仮想像の透過状態が模擬されていればよく、生成する画像は特に限定されない。例えば、ある特定の現実世界をＡＲグラス１０によりユーザが視認している場合、視認像がどのようになるかをシミュレーションするためにその現実世界を撮影した撮影画像の画像データと、投影画像の画像データとを上述のように合成し、仮想像の透過状態を模擬した合成画像の画像データを生成する形態としてもよい。また、図１５に示すように、ＣＧ（Computer Graphics）により生成されたＣＧ画像の画像データと、投影画像の画像データとを上述のように合成し、仮想像の透過状態を模擬した合成画像の画像データを生成する形態としてもよい。なお、この場合、投影画像の画像データと、ＣＧ画像の画像データとの位置合わせは、合成画像を生成する操作者が適宜調整する形態としてもよい。また、特性パラメータであるａ／ｂも、想定されるＡＲグラス１０に応じて適宜、設定すればよい。なお、投影画像の画像データも、ＣＧにより仮に生成した画像であってもよい。
このように、本変形例によれば、実際にユーザが視認した視認像に限らず、ＡＲグラス１０を使用した場合にユーザによって視認される視認像を表す合成画像を生成することができる。
［変形例３］
投影画像は、複数のフレームを有し、複数のフレームの各々を、間隔を開けて表示する形態であってもよく、例えば、動画像であってもよい。この場合、図１６に示すように、合成部６４、投影画像の１つのフレームの表示時間をａ／ｂに基づいて決定する。表示時間に応じて、撮影画像の画像データと投影画像の画像データとを合成して合成画像の合成画像データを生成する。なお、表示時間とａ／ｂとの対応関係は、予め定めておけばよい。
以上説明したように、本実施形態の画像処理装置１４は、仮想像の基となる投影画像と、現実像を表す撮影画像とから、眼鏡型情報表示装置２の機種の特性を示すパラメータに基づいて、眼鏡型情報表示装置２を介した仮想像の透過状態を模擬した画像を生成する合成処理を実行する。
このように、本実施形態の画像処理装置１４によれば、眼鏡型情報表示装置２の機種の特性パラメータを用いるため、適切に、仮想像の透過状態を模擬することができる。従って本実施形態の画像処理装置１４によれば、透過ディスプレイでの視認状態を精度良く再現することができる
なお、上記形態では、合成部６４は、特性パラメータとしてａ／ｂに基づいて合成画像を生成する形態について説明したが、特性パラメータとして、ａ／ｂに加えて、さらに機種の特性を示す別のパラメータも用いてもよい。別のパラメータとしては、例えば、収差、フレア、迷光、及び散乱のうちの少なくとも一つが挙げられる。いずれのパラメータを用いるかは、合成画像における仮想像の透過状態の模擬精度、及び眼鏡型情報表示装置２の特性等に応じて適宜、定めることができる。
なお、上記形態では、ユーザの右眼で投影画像を視認する形態について説明したが、本形態に限定されず、ユーザの左眼で投影画像を視認する形態であってもよい。この場合、左眼用透過部２０Ｌが本開示の透過部の一例である。
なお、撮影画像は静止画像であってもよいし、動画像であってもよい。
また、合成部６４は、投影画像と撮影画像とを合成する際の位置合わせとして、空間認識センサ２９の検出結果（位置データ）を用いる形態に限定されない。例えば、撮影画像上の予め定められた位置に投影画像を重畳する形態としてもよい。
また、上記各形態では、画像処理装置１４が、画像取得部６０、特性パラメータ取得部６２、合成部６４、及び画像出力部６６を備える形態について説明したが、これらの機能部の一部または全部を、スマートフォン１２、スマートフォン１６、及びプリンタ１８の少なくとも１つが備える形態としてもよい。
また、上記形態において、例えば、画像取得部６０、特性パラメータ取得部６２、合成部６４、及び画像出力部６６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
また、上記各形態では、画像処理プログラム５５が記憶部５４に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム５５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム５５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１ 画像表示システム
２ 眼鏡型情報表示装置
１０ ＡＲグラス
１２ スマートフォン
１４ 画像処理装置
１６ スマートフォン、１６Ａ ディスプレイ
１８ プリンタ
１９ ネットワーク
２０Ｌ 左眼用透過部、２０Ｒ 右眼用透過部
２２Ｌ 左眼用レンズ、２２Ｒ 右眼用レンズ
２４ 導光板
２６ ＯＬＥＤ
２８ カメラ
２９ 空間認識センサ
４０、５０ プロセッサ
４２、５２ メモリ
４３、５３ Ｉ／Ｆ部
４４、５４ 記憶部
４５ 表示制御プログラム
４６、５６ ディスプレイ
４８、５８ 入力装置
４９、５９ バス
５５ 画像処理プログラム
６０ 画像取得部
６２ 特性パラメータ取得部
６４ 合成部
６６ 画像出力部
７０ 現実像
７２ 仮想像
７３ 間引き画像
７４ 視認像
７６ 撮影画像
７８ 投影画像
７９、８０ 合成画像

Claims (17)

  1. 仮想像の基となる第１画像と、現実像を表す第２画像とから、透過ディスプレイの機種の特性を示すパラメータに基づいて、前記透過ディスプレイを介した前記仮想像の透過状態を模擬した画像を生成する合成処理を実行するプロセッサを備えた
    画像処理装置。
  2. 前記透過ディスプレイは、光を透過させることにより観察者に前記現実像を提供する透過部と、前記透過部に情報を投影し前記仮想像を生成する投影部とを備え、
    前記プロセッサは、前記透過ディスプレイを使用する観察者が視認する視認像であって、前記現実像の視野に前記情報が挿入された視認像を再現し、
    前記透過部に投影される情報を表す前記第１画像と、前記第１画像の背景となる前記第２画像とを重ね合わせることにより、前記合成処理を実行する
    請求項１に記載の画像処理装置。
  3. 前記プロセッサは、前記第１画像及び前記第２画像の少なくとも一方の輝度の次元のデータに画像処理を行い重ね合わせる
    請求項１に記載の画像処理装置。
  4. 投影部が出力する第１画像の輝度ａ１と、人間が感じる第１画像の輝度として予め設定された輝度ａ２との比率をａとし、
    第２画像の輝度ｂ１と、透過部を通じて人間によって視認され第２画像の輝度として予め設定された輝度ｂ２との比率をｂとし、
    前記プロセッサは、前記透過ディスプレイの機種固有のａ／ｂを用いて、前記第１画像の透過度を決定する
    請求項３に記載の画像処理装置。
  5. 前記プロセッサは、ａ／ｂに加えて、前記透過ディスプレイにおけるａ／ｂとは機種の特性を示す別のパラメータを用いて前記合成処理を行う
    請求項４に記載の画像処理装置。
  6. 前記機種の特性を示す別のパラメータは、収差、フレア、迷光、及び散乱のうちの少なくとも一つのパラメータである、
    請求項５に記載の画像処理装置。
  7. 前記プロセッサは、ａ／ｂに基づいて、前記第１画像に対して空間的な間引き処理を行う
    請求項４から請求項６のいずれか１項に記載の画像処理装置。
  8. 前記第１画像の複数のフレームを、間隔を開けて表示する場合において、
    前記プロセッサは、ａ／ｂに基づいて、１つのフレームの表示時間を決定する
    請求項４から請求項７のいずれか１項に記載の画像処理装置。
  9. 前記ａ、及び前記ｂは、前記透過ディスプレイの表示面内における空間的な分布を有する
    請求項４から請求項８のいずれか１項に記載の画像処理装置。
  10. 前記透過ディスプレイに、前記現実像を撮影するカメラが設けられている場合には、
    前記第２画像は、前記カメラによって撮影される画像であり、
    前記ｂ１は、前記カメラによって撮影される前記第２画像の輝度である
    請求項４から請求項９のいずれか１項に記載の画像処理装置。
  11. 前記透過ディスプレイに、前記現実像を撮影するカメラが設けられているか否かに関わらず、
    前記第２画像は、前記透過ディスプレイに設けられたカメラとは別のカメラで撮影された画像であるか、あるいは、ＣＧによって作成された画像である
    請求項１から請求項９のいずれか１項に記載の画像処理装置。
  12. 前記第２画像は動画像である
    請求項１から請求項１１のいずれか１項に記載の画像処理装置。
  13. 前記プロセッサは、
    前記現実像に含まれる被写体の現実空間における位置を空間認識センサにより検出した検出結果を基準として、前記第１画像と前記第２画像とを重ね合わせる
    請求項１から請求項１２のいずれか１項に記載の画像処理装置。
  14. プロセッサにより、
    仮想像の基となる第１画像と、現実像を表す第２画像とから、透過ディスプレイの機種の特性を示すパラメータに基づいて、前記透過ディスプレイを介した前記仮想像の透過状態を模擬した画像を生成する合成処理を実行する
    画像処理方法。
  15. 前記透過ディスプレイは、光を透過させることにより観察者に前記現実像を提供する透過部と、前記透過部に情報を投影し前記仮想像を生成する投影部とを備え、
    前記プロセッサは、前記透過ディスプレイを使用する観察者が視認する視認像であって、前記現実像の視野に前記情報が挿入された視認像を再現し、
    前記透過部に投影される情報を表す前記第１画像と、前記第１画像の背景となる前記第２画像とを重ね合わせることにより、前記合成処理を実行する
    請求項１４に記載の画像処理方法。
  16. 仮想像の基となる第１画像と、現実像を表す第２画像とから、透過ディスプレイの機種の特性を示すパラメータに基づいて、前記透過ディスプレイを介した前記仮想像の透過状態を模擬した画像を生成する合成処理を実行する
    処理をプロセッサに実行させるための画像処理プログラム。
  17. 前記透過ディスプレイは、光を透過させることにより観察者に前記現実像を提供する透過部と、前記透過部に情報を投影し前記仮想像を生成する投影部とを備え、
    前記プロセッサは、前記透過ディスプレイを使用する観察者が視認する視認像であって、前記現実像の視野に前記情報が挿入された視認像を再現し、
    前記透過部に投影される情報を表す前記第１画像と、前記第１画像の背景となる前記第２画像とを重ね合わせることにより、前記合成処理を実行する
    処理をさらにプロセッサに実行させるための請求項１６に記載の画像処理プログラム。
JP2022028599A 2022-02-25 2022-02-25 画像処理装置、画像処理方法、及び画像処理プログラム Pending JP2023124678A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022028599A JP2023124678A (ja) 2022-02-25 2022-02-25 画像処理装置、画像処理方法、及び画像処理プログラム
US18/173,341 US20230276020A1 (en) 2022-02-25 2023-02-23 Image processing device, image processing method, and image processing program
CN202310160521.2A CN116661143A (zh) 2022-02-25 2023-02-23 图像处理装置、图像处理方法及存储介质
EP23158774.2A EP4235393A1 (en) 2022-02-25 2023-02-27 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022028599A JP2023124678A (ja) 2022-02-25 2022-02-25 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2023124678A true JP2023124678A (ja) 2023-09-06

Family

ID=85384618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022028599A Pending JP2023124678A (ja) 2022-02-25 2022-02-25 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20230276020A1 (ja)
EP (1) EP4235393A1 (ja)
JP (1) JP2023124678A (ja)
CN (1) CN116661143A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024018720A (ja) * 2022-07-29 2024-02-08 富士フイルム株式会社 画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
EP3547299A3 (en) * 2018-03-27 2019-11-27 Ricoh Company, Ltd. Display device, display system, mobile object, display-brightness control method, and carrier means storing program code
JP2019185365A (ja) 2018-04-09 2019-10-24 キヤノン株式会社 情報処理装置、プリンタドライバ、情報処理方法
JP7094349B2 (ja) 2020-12-04 2022-07-01 マクセル株式会社 情報記録装置

Also Published As

Publication number Publication date
US20230276020A1 (en) 2023-08-31
EP4235393A1 (en) 2023-08-30
CN116661143A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
US11978175B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
AU2022200841B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
JP7201869B1 (ja) 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成
US20230276020A1 (en) Image processing device, image processing method, and image processing program