JP2007280046A - 画像処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 実写画像と仮想画像の合成画像にシミュレーションにおいて、最適な視覚シミュレーション画像を生成することができる画像処理装置及びその制御方法、プログラムを提供できる。
【解決手段】 取得した実写画像に、指定された特性に応じた画像を生成するための第１パラメータに基づいた変換を施す。指定された特性に応じた画像を生成するための第２パラメータに基づいて、仮想画像を生成する。変換された実写画像と、生成された仮想画像とを合成する。合成した画像を表示する。
【選択図】 図１

Description

本発明は、実写画像と仮想画像の合成画像でシミュレーションを行うための画像を生成する画像処理装置及びその制御方法、プログラムに関するものである。

工業デザイン等に用いられる３次元のＣＡＤシステムの中には、視覚特性データに基づいて、視覚障害者の視覚状況を、ＣＧ画像で再現する視覚シミュレーションシステム装置（特許文献１）がある。また、同時に、この視覚シミュレーションシステム装置は、視覚特性データに基づき、ビデオカメラの焦点及び絞りを制御し、撮像する実写に対する視覚シミュレーションも提案している。
特開平０７−０６５２０３号公報

従来は、上述の視覚シミュレーション装置のように、ＣＧに対するシミュレーションと実写に対するシミュレーションは、それぞれで完結していた。この場合、実写とＣＧの合成画像で、シミュレーションを行おうとしたとき、各種パラメータの管理が煩雑となる。また、ＣＧと実写を、合成後、一度に制御したのでは、最適な視覚シミュレーション画像を提示することが困難である。

本発明は上記の課題を解決するためになされたものであり、実写画像と仮想画像の合成画像にシミュレーションにおいて、最適な視覚シミュレーション画像を生成することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
実写画像と仮想画像の合成画像でシミュレーションを行うための画像を生成する画像処理装置であって、
指定された特性に応じた画像を生成するための第１パラメータと、第２パラメータとを格納する格納手段と、
実写画像を取得する取得手段と、
前記取得手段によって取得した実写画像に、前記第１パラメータに基づいた変換を施す変換手段と、
前記第２パラメータに基づいて、仮想画像を生成する生成手段と、
前記変換手段で変換された実写画像と、前記生成手段で生成された仮想画像とを合成する合成手段と、
前記合成手段で合成した画像を表示する表示手段と
を備える。

また、好ましくは、画像を撮像する撮像手段を更に備え、
前記取得手段は、前記撮像手段で撮像された画像を実写画像として取得する。

また、好ましくは、前記格納手段は、前記指定された特性に応じた第３パラメータを更に格納し、
前記撮像手段は、前記第３パラメータに基づいて、画像を撮像する。

また、好ましくは、前記格納手段は、前記第１パラメータを格納する第１格納部と、前記第２パラメータを格納する第２格納部とから構成される。

また、好ましくは、前記取得手段と、前記変換手段と、前記第１格納部とを内蔵する第１の筐体と、
前記生成手段と、前記合成手段と、前記表示手段と、前記第２格納部とを内蔵する第２の筐体とから構成される。

また、好ましくは、前記格納手段で格納する第１及び第２パラメータは、知覚特性に関するパラメータである。

また、好ましくは、前記格納手段で格納する前記第２パラメータを、前記取得手段で取得した画像を元に生成する。

上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
実写画像と仮想画像の合成画像でシミュレーションを行うための画像を生成する画像処理装置の制御方法であって、
実写画像を取得する取得工程と、
前記取得工程によって取得した実写画像に、格納部に格納されている指定された特定に応じた画像を生成するための第１パラメータに基づいた変換を施す変換工程と、
格納部に格納されている指定された特定に応じた画像を生成するための第２パラメータに基づいて、仮想画像を生成する生成工程と、
前記変換工程で変換された実写画像と、前記生成工程で生成された仮想画像とを合成する合成工程と、
前記合成工程で合成した画像を表示する表示工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
実写画像と仮想画像の合成画像でシミュレーションを行うための画像を生成する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
実写画像を取得する取得工程と、
前記取得工程によって取得した実写画像に、格納部に格納されている指定された特定に応じた画像を生成するための第１パラメータに基づいた変換を施す変換工程と、
格納部に格納されている指定された特定に応じた画像を生成するための第２パラメータに基づいて、仮想画像を生成する生成工程と、
前記変換工程で変換された実写画像と、前記生成工程で生成された仮想画像とを合成する合成工程と、
前記合成工程で合成した画像を表示する表示工程と
をコンピュータに実行させる。

本発明によれば、実写画像と仮想画像の合成画像にシミュレーションにおいて、最適な視覚シミュレーション画像を生成することができる画像処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は本発明の実施形態の画像表示システムの機能構成を示すブロック図である。

画像表示システムは、各種パラメータを保持するパラメータ格納部１０１、被写体を撮像する撮像部１０２、撮像部１０２からの撮像画像を取得する画像取得部１０３を備える。また、画像表示システムは、パラメータ格納部１０１に格納されるパラメータに基づいて、撮像画像を変換する画像変換部１０４、パラメータ格納部１０１に格納されるパラメータに基づいて、画像を生成する画像生成部１０６を備える。

更に、画像表示システムは、画像変換部１０４で変換した画像と、画像生成部１０６で生成した画像を合成する画像合成部１０５、画像合成部１０５から得られる合成画像を表示する画像表示部１０７を備える。

ここで、パラメータ格納部１０１は、各種パラメータ（各種パラメータの詳細な説明は後述）を保持しており、本画像表示システム起動時に、撮像部１０２と画像変換部１０４と画像生成部１０６に、各種パラメータを送信する。

尚、画像表示システムは、例えば、パーソナルコンピュータ等の情報処理装置（あるいは画像処理装置）によって実現することが可能である。ここで、このパーソナルコンピュータは、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、ポインティングデバイス、画像入力部、ネットワークインタフェース等から構成される。

また、図１の画像表示システムは、１つの情報処理装置で実現されても、その内部の機能を複数の情報処理装置に分散して実現されても良い。

例えば、パラメータ格納部１０１で格納する複数種類のパラメータは、その種類別に、第１パラメータを格納する第１格納部と、第２パラメータを格納する第２格納部とから構成されても良い。そして、この構成の場合、画像表示システムは、第１情報処理装置と第２情報処理装置で実現することも可能である。

ここで、第１情報処理装置は、画像取得部１０３、画像変換部１０４及び第１格納部を内蔵する第１の筐体からなる。また、第２情報処理装置は、画像生成部１０６、画像合成部１０５、画像表示部１０７及び第２格納部とを内蔵する第２の筐体とからなる。このような構成にした場合、システム全体の処理負荷を軽減することが可能となる。

次に、撮像部１０２で実写画像を撮像する場合の制御について、図２を用いて説明する。

図２は本発明の実施形態の実写画像に対する制御を説明するブロック図である。

撮像部１０２は、ビデオカメラ等の撮像装置によって実現され、パラメータ格納部１０１からの制御命令（制御命令の詳細な説明は後述）を受信して、現実空間を撮像し、その撮像信号を画像取得部１０３へ送信する。

画像取得部１０３は、撮像部１０２から出力される撮像信号を取得し、取得した撮像信号にデジタル処理を施し、画像データを作成する。作成された画像データは、画像変換部１０４へ送信する。

画像変換部１０４は、パラメータ格納部１０１からの制御命令（制御命令の詳細な説明は後述）を受けて、画像取得部１０３から取得した撮像信号（実写画像）を変換し、変換した実写画像を画像合成部１０５へ送信する。

一方、画像生成部１０６は、パラメータ格納部１０１からの制御命令（制御命令の詳細な説明は後述）を受信して、仮想空間画像を生成し、生成した仮想画像を画像合成部１０５へ送信する。

次に、画像生成部１０６の詳細構成について、図３を用いて説明する。

図３は本発明の実施形態の画像生成部の詳細構成を示すブロック図である。

画像生成部１０６は、一般的な仮想画像（仮想空間画像）を生成するために必要なレンダラ３０２とモデルデータ３０３を、また、レンダラ３０２で生成された仮想画像に対し色補正を施す色補正部３０１を保持する。

モデルデータ３０３は、３次元物体の形状、配置、色と質感、及び表面にマッピングするテクスチャ等の情報であり、例えば、データベース上に構成されている。そして、レンダラ３０２は、処理時にこのモデルデータ３０３を参照して、処理を実行する。

レンダラ３０２は、パラメータ格納部１０１からの制御命令（制御命令の詳細な説明は後述）を受信して、仮想空間の光源とカメラの設定を決定し、モデルデータ３０３の情報とともに、いわゆるレンダリング処理を行う。レンダラ３０２で仮想画像を生成する方法は、既に公知の技術であるため、詳細な説明は省略する。

画像合成部１０５は、画像変換部１０４が変換した実写画像を背景画像とし、画像生成部１０６が生成した仮想画像を前景画像として合成処理を行い、生成された合成画像を画像表示部１０７に送信する。

画像表示部１０７は、画像合成部１０５で生成された合成画像を、使用者に対して提示する。

本実施形態では、近視者の特性と色弱者の特性とを兼ね備えたシミュレーションを提示する機能を有するシミュレーションを例に説明する。

上述のシミュレーションを実現するために、パラメータ格納部１０１は、複数のパラメータを保持している。以下に、その各パラメータの説明と、パラメータ格納部１０１が、撮像部１０２、画像変換部１０４、画像生成部１０６に施す制御命令についての詳細を説明する。

撮像パラメータ２０１は、パラメータ格納部１０１から、撮像部１０２へ送信される。撮像パラメータ２０１は、撮像部１０２の焦点距離、絞り値等を決定し、撮像時の信号に、近視者の視覚特性に応じた制御を与える。例えば、近視者の視覚特性であるピントのぼけをシミュレーションするために、撮像パラメータ２０１には、撮像部１０２の焦点距離を近くに設定し、絞り値を開放させる値を設定する。

画像変換パラメータ２０２は、パラメータ格納部１０１から、画像変換部１０４へ送信される。画像変換パラメータ２０２は、画像変換部１０４で処理される色変換の値を決定し、画像取得部１０３で取得した実写画像に、色弱者の視覚特性に応じた制御を与える。例えば、赤色色弱者の視覚特性をシミュレーションするために、画像変換パラメータ２０２には、画像変換部１０４が行う色変換処理に、赤色差異を縮小させる値を設定する。

カメラパラメータ３０６は、パラメータ格納部１０１から、レンダラ３０２へ送信される。カメラパラメータ３０６は、レンダラ３０２が、仮想空間をレンダリングするときの、仮想カメラの焦点距離、被写界深度等の値を決定し、生成する仮想画像に、近視者の視覚特性に応じた制御を与える。例えば、近視者の視覚特性をシミュレーションするために、カメラパラメータ３０６には、仮想カメラの焦点距離の値を近くに、被写界深度の値を浅くする値を設定する。

また、本実施形態では、撮像装置１０２の位置姿勢の値を予め計測しておき、その計測値を、カメラパラメータ３０６に入力し、仮想カメラの位置姿勢の値として用いる。こうすることにより、画像生成部１０６は、撮像部１０２の位置姿勢から仮想空間を観測したときの画像を生成でき、実写画像と仮想画像の画像合成時におこる空間的位置ずれを解消する。

光源パラメータ３０５は、パラメータ格納部１０１から、レンダラ３０２へ送信される。光源パラメータ３０５は、レンダラ３０２が、仮想空間をレンダリングするときの、仮想光源の色、明るさ、配置等の値を決定し、生成する仮想空間画像に、現実空間の照明状態に則した制御果を与える。例えば、撮像部１０２が撮像する現実空間の照明が、白色である場合、光源パラメータ３０５には、仮想光源の色を白色に設定する値を入れる。

尚、この光源パラメータ３０５は、画像取得部１０３から取得する実写画像に基づいて生成されても良い。

色補正パラメータ３０４は、パラメータ格納部１０１から、色補正部４０１に送信される。色補正パラメータ３０４は、色補正部３０１で処理する色補正の値を決定し、レンダラ３０２がレンダリングした仮想画像に対し、色弱者の視覚特性に応じた制御を与える。例えば、赤色色弱者の視覚特性をシミュレーションするためのパラメータとして、色補正処理に、赤色差異を縮小させる値を設定する。

次に、本実施形態の画像表示システムの制御について、図４を用いて説明する。

本画像表示システムは、パラメータ管理部１０１が、視覚の特性別に実写画像変換と仮想画像（例えば、ＣＧ）生成のためのパラメータを管理し、実写画像と仮想画像を合成する前にそれぞれの画像に対し処理を施すことを特徴とする。これにより、実写画像と仮想画像の合成後の可視光画像に対して変換処理を施すよりも、広範かつ整合性の高い視覚シミュレーション画像を得ることができる。

図４は本発明の実施形態の画像表示システムの制御を示すフローチャートである。

まず、本実施形態の画像表示システムを起動すると、ステップＳ１０１０で、システムの初期化処理を実行する。この初期化処理で、パラメータ格納部１０１は、制御パラメータを、撮像部１０２と画像変換部１０４と画像生成部１０６に送信する。具体的には、パラメータ格納部１０１において、撮像パラメータ２０１を撮像部１０２に、画像変換パラメータ２０２を画像変換部１０４に送信する。更には、パラメータ格納部１０１において、色補正パラメータ３０４を色補正部３０１に、光源パラメータ３０５とカメラパラメータ３０６をレンダラ３０２へ送信する。

ステップＳ１０２０で、パラメータ格納部１０１の制御を受けた撮像部１０２が、現実空間を、近視特性に応じて撮像し、その撮像信号を、画像取得部１０３で、実写画像データとして入力する。

ステップＳ１０３０で、パラメータ格納部１０１の制御を受けた画像変換部１０４が、ステップ１０２０で入力した実写画像データに対し、色弱特性に応じた実写画像変換を行う。

ステップＳ１０４０で、パラメータ格納部１０１の制御を受けた画像生成部１０６が、モデルデータ３０３とともに、現実空間の照明と近視特性に応じた仮想画像をレンダリングする。

ステップＳ１０５０で、パラメータ格納部１０１の制御を受けた色補正部３０１が、ステップ１０４０でレンダリングされた仮想画像に対し、色弱特性に応じた色補正を行う。

ステップＳ１０６０で、ステップ１０３０で変換された実写画像を背景画像とし、ステップ１０５０で色補正された仮想画像を前景画像として、合成処理を行う。そして、この合成処理によって得られる合成画像は、画像表示部１０７に表示されることになる。

ステップＳ１０７０で、処理を継続するか否かを判定する。継続する場合（ステップＳ１０７０でＹＥＳ）、ステップＳ１０２０に戻る。一方、継続しない場合（ステップＳ１０７０でＮＯ）、処理を終了する。

尚、図４の処理手順は、一部のステップについては、その順序を変更してもよい。

例えば、ステップＳ１０２０と、ステップＳ１０４０については、この順序を入れ替えることができる。但し、ステップＳ１０３０は、ステップＳ１０２０を実施する前に、また、ステップＳ１０４０は、ステップＳ１０５０を実施する前に完了していれば良い。特に、ステップＳ１０２０とステップＳ１０４０は相互に依存しないため、順序を入れ替えても、本実施形態の画像表示システムの制御に何ら影響を与えることはない。

以上説明したように、本実施形態によれば、制御パラメータを、一括で格納することにより、パラメータ管理が煩雑になることを防ぐ。また、視覚特性に応じた画像制御を、実写画像には実写に適した制御、仮想画像には仮想画像に適した制御を施した後に、合成画像を生成する。これにより、合成後に制御を施すよりも、最適な視覚シミュレーションを提示することができる。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態の画像表示システムの機能構成を示すブロック図である。 本発明の実施形態の実写画像に対する制御を説明するブロック図である。 本発明の実施形態の画像生成部の詳細構成を示すブロック図である。 本発明の実施形態の画像表示システムの制御を示すフローチャートである。

符号の説明

１０１ パラメータ格納部
１０２ 撮像部
１０３ 画像取得部
１０４ 画像変換部
１０５ 画像合成部
１０６ 画像生成部
１０７ 画像表示部

Claims (9)

1. 実写画像と仮想画像の合成画像でシミュレーションを行うための画像を生成する画像処理装置であって、
   指定された特性に応じた画像を生成するための第１パラメータと、第２パラメータとを格納する格納手段と、
   実写画像を取得する取得手段と、
   前記取得手段によって取得した実写画像に、前記第１パラメータに基づいた変換を施す変換手段と、
   前記第２パラメータに基づいて、仮想画像を生成する生成手段と、
   前記変換手段で変換された実写画像と、前記生成手段で生成された仮想画像とを合成する合成手段と、
   前記合成手段で合成した画像を表示する表示手段と
   を備えることを特徴とする画像処理装置。
2. 画像を撮像する撮像手段を更に備え、
   前記取得手段は、前記撮像手段で撮像された画像を実写画像として取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記格納手段は、前記指定された特性に応じた第３パラメータを更に格納し、
   前記撮像手段は、前記第３パラメータに基づいて、画像を撮像する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記格納手段は、前記第１パラメータを格納する第１格納部と、前記第２パラメータを格納する第２格納部とから構成される
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記取得手段と、前記変換手段と、前記第１格納部とを内蔵する第１の筐体と、
   前記生成手段と、前記合成手段と、前記表示手段と、前記第２格納部とを内蔵する第２の筐体とから構成される
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記格納手段で格納する第１及び第２パラメータは、知覚特性に関するパラメータである
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記格納手段で格納する前記第２パラメータを、前記取得手段で取得した画像を元に生成する
   ことを特徴とする請求項１乃至項６のいずれか１に記載の画像処理装置。
8. 実写画像と仮想画像の合成画像でシミュレーションを行うための画像を生成する画像処理装置の制御方法であって、
   実写画像を取得する取得工程と、
   前記取得工程によって取得した実写画像に、格納部に格納されている指定された特定に応じた画像を生成するための第１パラメータに基づいた変換を施す変換工程と、
   格納部に格納されている指定された特定に応じた画像を生成するための第２パラメータに基づいて、仮想画像を生成する生成工程と、
   前記変換工程で変換された実写画像と、前記生成工程で生成された仮想画像とを合成する合成工程と、
   前記合成工程で合成した画像を表示する表示工程と
   を備えることを特徴とする画像処理装置の制御方法。
9. 実写画像と仮想画像の合成画像でシミュレーションを行うための画像を生成する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
   実写画像を取得する取得工程と、
   前記取得工程によって取得した実写画像に、格納部に格納されている指定された特定に応じた画像を生成するための第１パラメータに基づいた変換を施す変換工程と、
   格納部に格納されている指定された特定に応じた画像を生成するための第２パラメータに基づいて、仮想画像を生成する生成工程と、
   前記変換工程で変換された実写画像と、前記生成工程で生成された仮想画像とを合成する合成工程と、
   前記合成工程で合成した画像を表示する表示工程と
   をコンピュータに実行させることを特徴とするプログラム。

Images