JP2005228134A - 画象処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】三次元画像データに二次元画像データが有する高品位のテクスチャ成分を付与させることで、高画質な三次元画像を提供する。
【解決手段】画像処理装置１は、同一シーンにおいて、高解像度で撮影された平面画像情報を有する二次元画像データと、平面画像情報及び奥行き情報を有する三次元データとを用いて高解像度な三次元画像データを生成する場合において、三次元画像データの平面画像情報と二次元画像データの平面画像情報から対応する特徴点をそれぞれ抽出し、抽出した特徴点に基づいて三次元画像データの被写体の位置ずれを補正し、位置ずれを補正した三次元画像データの奥行き情報と、高解像度な二次元画像データの平面画像情報とを合成処理することにより、高解像度な三次元画像データを生成する。
【選択図】図１

Description

本発明は、高解像度な三次元画像を生成する画象処理装置、画像処理方法及びプログラムに関する。

近年、複雑な自由曲面形状を有する製品の設計等を始めとする産業分野だけでなく、考古遺物の形状に関する計測などの研究調査を目的とする学術的な用途、又はシールプリントと等の遊戯用途など、幅広い分野で三次元画像データが活用されている。

この三次元画像データの取得方法として、測定方式は、接触式と非接触式に大別できるが、物体・人物の負荷を考慮する場合には非接触式が採用される。非接触式にも種々の手法があり、画像処理の分野においては、三角測量原理や投射する波動が対象物で反射して戻ってくるまでの時間を計る時間計測による手法などがよく知られ、対象物体に光を投射してその反射光を検出する能動的方法と、投光光源をもたない受動的方法に大別される。

受動的方法とは、ステレオ写真測量法のように計測対象をそのまま画像としてとらえる方法で，計測対象や計測環境に拘束されず、撮影するだけでよいという利点があるが自動処理では結果の信頼性を十分保証できない問題点がある。一方、能動的方法とは、計測対象になんらかの光パターンを照射して目印を付ける方法であり，モアレ法と光切断法（パターン光投影法を含む）が代表される。能動的方法は信頼性が高いといわれ、産業用途での実用化が進んでおり、各社から種々の手法を用いた三次元計測（＝対象物体の奥行き情報を含めた三次元的な位置と姿勢及びその形状を計測すること）を行う三次元データ計測装置が開発・発売されている。

しかし、汎用性のある三次元データ計測装置から得られる三次元画像は、計測速度（計測時間）の制約もあり、観賞に耐えられるほどの画質を持ち合わせていない。（例えば、５００画素×２５０画素程度）。こうした背景を受けて、高画質な三次元画像を生成する技術が種々開示されている。例えば、顔面の部品中、両眼及び顔輪郭近傍を表す形状データの再標本化解像度を、顔形状を与えるデータのそれよりも高く設定することにより、人の顔面形状を与える三次元形状データの改善を図る三次元形状データ処理装置が知られている（例えば、特許文献１参照）。
特開２０００−７６４５２号公報

しかしながら、上述した三次元形状データ処理装置（例えば、特許文献１）は、被写体の一部（例えば、両眼及び顔輪郭近傍）の解像度を他の部分よりも高く設定するのみであり、被写体全体の解像度を向上させることはできないため、三次元形状データの十分な高画質を再現することはできなかった。また、近年の二次元デジタル画像の撮像デバイスにおける性能向上、低価格化といった環境を十分に生かしたものではなかった。

本発明はこのような状況に鑑みて発案されたものであり、三次元画像データに二次元画像データが有する高品位のテクスチャ成分を付与させることで、高画質な三次元画像を提供する画像処理方法、画像処理装置及びプログラムを提供するものである。

上記課題を解決するために、請求項１記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置において、
前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴としている。

請求項２記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置において、
前記三次元画像データ及び前記二次元画像データからそれぞれ特徴点を抽出する抽出手段と、
三次元画像データの特徴点と二次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する補正手段と、
を備えることを特徴としている。

請求項３記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置において、
前記二次元画像データ及び前記三次元画像データからそれぞれ特徴点を抽出する抽出手段と、
二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する補正手段と、
前記位置ずれが補正された三次元画像データと二次元画像データを合成して新たな三次元画像データを生成する三次元画像データ生成手段と、を備え、
前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴としている。

請求項４記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置において、
前記三次元画像データに補間処理を行う補間処理手段を備え、
前記三次元画像データ生成手段は、二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、前記補間処理が行われた三次元画像データと二次元画像データとを合成して新たな三次元画像データを生成することを特徴としている。

請求項５記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理方法において、
前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴としている。

請求項６記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理方法において、
前記三次元画像データ及び前記二次元画像データからそれぞれ特徴点を抽出する工程と、
三次元画像データの特徴点と二次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する工程と、
を含むことを特徴としている。

請求項７記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理方法において、
前記二次元画像データ及び前記三次元画像データからそれぞれ特徴点を抽出する工程と、
二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する工程と、
前記位置ずれが補正された三次元画像データと二次元画像データを合成して新たな三次元画像データを生成する三次元画像データ工程と、を含み、
前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴としている。

請求項８記載の発明は、請求項５から７のいずれか一項に記載の画像処理方法において、
前記三次元画像データに補間処理を行う工程と、
二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、前記補間処理が行われた三次元画像データと二次元画像データとを合成して新たな三次元画像データを生成する工程と、
を含むことを特徴としている。

請求項９記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置に、
前記三次元画像データ及び前記二次元画像データからそれぞれ特徴点を抽出する機能と、
三次元画像データの特徴点と二次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する機能と、
を実現させるためのプログラムである。

請求項１０記載の発明は、
同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置に、
前記二次元画像データ及び前記三次元画像データからそれぞれ特徴点を抽出する機能と、
二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する機能と、
前記位置ずれが補正された三次元画像データと前記三次元画像データの解像度より高解像度な二次元画像データを合成して新たな三次元画像データを生成する機能と、
を実現するためのプログラムである。

請求項１１記載の発明は、請求項９又は１０記載のプログラムにおいて、
前記三次元画像データに補間処理を行う機能と、
画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、前記補間処理が行われた三次元画像データと二次元画像データとを合成して新たな三次元画像データを生成する機能とを実現するためのプログラムである。

請求項１又は５記載の発明によれば、同一シーンにおいて撮影された二次元画像データと三次元画像データに基づいて新たな三次元画像データを生成する場合に、三次元画像データよりも高解像度な二次元画像データを用いることにより、三次元画像データに高画質な二次元画像データの平面画像情報を付与することができ、高品質な三次元画像データを生成することができる。

請求項２、６又は９記載の発明によれば、同一シーンにおいて撮影された二次元画像データと三次元画像データに基づいて新たな三次元画像データを生成する場合に、画像間の位置ずれを調整することができるため、合成された三次元画像データの鮮鋭性を劣化させたり、輪郭が二重線なる等の画像の劣化を防止することができる。

請求項３、７又は１０記載の発明によれば、同一シーンにおいて撮影された二次元画像データと三次元画像データに基づいて新たな三次元画像データを生成する場合に、画像間の位置ずれを調整すると共に、三次元画像データよりも高解像度な二次元画像データを用いることにより、三次元画像データに高画質な二次元画像データの平面画像情報を付与して、新たな三次元画像データを生成することができる。これにより、三次元画像データの鮮鋭性を劣化させたり、輪郭が二重線なる等の画像の劣化を防止して、高品質な三次元画像データを提供することができる。

請求項４、８又は１１記載の発明によれば、三次元画像データに補間処理を行うことにより、高解像度の二次元画像データに三次元画像データの解像度を対応させることができ、三次元画像データと二次元画像データを精度よく一致させて、高品質な三次元画像データを生成することができる。

以下、図１〜図５を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。

まず、本実施の形態の構成を説明する。
図１は、本実施の形態における画像処理装置１の要部構成を示すブロック図である。図１に示すように、画象処理装置１は、ＣＰＵ１１、入力部１２、表示部１３、通信部１４、ＲＡＭ１５、画像処理部１６、記憶部１７等を備えて構成され、各部はバス１８により接続されている。

ＣＰＵ（Central Processing Unit）１１は、記憶部１７に格納されている各種プログラムの中から指定されたプログラムを、ＲＡＭ１５内の図示しないワークエリアに展開し、入力部１３及び通信部１４から入力されるデータに応じて、プログラムに従った各種処理を実行し、処理結果をＲＡＭ１５内のワークメモリに格納する。また、処理結果を表示するための表示情報を生成して表示部１３へ出力する。

具体的に、ＣＰＵ１１は、記憶部１７に格納された各種処理プログラムとの協働によって後述する三次元画像データ合成処理（図２参照）、位置調整処理（図３参照）を実行する。なお、処理の詳細は後述する。

入力部１２は、文字キー、数字キー、及び各種機能キーを備えたキーボードを含み、このキーボードで押下されたキーに対応する押下信号をＣＰＵ１１に出力する。また、入力部１３は、必要に応じてマウス、タッチパネル等のポインティングデバイスや、その他の入力装置を備えるものとしてもよい。

表示部１３は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等によってなる表示画面を備え、ＣＰＵ１１から入力される表示信号の指示に従って入力部１２、通信部１４を介して送受信される表示データを画面上に表示する。

通信部１４は、ＬＡＮ、ＷＡＮ等のネットワークに接続された伝送媒体に接続可能なインターフェイスである。通信部１４は、モデム又はターミナルアダプタ等によって構成され、電話回線、ＩＳＤＮ回線、無線通信回線、専用線、ＣＡＴＶ回線等の通信回線を介して外部機器との通信を行うための制御を行う。例えば、通信部１４は、ネットワークＮを介して送信された画像データを受信する。

ＲＡＭ（Random Access Memory）１５は、ＣＰＵ１１によって実行される各種プログラムやこれら各種プログラムによって処理されたデータ等を一時的に記憶するワークエリアを形成する。

画像処理部１６は、後述する記憶部１７から取得した二次元画像データ又は三次元画像データに対して、必要に応じて適切な画像処理を施す。例えば、各入力方法に適した校正処理、グレーバランス調整、コントラスト調整、ネガ原稿の場合にはネガポジ反転処理等が行われる。画像データは、ＲＧＢカラー画像データ、モノクロ画像データ、ＹＭＣＫ４色画像データ等、何でもよい。また、階調数も任意であって、例えば、ＲＧＢカラー画像データの場合、各色８bit、各色１２bit等、任意の画像データを用いることができる。画像のフォーマット（ＪＰＥＧ，Ｔｉｆｆ，ｂｍｐ等）も何でもよい。ＪＰＥＧやＴｉｆｆ等、画像データと付帯情報（例えば、被服素材情報、パターン情報等）があるフォーマットの場合は、画像データと付帯情報を分離したり、付帯情報から必要な情報を取り出したりする各フォーマットに対応する処理が行われる。この画像処理部１６は、記憶部１７に格納された画像処理プログラムとＣＰＵ１１との協働によってソフトウェア処理で実現される。

記憶部１７は、プログラムやデータ等が予め記録されている記録媒体（図示せず）を有しており、この記録媒体は磁気的、光学的記録媒体、若しくは半導体メモリで構成されている。この記録媒体は、記憶部１７に固定的に設けられるもの、若しくは着脱自在に装着するものであり、この記録媒体には、システムプログラム、当該システムに対応する各種処理プログラム、及び各種処理プログラムで処理されたデータ等を記録する。また、プログラムは、コンピュータが読み取り可能なプログラムコードの形態で格納され、ＣＰＵ１１は、当該プログラムコードに従った動作を逐次実行する。

次に、本実施の形態の動作を説明する。
なお、動作説明の前提として、以下のフローチャートに記述されている各処理を実現するためのプログラムは、コンピュータが読取り可能なプログラムコードの形態で記憶部１７に格納されており、ＣＰＵ１１は、当該プログラムコードに従った動作を逐次実行する。また、上記ＣＰＵ１１は、伝送媒体を介して外部から供給されるプログラム及びデータを利用して、本実施の形態特有の動作を逐次実行することも可能である。

図２は、ＣＰＵ１１により実行される三次元画像データ合成処理を示すフローチャートである。図２に示すように、ＣＰＵ１１は、まず、二次元画像データを取得する（ステップＳ１）。ここで、二次元画像データとは、一般的な画像データであり、奥行きや厚みといった立体的な情報はなく、平面画像情報を有する画像データである。二次元画像データは、三次元画像データの描画の描写品質を向上させるために使用するものであるから、三次元画像データよりも高解像度であることが好ましい。

次いで、ＣＰＵ１１は、取得した二次元画像データから特徴点を抽出する（ステップＳ２）。特徴点の抽出方法としては、当業界で知られる公知公用の手法を使用することができる。例えば、処理対象となる画像がポートレート（人物が主要被写体であるシーン）であれば、顔や顔内の部位、人物全画像の抽出処理を行った後に、例えば、顔であれば、顔輪郭、目、眉、鼻、口などの抽出領域境界上に特徴点を抽出すればよい。また、濃度変化の顕著な部分をほぼ一定の間隔で自動指定する方法でもよい。或いは、モニタ上でマウスやライトペンなどを用いて、オペレータが手動で顔領域を指定することで顔領域を抽出しても良く、これを補助手段として、上記に挙げた抽出方法と併用しても良い。

また、ＣＰＵ１１は、上述した処理と並行して、三次元画像データを取得して（ステップＳ３）、取得した三次元画像データから特徴点を抽出する（ステップＳ４）。ここで、三次元画像データとは、二次元である所定の基準面（例えば、撮像デバイス位置）に投影した（ｘ，ｙ）位置で規定される画素位置が有する平面画像情報（ＲＧＢ値、輝度色値等）と、（ｘ，ｙ）位置に対応する被写体の立体的な情報を表す奥行き情報（基準面に対して垂直なｚ方向を奥行きとする）で構成される画像データである。なお、三次元画像データは、平面画像情報に加え、奥行き情報を含む画像データであるため、上述した二次元画像データよりも低解像度な画像データとなる。また、三次元画像データから特徴点を抽出する方法としては、奥行き情報を考慮せず、平面画像情報（三次元画像データから抽出した二次元画像データ）から特徴点に対応する画素位置を抽出する。

続いて、ＣＰＵ１１は、三次元画像データから抽出した特徴点を、二次元画像データから抽出した特徴点に対応させる位置調整処理を実行する（ステップＳ５）。ここで、二次元画像と三次元画像は、同一のシーンに対応するものであるが、画像取得装置が個々にある場合、例えば、高解像度な二次元画像を撮影する高機能デジタルカメラと、三次元画像を撮影する一般的な三次元データ計測装置とを備える場合、撮影された個々の被写体に位置ずれが生じる場合がある。この位置ずれを補整せずに次の合成処理を行うと、画像の鮮鋭性が劣化したり、不自然な立体感を生じさせるなど画質を劣化させてしまう。そこで、二次元画像と三次元画像の画像取得装置が個々にある場合は、位置調整処理が必要となる。ただし、高解像度な二次元画像と三次元画像とが同時に取得可能な画像取得装置を利用する場合は、位置調整処理を行わなくてもよい。

図３を参照して位置調整処理について説明する。図３は、三次元画像データ合成処理の一部として実行される位置調整処理を示すフローチャートである。図３に示すように、ＣＰＵ１１は、二次元画像データから抽出した特徴点を取得して、任意の特徴点をポイント指定する（ステップＳ１１）。次いで、三次元画像データから抽出した特徴点を取得して二次元画像データで指定した特徴点に対応する三次元画像データの特徴点をポイント指定して、各特徴点を１対１で対応させる（ステップＳ１２）。なお、ポイント指定の方法として、手動でポイント指定する場合、例えば、顔であれば、顔輪郭、目、眉、鼻、口などを指定する。また、三次元画像データから濃度情報を取得し、濃度変化の顕著な部分を略一定の間隔で自動指定する方法でもよい。図４に、二次元画像データ及び三次元画像データの一例を示す。図４（ａ）は、二次元画像データ及びポイントされた特徴点を示す図であり、図４（ｂ）は、三次元画像データ及び三次元画像データ中の平面画像情報にポイントされた特徴点を示す図である。図４（ａ），（ｂ）に示すように、各特徴点は１対１で対応付けられている。

図３に戻り、ＣＰＵ１１は、二次元画像データについて指定した特徴点及び画像の四隅のポイントを頂点とするドローネ三角形分割を実施する（ステップＳ１３）。なお、必ずしもドローネ三角形分割でなく、任意の三角形分割で構わないが、一意に決定されるドローネ三角形分割が好ましい。また、三次元画像データの平面画像情報についてポイント指定した点を頂点とし、二次元画像データと対応する三角形分割を実施する（ステップＳ１４）。そして、三次元画像データの分割された三角形領域を領域毎に対応する二次元画像データの三角形領域と同一形状となるようにアフィン変換を施す（ステップＳ１５）。さらに、三次元画像データの平面画像情報に施されたアフィン変換の条件（例えば、変換係数）を取得する（ステップＳ１６）。そして、三次元画像データの奥行き情報について、平面画像情報に対応するポイントの指定を行い、取得したアフィン変換の条件に基づいて三次元画像データの奥行き情報にアフィン変換を施す（ステップＳ１７）。

図５を参照して、位置調整処理について具体的に説明する。図５（ａ）は、二次元画像データに対して指定された特徴点に基づきドローネ三角形分割を実施した画像の一例を示す図である。図５（ａ）に示すように、指定された特徴点は白丸（○）で示されており、画像の四隅及び特徴点を頂点として三角形分割が施されている。また、図５（ｂ），（ｃ）は、被写体右目上部の三角形領域に基づいて、アフィン変換を施す例を概念的に示す図である。図５（ｂ）は、アフィン変換の基準となる二次元画像データであり、図５（ｃ）は、被変換画像である三次元画像データの平面画像情報である。図５（ｂ），（ｃ）に示すように、二次元画像データの三角形領域（斜線部分）に対応する三次元画像データの平面画像情報の三角形領域（斜線部分）には、位置ずれが生じているため、各三角形領域が両画像で一致するように、三次元画像データの三角メッシュにアフィン変換を施す。

アフィン変換の変換基本式は下記式（１）で示される。
また、上記式（１）に含まれる変換係数（b₁,b₂）は、下記式（２），（３）から算出される。

上記方法により、三次元画像データの平面画像情報にアフィン変換が施され、このアフィン変換の結果、取得される変換係数に基づいて、３次元画像データの奥行き情報にアフィン変換を施すことによりニ次元画像データと三次元画像データの奥行き情報の位置調整が行われる。図４（ｃ）に、位置調整処理が実施された三次元画像データの平面画像情報を示し、図４（ｄ）に、位置調整処理が実施された三次元画像データの奥行き情報を示す。図４（ｃ）、（ｄ）に示すように、アフィン変換後の三次元画像データは、図４（ｂ）に示すアフィン変換前の三次元画像データと比較して、あひるのくちばし部分の位置ずれが調整され、図４（ａ）に示す二次元画像データとくちばし部分の位置が一致するようになっている。

図２に戻り、ステップＳ５において位置調整処理が終了すると、ＣＰＵ１１は、アフィン変換された三次元画像データの奥行き情報に補間処理を施して、三次元画像データの解像度を二次元画像データの高解像度に対応させる（ステップＳ６）。ここで、補間処理とは、二次元正方格子で表される画像値に基づいて新しい画素値を推定し、元画像データに新しい画素値を追加する処理をいう。代表的な補間方法としては、最近隣法（ニアレストネイバー法）、線形補間（バイリニア法）、３次畳み込み（バイキュービック法）等があるが、その他の種々の方法を利用して補間処理を行う構成であってもよい。なお、三次元画像データの平面画像情報のアフィン変換は、奥行き情報のアフィン変換のための条件を取得することが第１の目的であるため、必ずしも必要な処理ではない。例えば、二次元画像データと、三次元画像データの奥行き情報とに基づいて、直接的に奥行き情報にアフィン変換が施される構成であってもよい。また、三次元画像データに施される補間処理は、奥行き情報に対してのみであってもよく、奥行き情報及び平面画像情報にも補間処理が施される構成であってもよい。図４（ｅ）に、補間処理が施された三次元画像データの奥行き情報の一例を示す。このような補間処理を行うことにより、高解像度の二次元画像データと、三次元画像データとの合成処理を行う場合に、二次元画像データの高品位な描写を合成後の三次元画像データに生かすことができる。

図２に戻り、ＣＰＵ１１は、補間処理を施した三次元画像データの奥行き情報と、二次元画像データの合成処理を行い、新たな三次元画像データを生成する（ステップＳ７）。ここで、合成処理とは、「補間処理済み三次元画像データ」の奥行き情報と、二次元画像データの平面画像情報とを、上述した特徴点が一致するように合成し、高解像度な三次元画像データを生成することを意味する。図４（ｆ）に、合成された三次元画像データの一例を示す。図４（ｆ）に示すように、合成された三次元画像データは、高解像度な二次元画像データの平面情報を有すると共に、三次元画像データの奥行き情報を有するため、高品質な三次元画像データとなっている。そして、ＣＰＵ１１は、三次元画像データ合成処理を終了する。

以上のように、本実施の形態における画像処理装置１によれば、同一シーンにおいて、高解像度で撮影された平面画像情報を有する二次元画像データと、平面画像情報及び奥行き情報を有する三次元データとを用いて高解像度な三次元画像データを生成する場合において、三次元画像データの平面画像情報と二次元画像データの平面画像情報から対応する特徴点をそれぞれ抽出し、抽出した特徴点に基づいて三次元画像データの被写体の位置ずれを補正し、位置ずれを補正した三次元画像データの奥行き情報と、高解像度な二次元画像データの平面画像情報とを合成処理することにより、高解像度な三次元画像データを生成する。

したがって、同一シーンにおいて撮影された被写体について、高解像度な二次元画像データの平面情報と、三次元画像データの奥行き情報とを合成する際に、被写体間の位置ずれを調整することができるため、合成された三次元画像データの鮮鋭性を劣化させたり、不自然な立体感を生じさせる等の画像の劣化を防止することができる。

また、合成に使用される二次元画像データは、三次元画像データよりも高解像度であるため、合成処理により高解像度な平面画像情報を三次元画像データに付与することにより、高品質な三次元画像データを再現することができる。

また、位置調整処理は、二次元画像データから抽出された特徴点と、三次元画像データの平面画像情報から抽出された特徴点とを１対１で対応させ、二次元画像データを基準として、三次元画像データの平面画像情報にアフィン変換を施す。そして、三次元画像データの平面画像情報に施したアフィン変換の条件に基づいて、三次元画像データの奥行き情報にアフィン変換を施すことにより、位置ずれの調整を行う。これにより、三次元画像データの奥行き情報の位置ずれを解消することができるため、二次元画像データの平面画像情報を劣化させることがなく、高解像度な三次元画像データを提供することができる。

さらに、三次元画像データの奥行き情報に補間処理を施すことにより、三次元画像データの解像度を高解像度な二次元画像データの解像度に対応させる変換を行うため、三次元画像データの奥行き情報と、二次元画像データの平面画像情報を精度良く一致させることができる。また、三次元画像データと二次元画像データの合成を行う際は、それぞれの特徴点に基づいて、特徴点が一致するように合成されるため、三次元画像データと二次元画像データがずれることなく高品質な三次元画像データを提供することができる。

なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、これに限定されるものではない。例えば、位置調整処理において、アフィン変換により、二次元画像データと、三次元画像データとの位置ずれを調整する場合を例として説明を行ったが、これに限らず、その他種々の方法により位置ずれを調整する構成であってもよい。また、補間処理の方法についても、上述した方法は一例であってこれらに限らないのは勿論である。

また、位置調整処理においては、三次元画像データの奥行き情報をアフィン変換することにより、位置ずれを解消する場合が好ましいが、二次元画像データをアフィン変換することにより位置ずれを解消する構成であってもよい。或いは、二次元画像データと、三次元画像データを略同時に取得可能な撮影装置により撮影され、位置ずれが生じない場合には、上述した位置調整処理が省略される構成であってもよい。

さらに、画像処理装置１は、通信部１４を備え、ネットワークＮを介して、画像データを取得する構成として説明を行ったが、これに限らず、例えば、Ｉ／Ｆ部を備え、フラッシュメモリーカード、スマートメディアカード、メモリスティック、ＳＤ（Secure Digital）カード、ＰＣカード、フロッピー（登録商標）ディスク、ＣＤ−Ｒ（Compact Disk-Recordable）、ＭＯ（Magneto-Optic）等の画像記録媒体、或いは、デジタルカメラ、携帯端末等と接続可能な構成により、これらの画像記録媒体から画像データを取得する構成であってもよい。この構成によれば、プロ仕様のデータ容量の大きい画像データにも対応が可能となる。

その他、本実施の形態における試着シミュレーションシステム１００の構成部分の細部構成、及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明を適用した実施の形態における画像処理装置１の構成を示すブロック図である。 図１に示すＣＰＵ１１により実行される三次元画像データ合成処理を示すフローチャートである。 図２の三次元画像データ合成処理の一部として実行される位置調整処理を示すフローチャートである。 三次元画像データと二次元画像データの一例を示す図である。 位置調整処理において行われるアフィン変換について説明する図である。

符号の説明

１ 画像処理装置
１１ ＣＰＵ
１２ 入力部
１３ 表示部
１４ 通信部
１５ ＲＡＭ
１６ 画像処理部
１７ 記憶部
Ｎ ネットワーク

Claims (11)

1. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置において、
   前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴とする画像処理装置。
2. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置において、
   前記三次元画像データ及び前記二次元画像データからそれぞれ特徴点を抽出する抽出手段と、
   三次元画像データの特徴点と二次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する補正手段と、
   を備えることを特徴とする画像処理装置。
3. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置において、
   前記二次元画像データ及び前記三次元画像データからそれぞれ特徴点を抽出する抽出手段と、
   二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する補正手段と、
   前記位置ずれが補正された三次元画像データと二次元画像データを合成して新たな三次元画像データを生成する三次元画像データ生成手段と、を備え、
   前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴とする画像処理装置。
4. 前記三次元画像データに補間処理を行う補間処理手段を備え、
   前記三次元画像データ生成手段は、二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、前記補間処理が行われた三次元画像データと二次元画像データとを合成して新たな三次元画像データを生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理方法において、
   前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴とする画像処理方法。
6. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理方法において、
   前記三次元画像データ及び前記二次元画像データからそれぞれ特徴点を抽出する工程と、
   三次元画像データの特徴点と二次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する工程と、
   を含むことを特徴とする画像処理方法。
7. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理方法において、
   前記二次元画像データ及び前記三次元画像データからそれぞれ特徴点を抽出する工程と、
   二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する工程と、
   前記位置ずれが補正された三次元画像データと二次元画像データを合成して新たな三次元画像データを生成する三次元画像データ工程と、を含み、
   前記二次元画像データの解像度は、前記三次元画像データの解像度より高解像度であることを特徴とする画像処理方法。
8. 前記三次元画像データに補間処理を行う工程と、
   二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、前記補間処理が行われた三次元画像データと二次元画像データとを合成して新たな三次元画像データを生成する工程と、
   を含むことを特徴とする請求項５から７のいずれか一項に記載の画像処理方法。
9. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置に、
   前記三次元画像データ及び前記二次元画像データからそれぞれ特徴点を抽出する機能と、
   三次元画像データの特徴点と二次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する機能と、
   を実現させるためのプログラム。
10. 同一シーンに対する三次元画像データと二次元画像データに基づいて、新たな三次元画像データを生成する画像処理装置に、
    前記二次元画像データ及び前記三次元画像データからそれぞれ特徴点を抽出する機能と、
    二次元画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、三次元画像データと二次元画像データとの位置ずれを補正する機能と、
    前記位置ずれが補正された三次元画像データと前記三次元画像データの解像度より高解像度な二次元画像データを合成して新たな三次元画像データを生成する機能と、
    を実現するためのプログラム。
11. 前記三次元画像データに補間処理を行う機能と、
    画像データの特徴点とこれに対応する三次元画像データの特徴点とに基づいて、前記補間処理が行われた三次元画像データと二次元画像データとを合成して新たな三次元画像データを生成する機能とを実現するための請求項９又は１０記載のプログラム。