JP2001118074A

JP2001118074A - ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体

Info

Publication number: JP2001118074A
Application number: JP29887199A
Authority: JP
Inventors: Kazuhiro Wake; 一博和気; Tatsuhiko Ikeda; 達彦池田; Yasuo Hamamoto; 康男浜本; Hiroshi Saito; 浩齋藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-10-20
Filing date: 1999-10-20
Publication date: 2001-04-27

Abstract

(57)【要約】【課題】撮影した画像から３次元画像を作成するの
は、撮影が難しく、生成した３次元画像を視点を変えて
みることが出来ない。【解決手段】撮影した、オブジェクトの２次元画像を小
区画に分割する領域分割手段８と、それぞれの小区画に
おける輝度から、照明方向と撮像方向の関係に基づい
て、それぞれの小区画の、３次元空間における傾きを算
出する傾き算出手段１０と、算出されたそれぞれの小区
画における傾きとそれら小区画同士の連続性を利用し
て、前記オブジェクトの３次元画像を作成する３次元画
像作成手段１０、１１、１３とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オブジェクトを撮
影した２次元画像からそのオブジェクトの３次元画像を
生成する３次元画像作成方法、３次元画像作成装置及び
プログラム記録媒体に関するものである。

【０００２】

【従来の技術】人物、電話の受話器、ティーポットなど
のオブジェクトをカメラで撮影し、画像データに変換し
てから、２次元画像としてモニタに表示することは、従
来から広く行われてきた。

【０００３】ところで、これらのオブジェクトを２次元
画像としてモニタに表示した場合、オブジェクトを直接
観察するのに比較して、立体感が乏しくなる。

【０００４】そこで、人間の左右の目に見える画像の差
である両眼視差（ｂｉｎｏｃｕｌａｒｐａｒａｌｌａ
ｘ）と、両眼が１点を見つめるための交差角を制御する
ための眼球運動である輻輳（ｃｏｎｖｅｒｇｅｎｃｅ）
を利用した３次元画像作成方法がある。

【０００５】すなわち、オブジェクトを左目用と右目用
の２台のカメラで撮影し、２枚の画像データに変換し、
モニタに左目用画像と右目用画像を交互に表示する。そ
して、眼鏡に付設された液晶シャッターに同期させて表
示し、使用者はこの眼鏡を装着して、モニタを観察す
る。この方法によれば立体感のある極めて鮮明な３次元
画像を得ることが出来る。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
３次元画像作成方法では、左目用と右目用の２台のカメ
ラで撮影する際に種々の制約があり、オブジェクトを撮
影するのが困難である。例えば、良好な立体感を得るた
めには、カメラからオブジェクトまでの距離を２台のカ
メラの間の距離に較べて、１０倍程度の距離にする必要
がある。また、２台のカメラで、画角（撮影面の撮影方
向回りの角度）を等しくする必要がある。そのため、２
台のカメラを三脚で固定して位置決めしなければなら
ず、手間がかかる。また、２台のカメラを１つの筐体に
収めることも行われている。

【０００７】すなわち、従来の３次元画像作成方法で
は、オブジェクトを撮影するのが困難であるという課題
がある。

【０００８】さらに、オブジェクトを撮影するために、
２台のカメラを使う必要があり、撮影機材を準備するの
にコストがかかる。

【０００９】すなわち、撮影に要する機材を準備するの
にコストがかかるという課題がある。

【００１０】本発明は、オブジェクトを撮影するのが困
難であるという課題を考慮し、容易にオブジェクトを撮
影することが出来る３次元画像作成方法、３次元画像作
成装置及びプログラム記録媒体を提供することを目的と
するものである。

【００１１】また、本発明は、撮影に要する機材を準備
するのにコストがかかるという課題を考慮し、撮影に要
する機材を準備するのにコストがかからない３次元画像
作成方法、３次元画像作成装置及びプログラム記録媒体
を提供することを目的とするものである。

【００１２】

【課題を解決するための手段】上述した課題を解決する
ために、第１の本発明（請求項１に対応）は、所定の３
次元空間における、撮像手段が撮像する方向と光源が照
明する方向との関係が解っている場合に、その撮像手段
がオブジェクトを撮影した２次元画像からそのオブジェ
クトの３次元画像を作成する３次元画像作成方法であっ
て、前記撮影した、前記オブジェクトの２次元画像を小
区画に分割し、それぞれの小区画における輝度から、前
記関係に基づいて、前記３次元空間における傾きを算出
し、それら小区画同士の連続性を利用して、前記オブジ
ェクトの３次元画像を得ることを特徴とする３次元画像
作成方法である。

【００１３】また、第２の本発明（請求項２に対応）
は、前記オブジェクトのある部分が平面であることが予
め解っている場合に、前記小区画の輝度が変化していて
も、前記小区画の輝度が一定になるように調整すること
を特徴とする第１の本発明に記載の３次元画像作成方法
である。

【００１４】また、第３の本発明（請求項３に対応）
は、前記光源が照明する方向は、１つであることを特徴
とする第１または２の本発明に記載の３次元画像作成方
法である。

【００１５】また、第４の本発明（請求項４に対応）
は、前記光源が照明する方向は、前記撮像手段が撮影す
る方向と同一方向であることを特徴とする第３の本発明
に記載の３次元画像作成方法である。

【００１６】また、第５の本発明（請求項５に対応）
は、前記光源が照明する方向は複数通りあり、前記２次
元画像は、それぞれの方向から照明された複数枚の２次
元画像であることを特徴とする第１または２の本発明に
記載の３次元画像作成方法である。

【００１７】また、第６の本発明（請求項６に対応）
は、第１〜５の本発明のいずれかに記載の３次元画像作
成方法の全部または一部のステップの全部または一部の
動作をコンピュータで実行させるためのプログラムを格
納していることを特徴とするプログラム記録媒体であ
る。

【００１８】また、第７の本発明（請求項７に対応）
は、所定の３次元空間における、撮像手段が撮像する方
向と光源が照明する方向との関係が解っている場合に、
その撮像手段がオブジェクトを撮影した２次元画像から
そのオブジェクトの３次元画像を作成する３次元画像作
成装置であって、前記撮影した、前記オブジェクトの２
次元画像を小区画に分割する領域分割手段と、それぞれ
の小区画における輝度から、前記関係に基づいて、前記
それぞれの小区画の、前記３次元空間における傾きを算
出する傾き算出手段と、前記算出されたそれぞれの小区
画における傾きとそれら小区画同士の連続性を利用し
て、前記オブジェクトの３次元画像を作成する３次元画
像作成手段とを備えたことを特徴とする３次元画像作成
装置である。

【００１９】また、第８の本発明（請求項８に対応）
は、前記光源が照明する方向は、１つであることを特徴
とする第７の本発明に記載の３次元画像作成装置であ
る。

【００２０】また、第９の本発明（請求項９に対応）
は、前記光源が照明する方向は複数通りあり、前記２次
元画像は、それぞれの方向から照明された複数枚の２次
元画像であることを特徴とする第７の本発明に記載の３
次元画像作成装置である。

【００２１】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて図面を参照して説明する。

【００２２】（第１の実施の形態）図１、図２に本実施
の形態の３次元画像作成装置１の構成を示す。

【００２３】３次元画像作成装置１は、カメラの撮像方
向と光源の照明方向との関係と、その関係で撮像された
画像を読み取り、３次元画像を作成する装置である。

【００２４】撮像装置１９は、３次元画像作成装置１が
３次元画像を作成するための画像とカメラの撮像方向と
光源の照明方向との関係を示す撮像パラメータとを供給
する装置である。

【００２５】３次元画像作成装置１は、撮像パラメータ
格納手段６、画像格納手段７、領域分割手段８、オブジ
ェクト抽出手段９、奥行き再構成手段１０、ポリゴン生
成手段１１、レンダリング手段１３、表示手段１４、Ｇ
ＵＩ１５、レンダリングパラメータ設定手段１６、撮像
パラメータ設定手段１７、表示コントロール手段１８、
インターフェース３１から構成される。

【００２６】撮像パラメータ格納手段６は、カメラ２の
撮像方向と光源３の照明方向との関係を記述したパラメ
ータを格納する手段である。画像格納手段７は、撮像し
た画像を格納する手段である。

【００２７】領域分割手段８は、撮像した画像を小区画
に分割する手段である。

【００２８】オブジェクト抽出手段９は、分割した小区
画のうち、オブジェクトの画像を含む区画を抽出する手
段である。

【００２９】奥行き再構成手段１０は、それぞれの小区
画における輝度から、撮像パラメータ格納手段６に格納
されている撮像パラメータに基づいて、ぞれぞれの小区
画の３次元空間における傾きを算出し、それら小区画同
士の連続性を利用して、奥行きを再構成する手段であ
る。

【００３０】ポリゴン生成手段１１は、奥行きを再構成
したデータからポリゴンデータを生成する手段である。

【００３１】レンダリング手段１２は、ＣＧ用のカメラ
と光源データに従って、レンダリングし、ＣＧ画像を生
成する手段である。

【００３２】表示手段１４は、生成されたＣＧ画像を表
示する手段である。

【００３３】ＧＵＩ１５は、撮像パラメータ設定手段１
７、オブジェクト抽出手段９、レンダリングパラメータ
設定手段１６、表示コントロール手段１８を操作した
り、必要なデータを入力するためのグラフィックスユー
ザインターフェースである。

【００３４】レンダリングパラメータ設定手段１６は、
ＣＧ用カメラや光源などのパラメータを設定する手段で
ある。

【００３５】撮像パラメータ設定手段１７は、撮像装置
１９として、カメラ２として通常のカメラを使用し、光
源３としてストロボを利用した場合など、撮像パラメー
タが撮像装置１９から取得出来ない場合に、撮像パラメ
ータを設定する手段である。

【００３６】表示コントロール手段１８は、ＧＵＩ画面
と３次元画像を切り替えたり、ＧＵＩ画面をサブメニュ
ーに切り替えたり、表示をコントロールする手段であ
る。

【００３７】インターフェース３１は、撮像装置１９か
ら、撮影された画像と、撮像パラメータを読み取る手段
である。

【００３８】また、奥行き再構成手段１０は、最低輝度
検出手段２０、ピーク輝度区画選択手段２１、基準区画
選択手段２２、基準区画傾き推定手段２３、接続区画選
択手段２４、接続区画傾き推定手段２５、修正手段２６
から構成される。

【００３９】最低輝度検出手段２０は、画像の輝度のう
ち、環境光による寄与を求めるためにオブジェクトが含
まれる小区画の平均輝度が最も小さい小区画の輝度を検
出する手段である。

【００４０】ピーク輝度区画選択手段２１は、オブジェ
クトが含まれる小区画の平均輝度が最も大きい小区画を
選択する手段である。

【００４１】基準区画選択手段２２は、小区画の傾きを
推定するための基準となる小区画を選択する手段であ
る。

【００４２】基準区画傾き推定手段２３は、小区画の傾
きを推定するための基準となる小区画の傾きを推定する
手段である。

【００４３】接続区画選択手段２４は、基準となる小区
画に接続している小区画を選択する手段である。

【００４４】接続区画傾き選択手段２５は、小区画の連
続性を利用して、基準となる小区画に接続している小区
画の傾きを推定する手段である。

【００４５】修正手段２６は、推定された小区画の傾き
を修正する手段である。

【００４６】また、撮像装置１９は、カメラ２、光源
３、撮像制御手段４、メモリ３２から構成される。

【００４７】カメラ２は、オブジェクトをＣＣＤ素子に
よって撮像するディジタルカメラである。光源３は、オ
ブジェクトを照明するストロボである。撮像制御手段４
は、オブジェクトを撮像するように、カメラ２と光源３
を制御し、撮像した画像と撮像パラメータをメモリ３２
に記録し、３次元画像作成装置１に供給する手段であ
る。メモリ３２は、半導体メモリである。

【００４８】モニタ５は、３次元画像作成装置が作成し
た３次元画像をディスプレイに表示する装置である。

【００４９】なお、本実施の形態の奥行き再構成手段１
０は本発明の傾き算出手段の例であり、本実施の形態の
奥行き再構成手段１０、ポリゴン生成手段１１、レンダ
リング手段１２は本発明の３次元画像生成手段の例であ
る。さらに本実施の形態の撮像パラメータは本発明の所
定の３次元空間における、撮像手段が撮像する方向と光
源が照明する方向との関係の例である。

【００５０】次に、このような本実施の形態の動作を説
明する。

【００５１】まず、撮像装置１９の撮像制御手段４が、
光源３とカメラ２を制御して、オブジェクトを撮像す
る。そして、撮像された画像をメモリ３２に記録する。
同時に、撮像制御手段４は、カメラ２の撮像方向と光源
３の照明方向を撮像パラメータとしてメモリ３２に記録
する。

【００５２】図３に、撮像パラメータを示す。撮像パラ
メータは、カメラ２がオブジェクトを撮像した方向であ
る撮像方向２７と光源がオブジェクトを照明した方向で
ある照明方向２８から構成される。撮像方向２８と照明
方向２７はそれぞれ３次元ベクトルで表記される。本実
施の形態では、撮像方向２８と照明方向２７が同一向き
であるとする。すなわち撮像方向２８を表すベクトルと
照明方向２７を表すベクトルの向きが同一である。

【００５３】また、図４にカメラ２で撮像されたオブジ
ェクトを示す。図４から明らかなようにオブジェクトは
球体であるとする。

【００５４】さて、インターフェース３１は、撮像装置
１９から、図３に示す撮像パラメータを読み取り、撮像
パラメータ格納手段６に記録する。また、同時に図４に
示すオブジェクトが撮影されている画像を、撮像装置１
９から読み取り、画像格納手段７に記録する。

【００５５】次に、領域分割手段８は、画像格納手段７
に格納されている画像を小区画に分割する。図５の
（ａ）は、画像格納手段７に格納されている画像の表示
例である。中央にオブジェクトである球体が撮影されて
いるのがわかる。図５の（ｂ）は、この画像を小区画に
分割した例である。本実施の形態では、各小区画の大き
さは同一であるとする。

【００５６】図５の（ｂ）では、画像上に、画像の左下
端を原点とし、右向きにＸ軸、上向きにＹ軸をとった座
標系が設定されている。これは、後述する奥行き再構成
手段１０がオブジェクトの奥行きを再構成する際に用い
る座標系である。この座標系については後述する。

【００５７】オブジェクト抽出手段９は、各小区画のう
ち、オブジェクトが撮影されている領域を含む小区画を
抽出する。抽出した小区画を図６に示す。図６では、斜
線が付されている部分がオブジェクト抽出手段９が抽出
した小区画である。

【００５８】奥行き再構成手段１０は、撮像パラメータ
と各小区画が連続していることを利用して、画像の各小
区画の輝度から奥行きを再構成する。

【００５９】このような奥行き再構成手段１０の動作を
説明する前に、奥行き再構成手段１０が前提とする仮定
について若干の説明を行う。

【００６０】光源から出た光は、物体にあたって反射や
透過した後、観察者の目に入る。このように目に入る光
を、コンピュータグラフィックス（以下ＣＧと記す）の
分野では、次の３種類に分類してモデル化しているもの
が多い。

【００６１】すなわち、環境光（ａｍｂｉｅｎｔｌｉ
ｇｈｔ）、反射光、透過光である。環境光は、周囲の環
境による散乱光、周囲の物体による相互反射によって生
じる間接光である。反射光は、拡散反射（ｄｉｆｆｕｓ
ｅｒｅｆｌｅｃｔｉｏｎ）光、鏡面反射（ｓｐｅｃｕ
ｌａｒｒｅｆｌｅｃｔｉｏｎ）の２種類に分類され
る。拡散反射光は、白墨、紙などのように光沢のない面
で反射した光であり、多くの方向にほぼ一応に反射する
とみなせる反射光である。また、鏡面反射光は、入射光
と反射光の角度が等しいものである。よく磨かれた壺な
どが光源によって照らされた場合、鏡面反射によって壺
の一部に光源の色そのものであるハイライトがつく。ま
た、透過光は、ガラスなどの透明な物体を通過してきた
光である。

【００６２】本実施の形態では、透明でないオブジェク
トを扱うので、透過光は考慮する必要がない。従って、
撮像した画像に映っているオブジェクトのそれぞれの面
の輝度は、それぞれの面から観察者の目に入る環境光、
拡散反射光、鏡面反射光の強さの和によって決まる。

【００６３】オブジェクトの１点での反射光の強さを、
環境光、拡散反射光、鏡面反射光の３つの要素によって
表すと、次に示す数１のようになる。

【００６４】

【数１】

【００６５】図７に数１で示す変数の意味を示す。

【００６６】本実施の形態の奥行き再構成手段１０は、
数１に従って面の輝度が決まるという仮定に基づいてオ
ブジェクトの奥行きを再構成する。さらに、入射光の強
度Ｉ _inはオブジェクトの表面で一定である仮定する。ま
た、面の拡散反射率Ｒ_dと面の光沢の程度を示す数ｎ
は、オブジェクトの光学的性質によって決まるパラメー
タであるが、本実施の形態では、適当な値を仮定して使
用する。例えば、Ｒ_dを０．８と仮定し、ｎを１０と仮
定する。また、環境光による項Ｒ_aＩ_aは、定数である。
さらに、鏡面反射率Ｗ（α）は、実際はαの関数である
が、定数と仮定する。例えば、Ｗ（α）を０．１と仮定
する。すなわち、図４に示すオブジェクトの光学的性質
は一様であると仮定する。さらに、入射光の強度Ｉ
_inは、小区画の平均輝度から決定する。

【００６７】また、図５の（ｂ）に示したように、画像
の左下端を原点とし、右向きにＸ軸、上向きにＹ軸、紙
面と直交し上向きにＺ軸をとった座標系が設定されてい
る。奥行き再構成手段１０は、この座標系を利用して、
オブジェクトの奥行きを再構成する。ここで、図８に示
すように、４つの小区画が交わる点を頂点と呼ぶことに
する。そうすると、各小区画の頂点のＸ座標とＹ座標
は、領域分割手段８が画像を小区画に分割した時点で、
小区画の分割数に応じて一意に決まる。

【００６８】以上の仮定に基づいて、奥行き再構成手段
１０は、各小区画の奥行きを再構成する。すなわち、各
頂点のＺ座標を決定する。

【００６９】まず、奥行き再構成手段１０の最低輝度検
出手段２０は、オブジェクトが含まれる各小区画の平均
輝度のうち、もっとも値が小さい平均輝度を検出する。
そして、この輝度値を数１の環境光の寄与Ｒ_aＩ_aである
と仮定する。

【００７０】次に、ピーク輝度区画選択手段２１は、オ
ブジェクトが含まれる各小区画の平均輝度が、最も大き
い小区画を選択する。

【００７１】基準区画選択手段２２は、ピーク輝度区画
選択手段２１で、選択された小区画を図９に示すように
奥行きを再構成するための基準とする基準小区画４０と
する。

【００７２】基準区画傾き推定手段２３は、撮像パラメ
ータ格納手段６から撮像パラメータを読み込む。撮像パ
ラメータには、図３に示したように、照明方向２７を示
す３次元ベクトルと撮像方向２８を示す３次元ベクトル
が記載されている。この３次元ベクトルから、図７に示
す、光源方向を向く単位ベクトルＬと視点方向を向く単
位ベクトルＶを知ることが出来る。

【００７３】本実施の形態では、照明方向２７と撮像方
向２８が同一方向であるので、ベクトルＬとベクトルＶ
は同一方向になる。

【００７４】図７において、現在の基準小区画の面の傾
きは、最大の輝度を与えるような傾きであるので、面の
傾きを表す単位ベクトルＮは、視点方向を表すベクトル
Ｖ及び光源方向を表すベクトルＬと同一方向を向いてい
ることがわかる。すなわち、基準小区画の面の傾きは、
αが零であり、γも零である場合である。

【００７５】従って、基準小区画４０の周囲にある４つ
の頂点４３ａ〜ｄのＺ座標は、等しい値をとる。この４
つの頂点のＺ座標を０とおく。

【００７６】さらに、数１において、αとγを零とお
き、Ｒ_aＩ_aを、最低輝度算出手段２０で求めた輝度と
し、基準小区画４０の輝度をＩとして、入射光の強度Ｉ
_inを求める。

【００７７】接続区画選択手段２４は、図９に示すよう
に、基準小区画４０に隣接する８個の小区画を選択す
る。この８個の小区画のことを接続小区画４１と呼ぶこ
とにする。

【００７８】接続区画傾き推定手段２５は、図９に示す
ように、１２個のＺ座標が未知である頂点４２ａ〜ｌの
Ｚ座標を推定する。この推定は以下のようにして行う。

【００７９】すなわち、８つの接続小区画４１の平均輝
度を求める。そして、１２個のＺ座標が未知である頂点
４２ａ〜ｌのＺ座標が以下の条件を満たすように推定す
る。

【００８０】頂点４２ａ〜ｌと基準小区画４０の周囲の
４つの頂点４３ａ〜ｄから、各接続小区画４１の平均単
位法線ベクトルを求める。ただし、頂点４２ａ〜ｄのＺ
座標は０とする。

【００８１】平均単位法線ベクトルＮは、次の数２を用
いて求める。

【００８２】

【数２】

【００８３】ただし、数２において、ベクトルＰ_iは、
図１０に示すように１つの頂点から次の頂点に向かうベ
クトルである。

【００８４】このようにして求めた平均単位法線ベクト
ルを面の単位法線ベクトルとして、数１を用いて、強度
Ｉを計算する。ただし、環境光Ｒ_aＩ_aの項として、最低
輝度算出手段２０で求めた輝度を使い、入射光の強度Ｉ
_inは、基準区画傾き推定手段２３で求めた値を使う。さ
らに、Ｒ_d、ｎ、Ｗ（α）については、予め仮定した値
を使用する。このようにして求めた強度Ｉが各接続小区
画４１の平均輝度と等しくなるように、頂点４２ａ〜ｌ
のＺ座標を決定する。

【００８５】ところが、決定すべきＺ座標は１２個あ
る。すなわち未知数は１２個である。これに対して、こ
の未知数が満足すべき条件は、８個しかなく、さらに、
数１で強度Ｉをとるような面の傾きは一意に決まらな
い。従って、一意にＺ座標を決定することは出来ない。
そこで、上述した条件をみたすような、頂点４２ａ〜ｌ
の一組のＺ座標を仮に決める。

【００８６】修正手段２６は、仮に決めた頂点４２ａ〜
ｌのＺ座標で小区画の平均輝度と入射光の強度との値が
大幅に違うかどうかをチェックする。大幅に違う場合、
その小区画の周囲の４つの頂点のＺ座標の値が決定して
いないものとする。

【００８７】基準区画選択手段２２は、周囲の頂点の座
標が決まっている接続小区画４１のうちのいずれかを基
準小区画４０として選択する。

【００８８】次に、接続区画選択手段２４は、基準小区
画４０の８つの接続小区画４１を選択する。

【００８９】接続区画傾き推定手段２５は、前述したよ
うに、接続小区画４１の平均輝度が数１から求まる入射
光強度に等しくなるように、頂点４２ａ〜ｌのＺ座標を
決定する。ただし、Ｚ座標がすでに決定している頂点に
ついては、決定済みの値を採用する。

【００９０】修正手段２６は、仮に決めた頂点４２ａ〜
ｌのＺ座標で小区画の平均輝度と入射光の強度との値が
大幅に違うかどうかをチェックする。大幅に違う場合、
その小区画の周囲の４つの頂点のＺ座標の値が決定して
いないものとする。ただし、ピーク輝度区画選択手段２
１で選択した小区画の周囲の４つの頂点の座標は固定
し、決定しているとする。

【００９１】そして基準区画選択手段２２は、同様の処
理を行って、頂点のＺ座標を決定する。

【００９２】以上の処理を繰り返して、頂点のＺ座標を
再構成する。

【００９３】また、修正手段２６は、以上の繰り返し処
理の終了判定を行う。すなわち、修正手段２６は、全て
の頂点のＺ座標が決定した場合、ポリゴン生成手段１１
にＺ座標を出力して、処理をポリゴン生成手段１１に移
す。また小区画のいずれかが５０回以上接続小区画とし
て処理されても頂点のＺ座標が決定しない場合は、決定
した頂点のＺ座標の値を外挿し、決定しなかった頂点の
Ｚ座標の値とする。そして、ポリゴン生成手段１１にＺ
座標を出力して、処理をポリゴン生成手段１１に移す。

【００９４】次に、ポリゴン生成手段１１は、このよう
にして求まった各頂点のＺ座標を利用してポリゴンデー
タを生成する。図１１は、オブジェクトの外側から視た
場合の一つの小区画のポリゴンデータの例を示す。小区
画の各頂点のＸ座標とＹ座標に、奥行き再構成手段１０
で求めたＺ座標を追加し、頂点の３次元座標を得る。図
１１では、頂点の座標をＱ１、Ｑ２、Ｑ３、Ｑ４など３
次元ベクトルで表しており、オブジェクトを外側から視
て、反時計回りの順番に並べる。さらに各頂点における
オブジェクトの外部へ向く外向き単位法線ベクトルを求
める。頂点は４つの小区画によって囲まれ、この４つの
小区画の外向き単位法線ベクトルの平均を頂点の外向き
法線ベクトルとする。図１１では、頂点の外向き単位法
線ベクトルは、ｎ１、ｎ２、ｎ３、ｎ４など３次元単位
ベクトルで表されており、オブジェクトを外側から視
て、反時計回りの順番に並べる。すなわち、頂点の座標
として、Ｑ１、Ｑ２、Ｑ３、Ｑ４をこの順に並べ、さら
に、外向き単位法線ベクトルをｎ１、ｎ２、ｎ３、ｎ４
の順に並べたものが一つの小区画のポリゴンデータであ
る。このようなポリゴンデータを全ての小区画について
作成する。

【００９５】次に、レンダリング手段１３は、ポリゴン
データ、それから後述するレンダリング時に参照するパ
ラメータを入力し、レンダリングパラメータ設定手段１
６で設定されたレンダリング時に参照するパラメータに
従って、レンダリング（色付け計算）を行い、３次元Ｃ
Ｇ画像を生成する。レンダリング時に参照するパラメー
タとは、ＣＧ用のカメラの位置と向き、光源の位置と向
きと強度、オブジェクトの反射率の情報である。このレ
ンダリングパラメータに基づいて、ポリゴンデータに透
視変換を施し、表示画面上の座標に変換したのち、ポリ
ゴンデータの各頂点で陰影付け（シェーディング）計算
を行うとともに、ポリゴンデータをスキャンコンバージ
ョンし、３次元ＣＧ画像を得る。

【００９６】上述したレンダリング手段１３の処理を高
速に行うハードウェアを近年安価に利用出来るようにな
ったきた。例えば１秒間に数１０万〜数１００万ポリゴ
ンをレンダリングするようなハードウェアでも安価に利
用することが出来る。従って、このようなハードウェア
を利用すれば開発コストを低減することが出来る。

【００９７】表示手段１４は、３次元ＣＧ画像をモニタ
５に表示する。表示の方法としては、２次元画像として
表示することも出来るし、従来の技術で説明したよう
に、両眼視差を利用した３次元表示も行うことが出来
る。両眼視差を利用した３次元表示を行う場合には、右
目用の画像と左目用の画像を生成する。右目用の画像を
生成する場合は、ＣＧ用のカメラの位置を右眼に対応す
る位置まで移動させて、画像を生成し、左目用の画像を
生成する場合は、ＣＧ用のカメラの位置を左目に対応す
る位置まで移動させれば簡単に右目用と左目用の画像が
生成出来る。

【００９８】利用者がＧＵＩを用いて、レンダリング時
に参照するパラメータのうちカメラの位置と向きを変更
すると、モニタ５に表示されている３次元画像内のオブ
ジェクトを任意の視点から観察することが出来る。ま
た、オブジェクトに平行移動、回転などの処理を施すこ
とも出来る。

【００９９】また、奥行き再構成手段１０が再構成した
奥行きには、誤った奥行きを再構成する場合がある。例
えば、図４のように、オブジェクトが球体である場合、
空間再構成手段１０が再構成した奥行きが、球上に凹ん
だ形状として再現される場合がある。このような場合、
モニタ５に表示されているオブジェクトのポリゴンデー
タをＧＵＩ１５を操作することによって、修正すること
が出来る。ポリゴン生成手段１１は、このように、ポリ
ゴンデータを修正することが出来る。

【０１００】このようにすれば、奥行き感のある３次元
画像を生成すること出来、しかも視点を変更して、３次
元画像中のオブジェクトを観察することが出来る。

【０１０１】なお、本実施の形態では、３次元画像を作
成するための画像を入力するために専用の撮像装置９を
用いたが、これにかぎらない。専用の装置を用いず、市
販されているディジタルカメラとストロボを用いて撮影
しても構わない。この場合、インターフェース３１は、
半導体メモリまたはディジタルカメラから撮像した画像
を読み取るインターフェースとして機能する。また、こ
の場合、撮像パラメータは、ＧＵＩ１５の画面を利用し
て、撮像パラメータ設定手段１７が設定する。

【０１０２】さらに、本実施の形態では、撮像されたオ
ブジェクトは球体であるとして説明したが、これに限ら
ない。球体以外の形状でも構わない。ただし、オブジェ
クトが球体以外の形状である場合には、ピーク輝度区画
選択手段２１で選択される小区画が複数個になる。この
複数個の小区画に対して本実施の形態で説明した処理を
適用すればよい。

【０１０３】さらに、本実施の形態では、入射光の強度
を計算するのに、環境光、拡散光、鏡面光を考慮したが
これに限らない。鏡面光を無視しても構わない。この場
合、入射光の強度は、光線方向と面の傾きのみに依存
し、視点方向に依存しない。従って、表面に光沢のない
オブジェクトを撮影した場合、視点方向が未知であって
も、３次元画像を作成することが出来る。

【０１０４】さらに、本実施の形態では、ポリゴンデー
タとして図１１のような構成のデータを作成したが、こ
れに限らない。頂点が時計回りに並べられていても構わ
ない。また、４角形メッシュまたは３角形メッシュとし
ても構わない。要するに、レンダリング手段１３がレン
ダリング出来るデータ形式でありさえすればよい。

【０１０５】（第２の実施の形態）次に第２の実施の形
態について説明する。

【０１０６】本実施の形態では、カメラの撮像方向を固
定したまま、それぞれ別の方向から照明した２枚の画像
を用いて３次元画像を生成する場合について説明する。

【０１０７】本実施の形態の構成は、第１の実施の形態
と同一であるので、記述を省略する。

【０１０８】次にこのような本実施の形態の動作を第１
の実施の形態との相違点を中心に説明する。

【０１０９】本実施の形態では、撮像パラメータ格納手
段６に２枚の画像の撮像パラメータが格納される。ま
た、画像格納手段７にも２枚の画像が格納される。

【０１１０】すなわち、図１２の（ａ）に示す撮像パラ
メータと（ｂ）に示す撮像パラメータでオブジェクトが
撮像される。図１２の（ａ）の撮像パラメータは第１の
実施の形態と同一の撮像パラメータである。

【０１１１】奥行き再構成手段１０は、図１２の（ａ）
の場合と図１２の（ｂ）の場合と同時に各小区画の平均
輝度と数１の強度Ｉが等しくなるという条件で頂点のＺ
座標を推定する。ただし、最低輝度検出手段２０、ピー
ク輝度区画選択手段２１は、図１２の（ａ）の場合の画
像を利用して第１の実施の形態と同様に行う。

【０１１２】このようにすれば、第１の実施の形態で説
明したような、空間再構成手段１０が、オブジェクトの
凹と凸を誤って再構成する場合が減少する。

【０１１３】なお、本実施の形態では、２つの方向から
照明した２枚の画像を用いて３次元画像を作成したが、
これに限らない。３つ、４つなど、要するに複数の個数
の方向から撮影した複数の画像を用いて３次元画像を作
成しさえすればよい。

【０１１４】（第３の実施の形態）次に第３の実施の形
態について説明する。

【０１１５】第１の実施の形態では、オブジェクトの面
の反射率が一様であるとして説明したが、本実施の形態
ではオブジェクトの面の反射率が変化している場合につ
いて説明する。

【０１１６】図１３は、本実施の形態の３次元画像作成
装置の構成を示すブロック図である。

【０１１７】本実施の形態の３次元画像作成装置５５
は、第１の実施の形態の３次元画像作成装置１に加え
て、輝度調整手段５４を備えている。それ以外は、第１
の実施の形態と同一である。

【０１１８】輝度調整手段５４は、オブジェクトのある
部分が平面であることが予め解っている場合に、小区画
の輝度が変化していても、その小区画の輝度が一定にな
るように調整する手段である。

【０１１９】次にこのような本実施の形態の動作を第１
の実施の形態との相違点を中心に説明する。

【０１２０】第１の実施の形態と同様にして、領域分割
手段８が画像を小区画に分割する。

【０１２１】このとき、輝度調整手段５４は、画像を画
像格納手段７から読み取り、さらに、表示手段１４は、
小区画に分割したデータを輝度調整手段８から読み取
り、画像の上に小区画のパターンを重ね合わせて表示す
る。

【０１２２】ＧＵＩ１５は、モニタに表示されている小
区画のパターンと画像のうち、同一平面であるにもかか
わらず、輝度が変化している領域を指示する。

【０１２３】輝度調整手段５４は、指示された領域内の
画素全ての平均値を算出し、指示された領域内の画素の
輝度をこの平均値に書き替える。

【０１２４】この処理によって、指示された領域の境界
付近で、領域の内部と外部とで、輝度が不連続になる場
合がある。従って、輝度調整手段５４は、境界付近で輝
度が不連続になった部分にスムージング処理を施し、輝
度の変化がなめらかになるようにする。

【０１２５】このように、輝度調整された画像を用い
て、３次元画像を作成する。３次元画像を作成する動作
は、第１または第２の実施の形態と同一である。

【０１２６】本実施の形態によれば、オブジェクトが平
面であるにもかかわらず、オブジェクトの輝度が変化し
ている部分も奥行きを再構成することが出来る。

【０１２７】（第４の実施の形態）次に、第４の実施の
形態について説明する。

【０１２８】本実施の形態では、図１の領域分割手段
８、オブジェクト抽出手段９、奥行き再構成手段１０の
処理を第１の実施の形態とは別の方法で行う場合につい
て説明する。

【０１２９】本実施の形態の３次元画像作成装置１の構
成は第１の実施の形態と同一である。

【０１３０】次に、このような本実施の形態の動作を第
１の実施の形態との相違点を中心に説明する。

【０１３１】領域分割手段８は、画像格納手段７に格納
されている画像を小区画に分割する。図５の（ａ）は、
画像格納手段７に格納されている画像の表示例である。
中央にオブジェクトである球体が撮影されているのがわ
かる。図５の（ｂ）は、この画像を小区画に分割した例
である。本実施の形態では、各小区画の大きさは同一で
あるとする。

【０１３２】さらに、図５の（ｂ）の小区画のうち、小
区画に含まれる画素の輝度の最大値と小区画に含まれる
画素の輝度の最小値の差が、所定の閾値より大きい小区
画を４つの小区画に細分する。所定の閾値より大きくな
い小区画についてはそれ以上細分せず、そのままにして
おく。このような細分を繰り返し行うと、小区画は図１
５のような４進木表現となる。

【０１３３】オブジェクト抽出手段９は、各小区画のう
ち、オブジェクトが撮影されている領域を含む小区画を
抽出する。図１４のように小区画に背景とオブジェクト
の両方が含まれている部分については、オブジェクトが
撮影されている小区画とする。

【０１３４】奥行き再構成手段１０は、撮像パラメータ
と各小区画が連続していることを利用して、画像の各小
区画の輝度から奥行きを再構成する。

【０１３５】第１の実施の形態と異なり、各小区画の輝
度の平均値が直接奥行きを表しているとして奥行きを再
構成する。

【０１３６】すなわち、図１６のように小区画の輝度の
値が大きいものほど手前にあるとして奥行き情報を再現
する。

【０１３７】これ以外の動作は第１の実施の形態と同一
である。

【０１３８】このように本実施の形態によれば小区画を
４進木表現で表し、さらに輝度が直接奥行き情報を表し
ているとして処理を行ったので、ポリゴン数を少なくす
ることが出来、容易な処理で３次元画像を作成すること
が出来る。

【０１３９】ただし、このように、輝度が直接奥行き情
報を表しているとして奥行き情報を再構成すると、凹凸
が逆になる場合がある。このような場合は、ＧＵＩ１５
を用いて生成したポリゴンデータの凹凸を修正する。

【０１４０】なお、本発明の３次元画像作成装置の全部
または一部の手段の全部または一部の機能をコンピュー
タのプログラムによってソフトウェア的に実現しても構
わないし、ハードウェアによって実現しても構わない。

【０１４１】さらに、本発明の３次元画像作成方法の全
部または一部のステップの全部または一部の動作をコン
ピュータのプログラムによってソフトウェア的に実現し
ても構わないし、ハードウェアによって実現しても構わ
ない。

【０１４２】さらに、本発明の３次元画像作成装置の全
部または一部の手段の全部または一部の機能をコンピュ
ータにより実行させるためのプログラムを記録したこと
を特徴とするプログラム記録媒体も本発明に属する。

【０１４３】さらに、本発明の３次元画像作成方の全部
または一部のステップの全部または一部の動作をコンピ
ュータにより実行させるためのプログラムを記録したこ
とを特徴とするプログラム記録媒体も本発明に属する。

【０１４４】

【発明の効果】以上説明したところから明らかなよう
に、本発明は、手軽にオブジェクトを撮影しただけで、
３次元画像を作成することが出来る３次元画像作成方
法、３次元画像作成装置及びプログラム記録媒体を提供
することが出来る。

【０１４５】また、本発明は、撮影に要する装置を準備
するのコストがかからない３次元画像作成方法、３次元
画像作成装置及びプログラム記録媒体を提供することが
出来る。

【図面の簡単な説明】

【図１】本発明の第１及び第２の実施の形態における３
次元画像作成装置の構成を示すブロック図

【図２】本発明の第１及び第２の実施の形態における３
次元画像作成装置の奥行き再構成手段の構成を示すブロ
ック図

【図３】本発明の第１の実施の形態における撮像パラメ
ータの例を示す図

【図４】本発明の第１及び第２の実施の形態におけるオ
ブジェクトの例を示す図

【図５】（ａ）本発明の第１及び第２の実施の形態にお
ける画像格納手段に格納されている画像の表示例を示す
図（ｂ）本発明の第１及び第２の実施の形態における領域
分割手段が画像を分割し、生成した小区画を示す図

【図６】本発明の第１及び第２の実施の形態におけるオ
ブジェクト抽出手段がオブジェクトが占める小区画を抽
出した図

【図７】本発明の第１及び第２の実施の形態における光
源の方向と面の傾きと視点方向の関係を示す図

【図８】本発明の第１及び第２の実施の形態における頂
点の定義を説明する図

【図９】本発明の第１及び第２の実施の形態における接
続区画傾き推定手段が頂点のＺ座標を推定する際の小区
画と頂点の配置を示す図

【図１０】本発明の第１及び第２の実施の形態における
小区画の単位外向き法線ベクトルを求めるための配置を
示す図

【図１１】本発明の第１及び第２の実施の形態における
ポリゴン生成手段が生成するポリゴンデータを説明する
図

【図１２】（ａ）本発明の第２の実施の形態における撮
像パラメータの例を示す図（ｂ）本発明の第２の実施の形態におけるもう一つの撮
像パラメータの例を示す図

【図１３】本発明の第３の実施の形態における３次元画
像作成装置の構成を示すブロック図

【図１４】本発明の第４の実施の形態における小区画に
オブジェクトと背景が含まれている場合の例を示す図

【図１５】本発明の第４の実施の形態における小区画の
４進木表現の例を示す図

【図１６】本発明の第４の実施の形態における小区画の
輝度の平均から奥行きを再構成する例を示す図

【符号の説明】

１３次元画像作成装置２カメラ３光源４撮像制御手段５モニタ６撮像パラメータ格納手段７画像格納手段８領域分割手段９オブジェクト抽出手段１０奥行き再構成手段１１ポリゴン生成手段１３レンダリング手段１４表示手段１５ＧＵＩ１６レンダリングパラメータ設定手段１７撮像パラメータ設定手段１８表示コントロール手段１９撮像装置２０最低輝度検出手段２１ピーク輝度区画選択手段２２基準区画選択手段２３基準区画傾き推定手段２４接続区画選択手段２５接続区画傾き推定手段２６修正手段４０基準小区画４１接続小区画４２ａ〜ｌＺ座標が未知である頂点４３ａ〜ｄ基準小区画の周囲の頂点５４輝度調整手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者浜本康男大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者齋藤浩大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 2H059 AA08 AA18 5B050 BA04 BA09 DA02 EA07 EA28 FA06 5B057 BA02 BA17 CA08 CA12 CA16 CB08 CB13 CB17 CC04 DA08 DA17 DB02 DB09 DC14 DC22 5B080 AA13 GA02 GA06 5L096 AA06 AA09 BA08 CA03 CA17 DA02 EA12 FA19 FA72 GA19 GA34 GA41

Claims

【特許請求の範囲】

【請求項１】所定の３次元空間における、撮像手段が
撮像する方向と光源が照明する方向との関係が解ってい
る場合に、その撮像手段がオブジェクトを撮影した２次
元画像からそのオブジェクトの３次元画像を作成する３
次元画像作成方法であって、前記撮影した、前記オブジェクトの２次元画像を小区画
に分割し、それぞれの小区画における輝度から、前記関
係に基づいて、前記３次元空間における傾きを算出し、
それら小区画同士の連続性を利用して、前記オブジェク
トの３次元画像を得ることを特徴とする３次元画像作成
方法。
【請求項２】前記オブジェクトのある部分が平面であ
ることが予め解っている場合に、前記小区画の輝度が変
化していても、前記小区画の輝度が一定になるように調
整することを特徴とする請求項１記載の３次元画像作成
方法。
【請求項３】前記光源が照明する方向は、１つである
ことを特徴とする請求項１または２記載の３次元画像作
成方法。
【請求項４】前記光源が照明する方向は、前記撮像手
段が撮影する方向と同一方向であることを特徴とする請
求項３記載の３次元画像作成方法。
【請求項５】前記光源が照明する方向は複数通りあ
り、前記２次元画像は、それぞれの方向から照明された
複数枚の２次元画像であることを特徴とする請求項１ま
たは２に記載の３次元画像作成方法。
【請求項６】請求項１〜５のいずれかに記載の３次元
画像作成方法の全部または一部のステップの全部または
一部の動作をコンピュータで実行させるためのプログラ
ムを格納していることを特徴とするプログラム記録媒
体。
【請求項７】所定の３次元空間における、撮像手段が
撮像する方向と光源が照明する方向との関係が解ってい
る場合に、その撮像手段がオブジェクトを撮影した２次
元画像からそのオブジェクトの３次元画像を作成する３
次元画像作成装置であって、前記撮影した、前記オブジェクトの２次元画像を小区画
に分割する領域分割手段と、それぞれの小区画における輝度から、前記関係に基づい
て、前記それぞれの小区画の、前記３次元空間における
傾きを算出する傾き算出手段と、前記算出されたそれぞれの小区画における傾きとそれら
小区画同士の連続性を利用して、前記オブジェクトの３
次元画像を作成する３次元画像作成手段とを備えたこと
を特徴とする３次元画像作成装置。
【請求項８】前記光源が照明する方向は、１つである
ことを特徴とする請求項７記載の３次元画像作成装置。
【請求項９】前記光源が照明する方向は複数通りあ
り、前記２次元画像は、それぞれの方向から照明された
複数枚の２次元画像であることを特徴とする請求項７記
載の３次元画像作成装置。