JP2004531822A

JP2004531822A - 物体をデジタル化するための装置及び方法

Info

Publication number: JP2004531822A
Application number: JP2002589096A
Authority: JP
Inventors: デルウェイ，ヘンドリクスハーエムファン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-05-17
Filing date: 2002-05-15
Publication date: 2004-10-14
Also published as: KR20030029624A; WO2002092180A3; EP1433139A2; DE60220072D1; ATE362151T1; WO2002092180A2; EP1433139B1; US20040156557A1

Abstract

本発明は物体をデジタル化する方法に関する。この方法によると、物体の形状および色のみならず透明性をもキャプチャすることが可能である。これは物体のバックライト照明を制御しながら複数のスナップショットを撮ることによって実現される。また、本発明の具体的な実施形態の一例においては、画像をキャプチャするためのカメラおよびバックライト照明を制御するためのＬＣＤ画面が用いられる。

Description

【技術分野】
【０００１】
本発明は物体をデジタル化する方法に関し、さらに物体をデジタル化する装置に関する。また、本発明はコンピュータ・プログラム製品にも関する。
【背景技術】
【０００２】
現代のコンピュータ技術の躍進に伴い、さまざまな物体がコンピュータによりデジタル化可能になっている。例えば写真はスキャナによってデジタル化されることが可能であり、また物体がデジタル・フォト・カメラによって直接撮影されることも可能である。さらに進んだ物体のデジタル化技術としては、視覚上の様相以外に、透明性、内部構造、テクスチャなどの特性をデジタル化する技術などがある。例えば医療分野においては、人体の複数の断面層をデジタル化して病気の検査をする技術などが知られている。ここでは１つの特定の方向から１つの写真を撮るのではなく、複数の方向から物体を撮影することが可能であり、これがコンピュータ上で３次元物体として表現されることが可能である。
【０００３】
一度デジタル化されると、この物体のデジタル表現はコンピュータ画面上に表示されるか、あるいはその他の方法で処理されることができる。例えば完全な３次元デジタル表現が得られる場合、ユーザによって操作可能な完全なバーチャル世界が作成可能である。このようなバーチャル空間はコンピュータ・ゲームなどに多く適用される。
【０００４】
さらに物体の形状および色を判定するために物体がある空間において撮られたスナップショットとその物体が含まれない同一空間のスナップショットとを比較する技術が知られている。これらのスナップショットを相互に比較することにより、この物体の妥当な再構築が可能である。しかしこの再構築の精度は背景画像および物体の形状によって大きく変動する。例えば、背景画像と物体の色が同一である場合、背景と物体の分離は困難であり、場合によっては不可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上述の方法および装置を改善することを課題とする。
【課題を解決するための手段】
【０００６】
この目的を達成するために本発明による方法は、第１背景で物体の第１スナップショットを撮り、第２の背景で該物体の第２スナップショットを撮り、第１背景および第２背景における対応ピクセル間から背景の差を判定し、第１スナップショットおよび第２スナップショットにおける対応ピクセル間の差が前記背景の差よりも小さいピクセルを識別する工程を含む。ここではそれぞれ異なる背景で物体のスナップショットを連続して撮る。ここで得られた背景の異なるスナップショットにおいてこの物体の部分は不変部分となる。この２つの背景においてそれぞれ対応する位置のピクセル値を比較することにより、すべての対応ピクセル間の背景の差が確定され、背景の差のマトリックスが得られる。次にこの２つのスナップショットが比較され、これらのスナップショットにおける特定位置での対応ピクセル間の差がこの特定位置の背景の差よりも小さい場合この対応ピクセルの対は前景の物体部分に属すると判定される。理想的な状況においては、いずれのスナップショットにおいても物体が背景を覆うためここでの対応ピクセル間の差はゼロであり、背景部分のピクセル値のみが変化する。さらに本発明による方法は、以下に説明するように（半）透明の物体のキャプチャに適用することが可能である。
【０００７】
好適な実施形態においては第１背景および第２背景はそれぞれ均一な色であり、さらにこのそれぞれ異なる２色は、白と黒など相互に大きく異なる色である。これにより上述の背景の差は背景部分全体にわたって比較的大きい値で一定に保たれる。その結果物体部分に属するピクセルの確定が容易になり、より信頼性が高くなる。
【０００８】
さらに好適な実施形態においては、上述の背景はディスプレイ画面によって提供される。これによりこの処理全体がコンピュータの制御によって好適に実施されることが可能であり、背景を変化させるために高額で信頼性の低い機械的構成部を用いる必要がない。
【０００９】
さらに発展した実施形態におい上述の方法は、第１スナップショットおよび第２スナップショットにおける対応ピクセル間の前景の差と背景の差との比率を判定し、前記比率を透明性の表示に用いて前記物体の透明性を判定する工程をさらに含む。物体が透明部分を有する場合、２つの背景における対応ピクセル間の差および物体の透明性に応じて２つのスナップショット内の物体部分に属する対応ピクセル間に差が生じる。物体部分の透明性が高い場合、２つのスナップショットにおいてこの物体部分に対応するピクセル間の差は、これに対応する位置での背景の差に近似する。逆に物体部分の透明性が低いかあるいは物体部分が不透明である場合、２つのスナップショットにおいてこの物体部分に対応するピクセル間の差はゼロに近似する。
【００１０】
また、更なる実施形態において、上述の方法は所定の閾値以下の透明度の値をゼロ・パーセント値にマッピングする工程及び／又は所定の閾値以上の透明度の値を百パーセント値にマッピングする工程を含む。ノイズは画像をキャプチャする際に必ず生じる。この対処法として透明性の最低レベル及び／又は不透明性の最高レベルに閾値が設定される。例えば透明性閾値が９０％に設定された場合、透明性が９０％以上であると判定されたすべてのピクセルが完全に透明であるとみなされ、背景の一部と認定される。
【００１１】
また、ある実施形態による方法はディスプレイ画面に更なる画像を表示してユーザが前記物体を前記更なる画像内に配置することを可能にし、前記物体をデジタル化し、デジタル化された物体の画像を前記更なる画像において対応する位置に挿入する工程をさらに含む。これによって更なる画像内に物体のデジタル画像を挿入する好適な方法が実現される。また、好ましくは、ディスプレイ画面は水平に実装される。そして上述の更なる画像が水平のディスプレイ画面に表示されると、ユーザは物体を所望の位置および所望の方向に配置するだけで済む。続いて本発明による方法が物体をデジタル化するために適用される。つまり背景が一時的にそれぞれ第１及び第２背景に変更された中でスナップショットが撮られ、物体部分に属するピクセルが分別される。その後物体部分に属するピクセルは、この物体がスナップショット撮影前に位置されていた更なる画像内の元の位置に挿入される。したがってこの物体が取り除かれると、この物体の形跡はこの更なる画像において残る。この物体部分ピクセルの挿入は更なる画像のピクセルを上書きすることによって実現可能であり、これにより単純なビットマップが得られる。また別の例においては、デジタル化された物体をこの更なる画像における分離された層に配置し、例えばデジタル化された物体をこの更なる画像において移動可能にするなど物体を操作できるように設定することも可能にする。このようないわゆるカメラ台装置は写実的物体を有する画像やバーチャル世界を作成するのに好都合である。この装置の具体的な適用例としては、子供の遊びの世界において上述の装置を子供の遊び道具として利用する場合などがあり、ここでは子供が現実世界におけるさまざまな実物体のデジタル化表現を挿入しながらビデオ物語を作成するなどということができる。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明の実施形態に従った装置の概略図を示す。ここでは便宜上この装置をカメラ台と呼ぶ。このカメラ台を用いてユーザは水平に実装された画面上にある物体を載せるなどして画面に対する物体の位置を決定する。また、画面を水平方向とは異なった方向に設置し、物体を支持体、ワイヤー、磁界などの手段により所定の位置に保持する設定の中で本発明を適用することも可能である。この装置は逐次黒い背景と白い背景を表示し、各スナップショットからどのピクセルが物体の一部に属するかを判断することができる。
【００１３】
物体のキャプチャ方法の基本原理は、キャプチャされる物体の背景／バックライト照明の制御に係る。
【００１４】
カメラ１０１は、背景が変化する中で複数のスナップショットを撮るために用いられる。ここで各スナップショットは、異なる背景において同一の物体１０３をキャプチャする。これによって物体の形状および色を判定することが可能である。また、物体１０３のどの部分が透明でありその部分の透明性を判断することもできる。ここで物体１０３には環境光１０２が照射され、これによって物体１０３はカメラ１０１によって撮影されることが可能である。ディスプレイ画面１０４は、スナップショットのための背景を逐次形成する。このディスプレイ画面１０４はＣＲＴあるいはバックライトＬＣＤなどであり、ここでは物体１０３の背後側に照射されるバックライトが物体１０３の透明な部分を透過する構成となる。このほかにもバックライト・ディスプレイ画面でない画面に本発明の手法を適用することも可能であり、例えば逐次変化する背景として黒板および白板が別々に備わった画面などにも本発明は適用可能である。
【００１５】
静止背景において撮影された１つのスナップショットからは、このスナップショットにおけるどの部分が物体の一部に属し、どの部分が背景に属するかを判断することは不可能である。この問題を克服するために、本実施例では背景を制御しながら複数のスナップショットを撮影する。これにより物体のアウトラインおよび色を容易に判定することが可能になる。ここで得られた複数のスナップショットは相互に比較され、対応ピクセルが同一である部分は物体の不透明の部分に相当し、ピクセルが異なる部分は（制御された）背景の一部あるいは物体の（半）透明部分の一部に相当すると判断される。
【００１６】
図２は上述のメカニズムを単純な例を用いて説明する。同図中には、不透明の物体２０３を撮影した２枚のスナップショットが示される。このうちの１枚は白い背景２０１で、もう１枚は黒い背景２０２で撮られたものである。この２枚のスナップショットは相互に比較され、ある位置に対応するピクセルが前者のスナップでは黒く、後者のスナップでは白い場合このピクセルは背景の一部であると判定され、その他のピクセルは不透明物体２０３の一部であると判断される。
【００１７】
しかし実践においては、そして構築されるシステムにおいては、ノイズの要因となる物理的属性などを考慮しなければならない。これらの物理的属性としては、
−変化する光源などによる環境光の変動
−カメラの誤差、すなわち物理的あるいは光学的不安定性によるスナップショットごとのピクセルのばらつき、
などがある。
【００１８】
以下において、このような要因を補正するための方法をいくつか説明する。
【００１９】
なお、ここで説明される物体のキャプチャ方法は、物体の形状および色のみならず透明性をもキャプチャする。これを実現する鍵は、バックライトを変化させることにあり、これによって物体の透明部分に該当するピクセルは各スナップショットによって若干異なる。図３はグレー物体３０３をキャプチャしたフレームを示す。このグレー物体３０３の左端は完全に透明であり、右端は完全に不透明である。したがって右側のピクセルは不変であり、左側のピクセルはそれぞれの背景色３０１あるいは３０２によって影響される。
【００２０】
上述の物体が透明部分を有するとき、２つのスナップショットにおける物体部分の各ピクセルは、それぞれのスナップショットの背景ピクセルの相違および物体の透明性によって相互に異なる。物体の部分の透明性が高い場合、それぞれのスナップショットにおいてこの部分に対応するピクセルの相違は、その対応位置におけるそれぞれの背景の相違に近似する。これに対して物体のある部分の透明性が低いかあるいはその部分が不透明である場合、それぞれのスナップショットにおいてこの部分に対応するピクセルの相違は、ゼロに近似する。好適な実施例においては、第１の背景が真っ白であり、第２の背景が真っ黒であるか、あるいはその逆である。これによって背景間の差を最大限のコントラストに設定することができ、これは１００％の差として定義される。すると物体部分に属するピクセルの差は、０％から１００％の間に入り、ここでこの差が０％である場合該当するピクセルは物体の不透明部分に属することを意味し、１００％である場合該当するピクセルは背景部分に属することを意味する。さらに各ピクセルの透明性はキャプチャされた各フレームにおける各該当ピクセル間の比較で測定された差におおよそ対応する。
【００２１】
図４は物体部分に属する各ピクセルによって光がどのように放射されるかを示す。
【００２２】
複数のスナップショットを変化するバックライト（Ｌｂ）を用いて撮影する際、各ピクセル４０１の放射光（Ｌｅ）から得られる値はそれぞれ異なる。これらの値から物体の透明性（ｔ）が判定可能である。例えば、黒い背景と白い背景との２枚のスナップショットを撮る場合、以下の等式が得られる。
黒背景：Ｌｅ_ｂ＝Ｃｅ*Ｌａ（Ｌｂ＝０）
白背景：Ｌｅ_ｗ＝Ｃｅ*Ｌａ*ｔ（Ｌｂ＝１）
これらの等式からさらに以下の等式が得られる。
【００２３】
Ｃｅ＝Ｌｅ_ｂ／Ｌａ
ｔ＝Ｌｅ_ｗ／（Ｃｅ*Ｌａ）
ここでＬａを１に標準化すると、以下の結果が得られる。
物体の色Ｃｅ＝Ｌｅ_ｂ
物体の透明性ｔ＝Ｌｅ_ｗ／Ｌｅ_ｂ
なお、物理的な諸要因からピクセルの差が０％あるいは１００％であることはまず実際にはありえない。ピクセルの差は何らかのノイズによって通常数パーセントずれる。このため物体の透明性を判定する際に背景部分に属するピクセルが物体の透明部分と判定される可能性がある。また、完全に不透明な部分が若干透明性を有すると判定される可能性もある。このような誤差に対処するために透明性の最低レベルと不透明性の最高レベルを示す閾値が用いられる。例えば透明性の閾値が９０％に設定されると、９０％以上透明であると判定されたピクセルはすべて完全に透明であるとみなされ、したがって背景の一部と認識される。また、不透明性の閾値が９０％に設定されると、９０以上不透明であると判定されたピクセルはすべて完全に不透明であるとみなされる。
【００２４】
多くのカメラは、自動利得制御が可能でなくても露光される光量に対して非常に敏感である。特に黒の背景および白の背景で物体のスナップショットを撮った場合、物体の不透明部分は一般的には同一の値にならない。これはカメラに対して露光される光の総量による影響からである。これに対する単純な解決策としては、黒い背景を用いてキャプチャされたフレームから物体のピクセルを取り込み、白い背景での物体のピクセル値は無視する方法がある。続いてこの方法でも、上述の閾値を用いて物体部分に属するピクセルを判定する。
【００２５】
なお、カメラ光学および物理的属性は通常理想的なものであるとは限らない。しかしカメラの品質や一般設定の安定性によってノイズを最小限にすることが可能である。以下に条件の最適化の一例を示す。
−カメラ品質：高解像度によりノイズを低減することが可能である
−照明の安定性：環境が制御されているほど好ましい結果が得られる
−照明の強度：光量が高いほどノイズは低減される
環境条件を改善すると共にソフトウェアに補正機能を備えることも可能である。以下において補正の一例を示す。
−より多くのスナップショットを撮る：時間に余裕がある場合より多くのスナップショットを撮り、これらの結果を平均化することができる。これにより照明の変動やその他のノイズをフィルタ処理することが可能である。
−ソフトウェアによるスナップショットのフィルタ処理はノイズの低減を実現する。しかしここではその代わりに画像の解像度が低下するため、この実施例は高解像度のカメラにとって好適である。
−ソフトウェアによる画像のフィルタ処理は、物体あるいは背景中にある離島を検出するために用いられることが可能である。これらの離島は誤差であることが多いため除去されることが好ましい。このようなノイズを除去するために物体／背景における島の最小サイズを設定し、これ以下の島を除去する設定が可能である。
【００２６】
人間の目にはバックライトは均一に見えるが、ほとんどの場合このバックライトの光の分布は不均一である。図５はこの不均一性の一例５００を示す。この不均一性は環境光についても同様である。ここでシステムが特定の設定で用いられる前にソフトウェアでこのシステムのキャリブレーション処理を行うことにより上述の現象は補正されることが可能である。このキャリブレーション処理は物体なしで照明条件（バックライトおよび環境光）を測定する動作を含む。そしてこの測定結果は、物体のスナップショット撮影と一緒に用いられる。
【００２７】
時間によって照明が不均一である場合、これは以下の動作によって補正することが可能である。
−複数のスナップショットを撮る（上記参照）
−自動利得制御（ソフトウェア内）：ここでは光の総量が計測され、これが個々のピクセルの強度を測定するために用いられる
また、ＬＣＤ画面を用いる代わりに、（より安価である）ランプを用いることも可能である。このランプは背景として用いられる画面を照明するのに用いられる。スナップショットを撮る間にこのランプをつけたり消したりすることで物体はキャプチャされる。この設定では例えば写真撮影スタジオなどにおいてより大きな物体をキャプチャすることを可能にする。
【００２８】
上述のように、本発明は物体をデジタル化する方法に関する。この方法では、物体の形状および色のみならず透明性をもキャプチャすることが可能である。これはバックライトの照明を制御しながら物体のスナップショットを複数撮ることによって実現される。より具体的な実施例として本発明による方法は、画像をキャプチャするためのカメラとバックライトの照明を制御するためのＬＣＤ画面を用いて実施される。
【００２９】
なお、図面において同一の符号で示される部分は同一の機能を有する。これらの機能の一部は典型的にはソフトウェアに実装され、したがってソフトウェア・モジュールやソフトウェア・オブジェクトなどソフトウェア構成を有する。
【００３０】
さらに上記では本発明の具体的な実施例を用いて本発明の原理を例示的に説明したが、このほかにも本発明の概念および請求の範囲に包含されるさまざまな変形例が可能である。例えばＬＣＤ画面を用いる代わりに、背景として用いられる画面を照明するための（より安価である）ランプを用いることも可能である。スナップショットを撮る間にこのランプをつけたり消したりすることで物体はキャプチャされる。このような設定は写真撮影スタジオなどにおいてより大きな物体をキャプチャすることを可能にする。
【００３１】
なお、本発明はいくつかの素子から構成されるハードウェアおよび適正にプログラムされたコンピュータによって実現されることができる。また、本発明の装置に関する請求項において開示される複数の手段は、それぞれが個別の素子を構成する必要はなく、いくつかの手段が１つの同一ハードウェア素子によって実現されることも可能である。
【００３２】
さらに、ここで「コンピュータ・プログラム」とは、フロッピー（登録商標）ディスクなどコンピュータ読み取り可能な媒体に格納され、インターネットなどのネットワークを介してダウンロードされることが可能であるか、あるいはその他の方法によって市場に出回ることができるあらゆるソフトウェア製品を含む。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態による装置の概略図を示す。
【図２】不透明な物体を黒および白の背景で撮った第１および第２スナップショットを示す図である。
【図３】半透明部分を有する物体の第１および第２スナップショットを示す図である。
【図４】物体部分に属する各ピクセルによって光がどのように放射されるかを示す図である。
【図５】ＬＣＤディスプレイ画面上の不均一な光分布を示す図である。

Claims

物体をデジタル化する方法であって、
第１背景で前記物体の第１スナップショットを撮り、
第２背景で前記物体の第２スナップショットを撮り、
前記第１背景および前記第２背景における対応ピクセル間から背景の差を判定し、
前記第１スナップショットおよび前記第２スナップショットにおける対応ピクセル間の差が前記背景の差よりも小さいピクセルを識別する工程を含むことを特徴とする方法。
前記第１背景および前記第２背景がそれぞれ均一な色であることを特徴とする請求項１記載の方法。
前記第１背景の各ピクセルのほとんどは、それぞれ対応する第２背景の各ピクセルに対して比較的大きな差を有することを特徴とする請求項１又は２記載の方法。
前記第１背景および前記第２背景はディスプレイ画面によって提供されることを特徴とする請求項１乃至３いずれかに記載の方法。
前記第１スナップショットおよび前記第２スナップショットにおける対応ピクセル間の前景の差と背景の差との比率を判定し、前記比率を透明性の表示に用いて前記物体の透明性を判定する工程をさらに含むことを特徴とする請求項１乃至４いずれかに記載の方法。
所定の閾値以下の透明度の値をゼロ・パーセント値にマッピングする工程をさらに含むことを特徴とする請求項５記載の方法。
所定の閾値以上の透明度の値を百パーセント値にマッピングする工程をさらに含むことを特徴とする請求項５又は６記載の方法。
前記ディスプレイ画面に更なる画像を表示してユーザが前記物体を前記更なる画像内に配置することを可能にし、
前記物体をデジタル化し、
デジタル化された物体の画像を前記更なる画像内の対応する位置に挿入する工程をさらに含むことを特徴とする請求項４乃至７いずれかに記載の方法。
物体をデジタル化する装置であって、
制御部、
前記制御部の制御によって前記物体のスナップショットを撮るカメラ、および
前記制御部の制御によって前記物体の背後に背景を提供する背景手段から構成され、
前記制御部は、第１背景で前記物体の第１スナップショットを撮り、第２背景で前記物体の第２スナップショットを撮り、前記第１背景および前記第２背景における対応ピクセル間から背景の差を判定し、前記第１スナップショットおよび前記第２スナップショットにおける対応ピクセル間の差が前記背景の差よりも小さいピクセルを識別するための制御を行うことを特徴とする装置。
前記第１背景および前記第２背景がそれぞれ均一の色であることを特徴とする請求項９記載の装置。
前記第１背景における各ピクセルのほとんどは、それぞれ対応する前記第２背景の各ピクセルに対して比較的大きな差を有することを特徴とする請求項９又は１０記載の装置。
前記第１背景および前記第２背景を提供するためのディスプレイ画面をさらに有することを特徴とする請求項９乃至１１いずれかに記載の装置。
前記制御部は、前記第１スナップショットおよび前記第２スナップショットにおける対応ピクセル間の前景の差と背景の差との比率を判定し、前記比率を透明性の表示に用いて前記物体の透明性を判定するための制御を行うことを特徴とする請求項９乃至１２いずれかに記載の装置。
前記制御部は、所定の閾値以下の透明度の値をゼロ・パーセント値にマッピングするための制御を行うことを特徴とする請求項１３記載の装置。
前記制御部は、所定の閾値以上の透明度の値を百パーセント値にマッピングするための制御を行うことを特徴とする請求項１３又は１４記載の装置。
前記制御部は、ディスプレイ画面に更なる画像を表示してユーザが前記物体を前記更なる画像内に配置することを可能にし、前記物体をデジタル化し、デジタル化された前記物体の画像を前記更なる画像における対応する位置に挿入することによって前記更なる画像に前記物体が配置された画像を投影するための制御を行うことを特徴とする請求項１２乃至１５いずれかに記載の装置。
コンピュータ・プログラム製品であって、プログラム可能な装置において前記コンピュータ・プログラム製品が実行されると前記プログラム可能な装置が請求項９乃至１６いずれかに記載の装置として機能することを特徴とするコンピュータ・プログラム製品。