JP2001008235A - ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 - Google Patents
３次元データの再構成のための画像入力方法及び多眼式データ入力装置Info
- Publication number
- JP2001008235A JP2001008235A JP11179560A JP17956099A JP2001008235A JP 2001008235 A JP2001008235 A JP 2001008235A JP 11179560 A JP11179560 A JP 11179560A JP 17956099 A JP17956099 A JP 17956099A JP 2001008235 A JP2001008235 A JP 2001008235A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- subject
- corresponding point
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】１度の撮影によって対応点探索用の２次元画像
とマッピング用の２次元画像とを同時に得ることを可能
とし、撮影時間を短縮し且つ対応点探索を容易に且つ正
確に行うことができるようにすること。 【解決手段】被写体の３次元データを再構成するための
対応点探索用の視点位置の異なる複数の２次元画像ＱＮ
Ｌ，ＱＮＲと、３次元データＱＺへのマッピング用の２
次元画像ＱＶＬとを入力するための方法であって、可視
領域の光が被写体に照射される環境下において、対応点
探索用の模様を赤外領域で発光させて被写体に投影し、
可視領域を遮断するフィルタを介して被写体を撮影して
対応点探索用の２次元画像ＱＮＬ，ＱＮＲを入力し、同
時に、赤外領域を遮断するフィルタを介して被写体を撮
影してマッピング用の２次元画像ＱＶＬを入力する。
とマッピング用の２次元画像とを同時に得ることを可能
とし、撮影時間を短縮し且つ対応点探索を容易に且つ正
確に行うことができるようにすること。 【解決手段】被写体の３次元データを再構成するための
対応点探索用の視点位置の異なる複数の２次元画像ＱＮ
Ｌ，ＱＮＲと、３次元データＱＺへのマッピング用の２
次元画像ＱＶＬとを入力するための方法であって、可視
領域の光が被写体に照射される環境下において、対応点
探索用の模様を赤外領域で発光させて被写体に投影し、
可視領域を遮断するフィルタを介して被写体を撮影して
対応点探索用の２次元画像ＱＮＬ，ＱＮＲを入力し、同
時に、赤外領域を遮断するフィルタを介して被写体を撮
影してマッピング用の２次元画像ＱＶＬを入力する。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元データの再
構成のための画像入力方法及び多眼式データ入力装置に
関する。
構成のための画像入力方法及び多眼式データ入力装置に
関する。
【０００２】
【従来の技術】従来より、多眼式データ入力装置は、パ
ッシブタイプの３次元データ入力装置の１つとして知ら
れている。多眼式データ入力装置は、２次元画像を得る
ための複数の入力部、得られた複数の２次元画像に基づ
いて３次元データを算出する算出部などを有している。
ッシブタイプの３次元データ入力装置の１つとして知ら
れている。多眼式データ入力装置は、２次元画像を得る
ための複数の入力部、得られた複数の２次元画像に基づ
いて３次元データを算出する算出部などを有している。
【０００３】このような装置を用いて３次元データを生
成するには、得られた複数の２次元画像のうち、その１
つを基準画像とする。基準画像における被写体を示す領
域内の全ての座標点について、他の２次元画像において
それらに対応する座標点を求める。これらの対応点は、
２次元画像を構成する画素の濃淡を用い、勾配法又は相
関法などにより求めることができる。対応点に基づい
て、ステレオ視の原理により、３次元空間上での点の位
置を求める。求められた点の位置データの集合が被写体
についての３次元データである。
成するには、得られた複数の２次元画像のうち、その１
つを基準画像とする。基準画像における被写体を示す領
域内の全ての座標点について、他の２次元画像において
それらに対応する座標点を求める。これらの対応点は、
２次元画像を構成する画素の濃淡を用い、勾配法又は相
関法などにより求めることができる。対応点に基づい
て、ステレオ視の原理により、３次元空間上での点の位
置を求める。求められた点の位置データの集合が被写体
についての３次元データである。
【０００４】ところが、上に述べた方法によって３次元
データを構成する際に、被写体にコントラストのある模
様がなく、しかも単一色である場合などでは、２次元画
像上に多くの特徴点がないために、対応点を求める際に
誤った対応をとったり、また対応点がとれなかったり
し、その結果、３次元データが精度の悪いものとなって
しまう。場合によっては３次元形状の再構成が不可能と
なることもある。
データを構成する際に、被写体にコントラストのある模
様がなく、しかも単一色である場合などでは、２次元画
像上に多くの特徴点がないために、対応点を求める際に
誤った対応をとったり、また対応点がとれなかったり
し、その結果、３次元データが精度の悪いものとなって
しまう。場合によっては３次元形状の再構成が不可能と
なることもある。
【０００５】この問題を解決するために、被写体に対し
てテクスチャパターンを投影し、被写体をテクスチャパ
ターンとともに撮影することによって、２次元画像上に
特徴点を付加することが提案されている（特公平６−２
３６５６号公報）。
てテクスチャパターンを投影し、被写体をテクスチャパ
ターンとともに撮影することによって、２次元画像上に
特徴点を付加することが提案されている（特公平６−２
３６５６号公報）。
【０００６】
【発明が解決しようとする課題】しかし、上に述べた従
来の技術では、テクスチャパターンとともに撮影された
２次元画像によって対応点は正確に求まるが、再構成さ
れた３次元データにその２次元画像をマッピングした場
合に、そこにテクスチャパターンが現れてしまう。
来の技術では、テクスチャパターンとともに撮影された
２次元画像によって対応点は正確に求まるが、再構成さ
れた３次元データにその２次元画像をマッピングした場
合に、そこにテクスチャパターンが現れてしまう。
【０００７】したがって、従来においては、マッピング
用の２次元画像を取得するために、テクスチャパターン
を投影しない状態で再度撮影を行うか、又は別のカメラ
によって２次元画像を撮影する必要があった。
用の２次元画像を取得するために、テクスチャパターン
を投影しない状態で再度撮影を行うか、又は別のカメラ
によって２次元画像を撮影する必要があった。
【０００８】そのため、撮影をワンショットで行うこと
ができなくなり、撮影に時間を要するとともに、被写体
が人間や動物である場合にはその負担が増大することと
なる。また、撮影の時間的なずれなどのために、被写体
又は撮影位置が移動し、３次元データとマッピング用の
２次元画像との間の対応がうまくとれないことが起こる
という問題がある。
ができなくなり、撮影に時間を要するとともに、被写体
が人間や動物である場合にはその負担が増大することと
なる。また、撮影の時間的なずれなどのために、被写体
又は撮影位置が移動し、３次元データとマッピング用の
２次元画像との間の対応がうまくとれないことが起こる
という問題がある。
【０００９】本発明は、上述の問題に鑑みてなされたも
ので、１度の撮影によって対応点探索用の２次元画像と
マッピング用の２次元画像とを同時に得ることを可能と
し、撮影時間を短縮し且つ対応点探索を容易に且つ正確
に行うことのできる画像入力方法、及び多眼式データ入
力装置を提供することを目的とする。
ので、１度の撮影によって対応点探索用の２次元画像と
マッピング用の２次元画像とを同時に得ることを可能と
し、撮影時間を短縮し且つ対応点探索を容易に且つ正確
に行うことのできる画像入力方法、及び多眼式データ入
力装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】請求項１の発明に係る方
法は、図１０に示すように、被写体Ｑの３次元データＱ
Ｚを再構成するための対応点探索用の視点位置の異なる
複数の２次元画像ＱＮＬ，ＱＮＲと、３次元データＱＺ
へのマッピング用の２次元画像ＱＶＬとを入力するため
の方法であって、可視領域の光が被写体Ｑに照射される
環境下において、対応点探索用の模様を赤外領域で発光
させて被写体Ｑに投影し、可視領域を遮断するフィルタ
１２３を介して被写体Ｑを撮影して対応点探索用の２次
元画像ＱＮＬ，ＱＮＲを入力し、同時に、赤外領域を遮
断するフィルタ１２２を介して被写体Ｑを撮影してマッ
ピング用の２次元画像ＱＶＬを入力する。
法は、図１０に示すように、被写体Ｑの３次元データＱ
Ｚを再構成するための対応点探索用の視点位置の異なる
複数の２次元画像ＱＮＬ，ＱＮＲと、３次元データＱＺ
へのマッピング用の２次元画像ＱＶＬとを入力するため
の方法であって、可視領域の光が被写体Ｑに照射される
環境下において、対応点探索用の模様を赤外領域で発光
させて被写体Ｑに投影し、可視領域を遮断するフィルタ
１２３を介して被写体Ｑを撮影して対応点探索用の２次
元画像ＱＮＬ，ＱＮＲを入力し、同時に、赤外領域を遮
断するフィルタ１２２を介して被写体Ｑを撮影してマッ
ピング用の２次元画像ＱＶＬを入力する。
【００１１】請求項２の発明に係る装置は、図５及び図
６に示すように、対応点探索用の模様を赤外領域で発光
させて被写体Ｑに投影する投影部１６と、被写体Ｑの２
次元画像ＱＬ，ＱＲを互いに異なる複数の視点位置から
入力する複数の画像入力部１２，１３と、を有し、少な
くとも１つの前記画像入力部１２には、赤外領域を遮断
するフィルタ１２２を介して被写体Ｑを撮影するマッピ
ング用の撮像素子１２ｂＣと、可視領域を遮断するフィ
ルタ１２３を介して被写体Ｑを撮影する対応点探索用の
撮像素子１２ｂＭと、が設けられ、他の前記画像入力部
１３には、少なくとも、可視領域を遮断するフィルタ１
３１を介して被写体Ｑを撮影する対応点探索用の撮像素
子１３ｂが設けられてなる。
６に示すように、対応点探索用の模様を赤外領域で発光
させて被写体Ｑに投影する投影部１６と、被写体Ｑの２
次元画像ＱＬ，ＱＲを互いに異なる複数の視点位置から
入力する複数の画像入力部１２，１３と、を有し、少な
くとも１つの前記画像入力部１２には、赤外領域を遮断
するフィルタ１２２を介して被写体Ｑを撮影するマッピ
ング用の撮像素子１２ｂＣと、可視領域を遮断するフィ
ルタ１２３を介して被写体Ｑを撮影する対応点探索用の
撮像素子１２ｂＭと、が設けられ、他の前記画像入力部
１３には、少なくとも、可視領域を遮断するフィルタ１
３１を介して被写体Ｑを撮影する対応点探索用の撮像素
子１３ｂが設けられてなる。
【００１２】請求項３の発明に係る装置は、前記他の前
記画像入力部１３には、赤外領域を遮断するフィルタを
介して被写体Ｑを撮影するマッピング用の撮像素子が設
けられてなる。
記画像入力部１３には、赤外領域を遮断するフィルタを
介して被写体Ｑを撮影するマッピング用の撮像素子が設
けられてなる。
【００１３】請求項４の発明に係る装置は、前記マッピ
ング用の撮像素子１２ｂＣにより取得された２次元画像
ＱＶＬに基づいて前記被写体Ｑの３次元データＱＺを算
出する算出部１５を有してなる。
ング用の撮像素子１２ｂＣにより取得された２次元画像
ＱＶＬに基づいて前記被写体Ｑの３次元データＱＺを算
出する算出部１５を有してなる。
【００１４】
【発明の実施の形態】〔第１の実施形態〕図１は本発明
の実施形態を示す多眼入力カメラ５の斜視図、図２は多
眼入力カメラ５を含んだ３次元データ生成装置１の構成
の例を示す図、図３は多眼入力カメラ５を用いて被写体
Ｑを撮影する際の様子を概念的に示す図である。
の実施形態を示す多眼入力カメラ５の斜視図、図２は多
眼入力カメラ５を含んだ３次元データ生成装置１の構成
の例を示す図、図３は多眼入力カメラ５を用いて被写体
Ｑを撮影する際の様子を概念的に示す図である。
【００１５】図１に示すように、多眼入力カメラ５に
は、カメラ本体１１、撮影レンズ１２ａ，１３ａをそれ
ぞれ有する画像入力部１２，１３、テクスチャ投影部１
６、及びシャッター１５５などが設けられている。な
お、図１には示されていないが、多眼入力カメラ５の内
部には処理回路１５が内蔵されている。
は、カメラ本体１１、撮影レンズ１２ａ，１３ａをそれ
ぞれ有する画像入力部１２，１３、テクスチャ投影部１
６、及びシャッター１５５などが設けられている。な
お、図１には示されていないが、多眼入力カメラ５の内
部には処理回路１５が内蔵されている。
【００１６】図２に示すように、３次元データ生成装置
１は、情報処理装置４及び多眼入力カメラ５からなる。
情報処理装置４は、処理装置２１、表示面ＨＧを有した
表示装置２２、キーボード及びマウスを始めとする入力
装置２３などからなる。処理装置２１には、ＣＰＵ、Ｒ
ＡＭ、ＲＯＭ、その他の周辺素子、インタフェース装
置、ハードディスク装置、フロッピィディスク装置、Ｃ
Ｄ−ＲＯＭ装置、モデム、及びその他の機器が内蔵され
ている。このような情報処理装置４として、適当なプロ
グラムをインストールしたパーソナルコンピュータなど
を用いることができる。
１は、情報処理装置４及び多眼入力カメラ５からなる。
情報処理装置４は、処理装置２１、表示面ＨＧを有した
表示装置２２、キーボード及びマウスを始めとする入力
装置２３などからなる。処理装置２１には、ＣＰＵ、Ｒ
ＡＭ、ＲＯＭ、その他の周辺素子、インタフェース装
置、ハードディスク装置、フロッピィディスク装置、Ｃ
Ｄ−ＲＯＭ装置、モデム、及びその他の機器が内蔵され
ている。このような情報処理装置４として、適当なプロ
グラムをインストールしたパーソナルコンピュータなど
を用いることができる。
【００１７】多眼入力カメラ５には、図２に示すよう
に、撮影した２次元画像ＱＬ，ＱＲを表示するための、
液晶パネルなどからなる表示装置１２ｃ，１３ｃがそれ
ぞれ設けられている。
に、撮影した２次元画像ＱＬ，ＱＲを表示するための、
液晶パネルなどからなる表示装置１２ｃ，１３ｃがそれ
ぞれ設けられている。
【００１８】多眼入力カメラ５と情報処理装置４との間
では、データ転送を行うことができる。また、多眼入力
カメラ５から入力された２次元画像を情報処理装置４に
おいて表示することも可能である。情報処理装置４は、
多眼入力カメラ５から入力された２次元画像に基づい
て、３次元データを生成し、生成した３次元データを表
示面ＨＧに表示することができる。
では、データ転送を行うことができる。また、多眼入力
カメラ５から入力された２次元画像を情報処理装置４に
おいて表示することも可能である。情報処理装置４は、
多眼入力カメラ５から入力された２次元画像に基づい
て、３次元データを生成し、生成した３次元データを表
示面ＨＧに表示することができる。
【００１９】図３に示すように、被写体Ｑは、その背景
ＱＫとともに２つの撮影レンズ１２ａ，１３ａによって
視差を有して取り込まれ、それぞれの表示装置１２ｃ，
１３ｃに、２次元画像ＱＬ，ＱＲとして表示されてい
る。これらの２次元画像ＱＬ，ＱＲに基づいて、３次元
データの生成の前処理として、対応点の探索を行う。つ
まり、２つの２次元画像ＱＬ，ＱＲのうちの１つを基準
画像とし、基準画像における被写体Ｑを示す領域内の全
ての座標点について、他の２次元画像においてそれらに
対応する対応点を求める。対応点に基づいて、ステレオ
視の原理によって３次元データを演算により求める。こ
のような処理は、処理回路１５（図示せず）によって行
われる。なお、本明細書において、対応点を探索するこ
と、又はそのための処理を、「対応点探索」ということ
がある。
ＱＫとともに２つの撮影レンズ１２ａ，１３ａによって
視差を有して取り込まれ、それぞれの表示装置１２ｃ，
１３ｃに、２次元画像ＱＬ，ＱＲとして表示されてい
る。これらの２次元画像ＱＬ，ＱＲに基づいて、３次元
データの生成の前処理として、対応点の探索を行う。つ
まり、２つの２次元画像ＱＬ，ＱＲのうちの１つを基準
画像とし、基準画像における被写体Ｑを示す領域内の全
ての座標点について、他の２次元画像においてそれらに
対応する対応点を求める。対応点に基づいて、ステレオ
視の原理によって３次元データを演算により求める。こ
のような処理は、処理回路１５（図示せず）によって行
われる。なお、本明細書において、対応点を探索するこ
と、又はそのための処理を、「対応点探索」ということ
がある。
【００２０】図４は対応点探索の概念を説明するための
図である。図４において、被写体Ｑの画像は、画像入力
部１２，１３に設けられた撮像素子１２ｂＭ，１２ｂ
Ｃ，１３ｂの撮像面上に結像している。左方の撮像素子
１２ｂＭに結像する２次元画像ＱＬを基準画像とする。
対応点探索は、次のようにして行われる。
図である。図４において、被写体Ｑの画像は、画像入力
部１２，１３に設けられた撮像素子１２ｂＭ，１２ｂ
Ｃ，１３ｂの撮像面上に結像している。左方の撮像素子
１２ｂＭに結像する２次元画像ＱＬを基準画像とする。
対応点探索は、次のようにして行われる。
【００２１】すなわち、対応点探索は、被写体Ｑ上の任
意の点を注視点Ａとした場合に、基準画像を撮像する撮
像素子１２ｂＭの撮像面上における注視点Ａを示す点Ｌ
１が、他の撮像素子１３ｂの撮像面上において如何なる
座標の点に対応しているかを求める作業である。対応点
探索において、２次元画像ＱＬ，ＱＲの輝度を用い、ま
た勾配法又は相関法などの従来公知の方法を用いること
ができる。これらの方法を用いることにより、図４にお
いては、撮像素子１２ｂＭの撮像面上の点Ｌ１は、撮像
素子１３ｂの撮像面上のＲ１に対応していることが分か
る。被写体Ｑ上の全ての点について、このような対応点
探索を行うことにより、全ての点について３次元座標上
での位置が分かり、被写体Ｑの３次元形状を求めること
ができる。
意の点を注視点Ａとした場合に、基準画像を撮像する撮
像素子１２ｂＭの撮像面上における注視点Ａを示す点Ｌ
１が、他の撮像素子１３ｂの撮像面上において如何なる
座標の点に対応しているかを求める作業である。対応点
探索において、２次元画像ＱＬ，ＱＲの輝度を用い、ま
た勾配法又は相関法などの従来公知の方法を用いること
ができる。これらの方法を用いることにより、図４にお
いては、撮像素子１２ｂＭの撮像面上の点Ｌ１は、撮像
素子１３ｂの撮像面上のＲ１に対応していることが分か
る。被写体Ｑ上の全ての点について、このような対応点
探索を行うことにより、全ての点について３次元座標上
での位置が分かり、被写体Ｑの３次元形状を求めること
ができる。
【００２２】対応点探索を行いやすい被写体としては、
隣り合う画素同士で輝度差があるものが良い。また、単
色のものよりはテクスチャ（模様柄）のあるものが良
い。テクスチャがない場合には、平らなものよりも湾曲
やエッジの効いているものが良い。但し、湾曲やエッジ
がある場合に、その程度によってはオクルージョン（死
角）が生じるという問題がある。
隣り合う画素同士で輝度差があるものが良い。また、単
色のものよりはテクスチャ（模様柄）のあるものが良
い。テクスチャがない場合には、平らなものよりも湾曲
やエッジの効いているものが良い。但し、湾曲やエッジ
がある場合に、その程度によってはオクルージョン（死
角）が生じるという問題がある。
【００２３】つまり、被写体Ｑが奥行き方向に深い場合
には、多眼入力カメラ５の２つの画像入力部１２，１３
の光軸間の距離である基線長、レンズの焦点距離、及び
撮像素子１２ｂＭ，１３ｂの画素のサイズなどに応じ
て、各画像間で見える部分と見えない部分が出てくる可
能性がある。特に、対応点探索に勾配法を用いる場合
は、段差が問題となる。したがって、程度の問題はある
が、表面に輝度差があり、なだらかな傾斜を示す被写体
が対応点の求めやすい被写体であるということとなる。
には、多眼入力カメラ５の２つの画像入力部１２，１３
の光軸間の距離である基線長、レンズの焦点距離、及び
撮像素子１２ｂＭ，１３ｂの画素のサイズなどに応じ
て、各画像間で見える部分と見えない部分が出てくる可
能性がある。特に、対応点探索に勾配法を用いる場合
は、段差が問題となる。したがって、程度の問題はある
が、表面に輝度差があり、なだらかな傾斜を示す被写体
が対応点の求めやすい被写体であるということとなる。
【００２４】なお、表示装置１２ｃ，１３ｃには、２次
元画像ＱＬ，ＱＲとして、対応点探索用の画像又はマッ
ピング用の画像のいずれをも選択的に表示することが可
能である。また、生成された３次元データＱＺを表示す
ることも可能である。
元画像ＱＬ，ＱＲとして、対応点探索用の画像又はマッ
ピング用の画像のいずれをも選択的に表示することが可
能である。また、生成された３次元データＱＺを表示す
ることも可能である。
【００２５】図５は画像入力部１２の構成を示す図、図
６は画像入力部１３の構成を示す図、図７はフィルタ１
２２，１２３の特性の例を示す図である。図５におい
て、画像入力部１２は、撮影レンズ１２ａ、プリズム１
２１、フィルタ１２２，１２３、マッピング用の撮像素
子１２ｂＣ、及び対応点探索用の撮像素子１２ｂＭを備
える。一方のフィルタ１２２は、図７の曲線ＣＶ１２２
に示すように、可視領域の波長の光を透過し、赤外領域
の波長の光を反射する。他方のフィルタ１２３は、曲線
ＣＶ１２３に示すように、赤外領域を透過し、可視領域
を反射する。一方の撮像素子１２ｂＣは、カラーＣＣＤ
であり、他方の撮像素子１２ｂＭは赤外領域を受光可能
なモノクロＣＣＤである。
６は画像入力部１３の構成を示す図、図７はフィルタ１
２２，１２３の特性の例を示す図である。図５におい
て、画像入力部１２は、撮影レンズ１２ａ、プリズム１
２１、フィルタ１２２，１２３、マッピング用の撮像素
子１２ｂＣ、及び対応点探索用の撮像素子１２ｂＭを備
える。一方のフィルタ１２２は、図７の曲線ＣＶ１２２
に示すように、可視領域の波長の光を透過し、赤外領域
の波長の光を反射する。他方のフィルタ１２３は、曲線
ＣＶ１２３に示すように、赤外領域を透過し、可視領域
を反射する。一方の撮像素子１２ｂＣは、カラーＣＣＤ
であり、他方の撮像素子１２ｂＭは赤外領域を受光可能
なモノクロＣＣＤである。
【００２６】撮影レンズ１２ａを通過してプリズム１２
１に入射した光ＬＬのうち、可視領域の光ＬＬＶのみが
フィルタ１２２を透過し、撮像素子１２ｂＣにより受光
される。フィルタ１２２によって反射された赤外領域の
光ＬＬＦは、フィルタ１２３を透過して撮像素子１２ｂ
Ｍにより受光される。
１に入射した光ＬＬのうち、可視領域の光ＬＬＶのみが
フィルタ１２２を透過し、撮像素子１２ｂＣにより受光
される。フィルタ１２２によって反射された赤外領域の
光ＬＬＦは、フィルタ１２３を透過して撮像素子１２ｂ
Ｍにより受光される。
【００２７】図６において、画像入力部１３は、撮影レ
ンズ１３ａ、対応点探索用の撮像素子１３ｂ、及びフィ
ルタ１３１を備える。フィルタ１３１は、曲線ＣＶ１２
３に示すように、赤外領域を透過し、可視領域を反射す
る。撮像素子１３ｂは、赤外領域の光を受光可能なモノ
クロＣＣＤである。
ンズ１３ａ、対応点探索用の撮像素子１３ｂ、及びフィ
ルタ１３１を備える。フィルタ１３１は、曲線ＣＶ１２
３に示すように、赤外領域を透過し、可視領域を反射す
る。撮像素子１３ｂは、赤外領域の光を受光可能なモノ
クロＣＣＤである。
【００２８】撮影レンズ１３ａを通過して入射した光Ｌ
Ｒのうち、赤外領域の光ＬＲＦのみがフィルタ１３１を
透過し、撮像素子１３ｂにより受光される。図８はテク
スチャ投影部１６の構成を示す図、図９はテクスチャ板
１６３の例を示す図である。
Ｒのうち、赤外領域の光ＬＲＦのみがフィルタ１３１を
透過し、撮像素子１３ｂにより受光される。図８はテク
スチャ投影部１６の構成を示す図、図９はテクスチャ板
１６３の例を示す図である。
【００２９】図８において、テクスチャ投影部１６は、
光源１６１、赤外領域のみを透過するバンドパスフィル
タ１６２、テクスチャ板１６３、及び投光レンズ１６４
などからなる。テクスチャ板１６３は、図９に示すよう
に、市松模様を有している。光源１６１から射出した光
は、バンドパスフィルタ１６２を透過して赤外領域のみ
となり、テクスチャ板１６３によって模様が付され、投
光レンズ１６４を透過した光ＴＦが被写体Ｑに投影され
る。
光源１６１、赤外領域のみを透過するバンドパスフィル
タ１６２、テクスチャ板１６３、及び投光レンズ１６４
などからなる。テクスチャ板１６３は、図９に示すよう
に、市松模様を有している。光源１６１から射出した光
は、バンドパスフィルタ１６２を透過して赤外領域のみ
となり、テクスチャ板１６３によって模様が付され、投
光レンズ１６４を透過した光ＴＦが被写体Ｑに投影され
る。
【００３０】次に、多眼入力カメラ５による撮影動作に
ついて説明する。図１０は被写体Ｑ及び撮影によって得
られる２次元画像の例を示す図、図１１は生成され且つ
マッピングが行われた３次元データＱＺの例を示す図で
ある。
ついて説明する。図１０は被写体Ｑ及び撮影によって得
られる２次元画像の例を示す図、図１１は生成され且つ
マッピングが行われた３次元データＱＺの例を示す図で
ある。
【００３１】図１０のうち、図１０（ａ）は、画像入力
部１２，１３に入射する２次元画像ＱＬ，ＱＲを示す。
図１０（ｂ）は赤外領域の光による２次元画像ＱＮＬ，
ＱＮＲを示し、図１０（ｃ）は、可視領域の光による２
次元画像ＱＶＬを示す。なお、図１１に示す３次元デー
タＱＺは、表示装置２２に表示した例を示す。
部１２，１３に入射する２次元画像ＱＬ，ＱＲを示す。
図１０（ｂ）は赤外領域の光による２次元画像ＱＮＬ，
ＱＮＲを示し、図１０（ｃ）は、可視領域の光による２
次元画像ＱＶＬを示す。なお、図１１に示す３次元デー
タＱＺは、表示装置２２に表示した例を示す。
【００３２】多眼入力カメラ５を被写体Ｑに向け、シャ
ッター１５５を押すことによって、画像入力部１２，１
３にそれぞれ視差を有する２次元画像ＱＬ，ＱＲが入射
される。
ッター１５５を押すことによって、画像入力部１２，１
３にそれぞれ視差を有する２次元画像ＱＬ，ＱＲが入射
される。
【００３３】対応点探索用の撮像素子１２ｂＭ，１３ｂ
には、図１０（ｂ）に示す２次元画像ＱＮＬ，ＱＮＲが
入力される。２次元画像ＱＮＬ，ＱＮＲには、遠景であ
る背景ＱＫが写っていない。２次元画像ＱＮＬ，ＱＮＲ
は、テクスチャ投影部１６によって投影された市松模様
を有している。これら２次元画像ＱＮＬ，ＱＮＲに基づ
いて、対応点探索が行われる。
には、図１０（ｂ）に示す２次元画像ＱＮＬ，ＱＮＲが
入力される。２次元画像ＱＮＬ，ＱＮＲには、遠景であ
る背景ＱＫが写っていない。２次元画像ＱＮＬ，ＱＮＲ
は、テクスチャ投影部１６によって投影された市松模様
を有している。これら２次元画像ＱＮＬ，ＱＮＲに基づ
いて、対応点探索が行われる。
【００３４】対応点探索において、例えば２次元画像Ｑ
ＮＬが基準画像とされる。２次元画像ＱＮＬ，ＱＮＲの
市松模様を利用することにより、画素間の輝度差が大き
くなり、隣り合う各画素に特徴を持たせることができ
る。これによって、２次元画像ＱＮＬ，ＱＮＲの相互間
の対応点を容易に且つ正確に求めることができる。
ＮＬが基準画像とされる。２次元画像ＱＮＬ，ＱＮＲの
市松模様を利用することにより、画素間の輝度差が大き
くなり、隣り合う各画素に特徴を持たせることができ
る。これによって、２次元画像ＱＮＬ，ＱＮＲの相互間
の対応点を容易に且つ正確に求めることができる。
【００３５】マッピング用の撮像素子１２ｂＣには、図
１０（ｃ）に示す２次元画像ＱＶＬが入力される。２次
元画像ＱＶＬは、再構成される３次元データへのマッピ
ング画像として用いられる。
１０（ｃ）に示す２次元画像ＱＶＬが入力される。２次
元画像ＱＶＬは、再構成される３次元データへのマッピ
ング画像として用いられる。
【００３６】このように、多眼入力カメラ５によると、
シャッター１５５を１回押すことによって、対応点探索
用の２次元画像ＱＮＬ，ＱＮＲと、マッピング用の２次
元画像ＱＶＬとが同時に得られる。したがって、撮影を
短時間で行うことができ、被写体が人間や動物である場
合であっても負担をかけることがなく、被写体又は撮影
位置が移動するといったことがない。
シャッター１５５を１回押すことによって、対応点探索
用の２次元画像ＱＮＬ，ＱＮＲと、マッピング用の２次
元画像ＱＶＬとが同時に得られる。したがって、撮影を
短時間で行うことができ、被写体が人間や動物である場
合であっても負担をかけることがなく、被写体又は撮影
位置が移動するといったことがない。
【００３７】また、対応点探索用の画像とマッピング用
の画像とが同時に得られ、しかもそれらは同じ光軸上か
ら得られるので、それらの間の対応関係が一定であり、
マッピングが容易に正確に行うことができる。
の画像とが同時に得られ、しかもそれらは同じ光軸上か
ら得られるので、それらの間の対応関係が一定であり、
マッピングが容易に正確に行うことができる。
【００３８】そして、対応点探索用の２次元画像ＱＮ
Ｌ，ＱＮＲには市松模様が存在するので、被写体Ｑにコ
ントラストのある模様がなかったり単一色であったりし
た場合であっても、２次元画像ＱＮＬ，ＱＮＲとしては
多くの特徴点を獲得することができ、対応点探索を容易
に且つ正確行うことができ、対応点を精度良く求めるこ
とができる。
Ｌ，ＱＮＲには市松模様が存在するので、被写体Ｑにコ
ントラストのある模様がなかったり単一色であったりし
た場合であっても、２次元画像ＱＮＬ，ＱＮＲとしては
多くの特徴点を獲得することができ、対応点探索を容易
に且つ正確行うことができ、対応点を精度良く求めるこ
とができる。
【００３９】したがって、信頼性の高い３次元データＱ
Ｚを生成することができ、またそれにテクスチャ画像を
貼り付けることで、色情報を持った３次元形状の再構成
を行うことができる。 〔第２の実施形態〕第２の実施形態において、多眼入力
カメラ５及び３次元データ生成装置１の構成は、基本的
には第１の実施形態と同一である。第２の実施形態の相
違点は次のとおりである。
Ｚを生成することができ、またそれにテクスチャ画像を
貼り付けることで、色情報を持った３次元形状の再構成
を行うことができる。 〔第２の実施形態〕第２の実施形態において、多眼入力
カメラ５及び３次元データ生成装置１の構成は、基本的
には第１の実施形態と同一である。第２の実施形態の相
違点は次のとおりである。
【００４０】すなわち、第２の実施形態では、他方の画
像入力部１３として、図５に示す画像入力部１２と同じ
構造のものが用いられる。すなわち、画像入力部１３に
おいても、マッピング用の撮像素子及び対応点探索用の
撮像素子を備えており、マッピング用の２次元画像ＱＶ
Ｒが取得される。
像入力部１３として、図５に示す画像入力部１２と同じ
構造のものが用いられる。すなわち、画像入力部１３に
おいても、マッピング用の撮像素子及び対応点探索用の
撮像素子を備えており、マッピング用の２次元画像ＱＶ
Ｒが取得される。
【００４１】したがって、左右のマッピング用の２次元
画像ＱＶＬ，ＱＶＲを、表示装置１２ｃ，１３ｃ又は表
示装置２２に表示することにより、撮影される２次元画
像ＱＶＬ，ＱＶＲの内容を容易に確認することができ
る。特に、オクルージョンの有無を容易に確認すること
ができる。２次元画像ＱＶＬ，ＱＶＲを見て、対応点探
索に必要な充分な特徴があると判断される場合には、テ
クスチャ投影部１６を使用することなく、マッピング用
の撮像素子のみで撮影された２次元画像ＱＶＬ，ＱＶＲ
に基づいて対応点探索を行うことも可能である。また、
対応点探索用の撮像素子により得られる２次元画像ＱＮ
Ｌ，ＱＮＲ、又はマッピング用の撮像素子により得られ
る２次元画像ＱＶＬ，ＱＶＲのいずれを対応点探索のた
めに用いるかを、環境光に応じて選択することも可能で
ある。これによって、照明条件に係わりなく対応点探索
を正確に行うことが可能となり、信頼性の高い３次元デ
ータＱＺを確実に得ることが可能となる。
画像ＱＶＬ，ＱＶＲを、表示装置１２ｃ，１３ｃ又は表
示装置２２に表示することにより、撮影される２次元画
像ＱＶＬ，ＱＶＲの内容を容易に確認することができ
る。特に、オクルージョンの有無を容易に確認すること
ができる。２次元画像ＱＶＬ，ＱＶＲを見て、対応点探
索に必要な充分な特徴があると判断される場合には、テ
クスチャ投影部１６を使用することなく、マッピング用
の撮像素子のみで撮影された２次元画像ＱＶＬ，ＱＶＲ
に基づいて対応点探索を行うことも可能である。また、
対応点探索用の撮像素子により得られる２次元画像ＱＮ
Ｌ，ＱＮＲ、又はマッピング用の撮像素子により得られ
る２次元画像ＱＶＬ，ＱＶＲのいずれを対応点探索のた
めに用いるかを、環境光に応じて選択することも可能で
ある。これによって、照明条件に係わりなく対応点探索
を正確に行うことが可能となり、信頼性の高い３次元デ
ータＱＺを確実に得ることが可能となる。
【００４２】上に述べた実施形態においては、２次元画
像として静止画を入力した場合について説明したが、２
次元画像として動画を入力する場合にも同様に適用する
ことが可能である。その他、情報処理装置４、多眼入力
カメラ５、３次元データ生成装置１の全体又は各部の構
成、形状、材質、処理内容及び順序などは、本発明の趣
旨に沿って適宜変更することができる。
像として静止画を入力した場合について説明したが、２
次元画像として動画を入力する場合にも同様に適用する
ことが可能である。その他、情報処理装置４、多眼入力
カメラ５、３次元データ生成装置１の全体又は各部の構
成、形状、材質、処理内容及び順序などは、本発明の趣
旨に沿って適宜変更することができる。
【００４３】
【発明の効果】本発明によると、１度の撮影によって対
応点探索用の２次元画像とマッピング用の２次元画像と
を同時に得ることが可能であり、撮影時間を短縮し且つ
対応点探索を容易に且つ正確に行うことができる。
応点探索用の２次元画像とマッピング用の２次元画像と
を同時に得ることが可能であり、撮影時間を短縮し且つ
対応点探索を容易に且つ正確に行うことができる。
【００４４】請求項３の発明によると、撮影される２次
元画像を見てオクルージョンの有無を容易に確認するこ
とができる。
元画像を見てオクルージョンの有無を容易に確認するこ
とができる。
【図１】本発明の実施形態を示す多眼入力カメラの斜視
図である。
図である。
【図２】多眼入力カメラを含んだ３次元データ生成装置
の構成の例を示す図である。
の構成の例を示す図である。
【図３】多眼入力カメラを用いて被写体を撮影する際の
様子を概念的に示す図である。
様子を概念的に示す図である。
【図４】対応点探索の概念を説明するための図である。
【図５】画像入力部の構成を示す図である。
【図６】画像入力部の構成を示す図である。
【図７】フィルタの特性の例を示す図である。
【図８】テクスチャ投影部の構成を示す図である。
【図９】テクスチャ板の例を示す図である。
【図１０】被写体及び撮影によって得られる２次元画像
の例を示す図である。
の例を示す図である。
【図１１】生成され且つマッピングが行われた３次元デ
ータの例を示す図である。
ータの例を示す図である。
１ ３次元データ生成装置 ５ 多眼入力カメラ（多眼式データ入力装置） １２ 画像入力部（１つの画像入力部） １２ｂ 撮像素子 １２ｂＭ 撮像素子（対応点探索用の撮像素子） １２ｂＣ 撮像素子（マッピング用の撮像素子） １２２ フィルタ（赤外領域を遮断するフィルタ） １２３ フィルタ（可視領域を遮断するフィルタ） １３ 画像入力部（他の画像入力部） １３ｂ 撮像素子（対応点探索用の撮像素子） １３１ フィルタ（可視領域を遮断するフィルタ） １６ テクスチャ投影部（投影部） Ｑ 被写体 ＱＬ，ＱＲ ２次元画像 ＱＮＬ，ＱＮＲ ２次元画像 ＱＶＬ，ＱＶＲ ２次元画像
───────────────────────────────────────────────────── フロントページの続き (72)発明者 広瀬 悟 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 2H059 AA08 AA18 5B047 AA07 BC07 BC11 CA12 CB23 5B057 AA20 BA02 BA15 DA07 5C061 AB04 AB06 AB17
Claims (4)
- 【請求項１】被写体の３次元データを再構成するための
対応点探索用の視点位置の異なる複数の２次元画像と、
３次元データへのマッピング用の２次元画像とを入力す
るための方法であって、 可視領域の光が被写体に照射される環境下において、対
応点探索用の模様を赤外領域で発光させて被写体に投影
し、 可視領域を遮断するフィルタを介して被写体を撮影して
対応点探索用の２次元画像を入力し、同時に、赤外領域
を遮断するフィルタを介して被写体を撮影してマッピン
グ用の２次元画像を入力する、 ことを特徴とする３次元データの再構成のための画像入
力方法。 - 【請求項２】対応点探索用の模様を赤外領域で発光させ
て被写体に投影する投影部と、 被写体の２次元画像を互いに異なる複数の視点位置から
入力する複数の画像入力部と、を有し、 少なくとも１つの前記画像入力部には、 赤外領域を遮断するフィルタを介して被写体を撮影する
マッピング用の撮像素子と、可視領域を遮断するフィル
タを介して被写体を撮影する対応点探索用の撮像素子
と、が設けられ、 他の前記画像入力部には、少なくとも、可視領域を遮断
するフィルタを介して被写体を撮影する対応点探索用の
撮像素子が設けられてなる、 ことを特徴とする多眼式データ入力装置。 - 【請求項３】前記他の前記画像入力部には、赤外領域を
遮断するフィルタを介して被写体を撮影するマッピング
用の撮像素子が設けられてなる、 請求項１記載の多眼式データ入力装置。 - 【請求項４】前記マッピング用の撮像素子により取得さ
れた２次元画像に基づいて前記被写体の３次元データを
算出する算出部を有してなる、 請求項２又は請求項３記載の多眼式データ入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11179560A JP2001008235A (ja) | 1999-06-25 | 1999-06-25 | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11179560A JP2001008235A (ja) | 1999-06-25 | 1999-06-25 | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001008235A true JP2001008235A (ja) | 2001-01-12 |
Family
ID=16067878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11179560A Pending JP2001008235A (ja) | 1999-06-25 | 1999-06-25 | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001008235A (ja) |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7911496B2 (en) | 2006-11-02 | 2011-03-22 | Fujifilm Corporation | Method of generating range images and apparatus therefor |
| WO2011133496A2 (en) * | 2010-04-21 | 2011-10-27 | Samir Hulyalkar | System, method and apparatus for generation, transmission and display of 3d content |
| JP2015019346A (ja) * | 2013-06-12 | 2015-01-29 | 日本放送協会 | 視差画像生成装置 |
| US9774789B2 (en) | 2013-03-08 | 2017-09-26 | Fotonation Cayman Limited | Systems and methods for high dynamic range imaging using array cameras |
| US9774831B2 (en) | 2013-02-24 | 2017-09-26 | Fotonation Cayman Limited | Thin form factor computational array cameras and modular array cameras |
| US9787911B2 (en) | 2013-03-14 | 2017-10-10 | Fotonation Cayman Limited | Systems and methods for photometric normalization in array cameras |
| US9794476B2 (en) | 2011-09-19 | 2017-10-17 | Fotonation Cayman Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
| US9800859B2 (en) | 2013-03-15 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for estimating depth using stereo array cameras |
| US9800856B2 (en) | 2013-03-13 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| US9807382B2 (en) | 2012-06-28 | 2017-10-31 | Fotonation Cayman Limited | Systems and methods for detecting defective camera arrays and optic arrays |
| US9811753B2 (en) | 2011-09-28 | 2017-11-07 | Fotonation Cayman Limited | Systems and methods for encoding light field image files |
| US9813616B2 (en) | 2012-08-23 | 2017-11-07 | Fotonation Cayman Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US9813617B2 (en) | 2013-11-26 | 2017-11-07 | Fotonation Cayman Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
| US9858673B2 (en) | 2012-08-21 | 2018-01-02 | Fotonation Cayman Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
| US9866739B2 (en) | 2011-05-11 | 2018-01-09 | Fotonation Cayman Limited | Systems and methods for transmitting and receiving array camera image data |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| US9924092B2 (en) | 2013-11-07 | 2018-03-20 | Fotonation Cayman Limited | Array cameras incorporating independently aligned lens stacks |
| US9936148B2 (en) | 2010-05-12 | 2018-04-03 | Fotonation Cayman Limited | Imager array interfaces |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| US9955070B2 (en) | 2013-03-15 | 2018-04-24 | Fotonation Cayman Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US9986224B2 (en) | 2013-03-10 | 2018-05-29 | Fotonation Cayman Limited | System and methods for calibration of an array camera |
| US10009538B2 (en) | 2013-02-21 | 2018-06-26 | Fotonation Cayman Limited | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US10027901B2 (en) | 2008-05-20 | 2018-07-17 | Fotonation Cayman Limited | Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras |
| US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
| US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
| US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
| US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
| US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
| US10311649B2 (en) | 2012-02-21 | 2019-06-04 | Fotonation Limited | Systems and method for performing depth based image editing |
| US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US10390005B2 (en) | 2012-09-28 | 2019-08-20 | Fotonation Limited | Generating images from light fields utilizing virtual viewpoints |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US10805589B2 (en) | 2015-04-19 | 2020-10-13 | Fotonation Limited | Multi-baseline camera array system architectures for depth augmentation in VR/AR applications |
| US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
| US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
| US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
-
1999
- 1999-06-25 JP JP11179560A patent/JP2001008235A/ja active Pending
Cited By (91)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7911496B2 (en) | 2006-11-02 | 2011-03-22 | Fujifilm Corporation | Method of generating range images and apparatus therefor |
| US11412158B2 (en) | 2008-05-20 | 2022-08-09 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US10027901B2 (en) | 2008-05-20 | 2018-07-17 | Fotonation Cayman Limited | Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
| WO2011133496A2 (en) * | 2010-04-21 | 2011-10-27 | Samir Hulyalkar | System, method and apparatus for generation, transmission and display of 3d content |
| WO2011133496A3 (en) * | 2010-04-21 | 2012-04-05 | Samir Hulyalkar | System, method and apparatus for generation, transmission and display of 3d content |
| US9936148B2 (en) | 2010-05-12 | 2018-04-03 | Fotonation Cayman Limited | Imager array interfaces |
| US10455168B2 (en) | 2010-05-12 | 2019-10-22 | Fotonation Limited | Imager array interfaces |
| US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US11875475B2 (en) | 2010-12-14 | 2024-01-16 | Adeia Imaging Llc | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US11423513B2 (en) | 2010-12-14 | 2022-08-23 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US9866739B2 (en) | 2011-05-11 | 2018-01-09 | Fotonation Cayman Limited | Systems and methods for transmitting and receiving array camera image data |
| US10742861B2 (en) | 2011-05-11 | 2020-08-11 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
| US10218889B2 (en) | 2011-05-11 | 2019-02-26 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
| US9794476B2 (en) | 2011-09-19 | 2017-10-17 | Fotonation Cayman Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
| US10375302B2 (en) | 2011-09-19 | 2019-08-06 | Fotonation Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
| US10430682B2 (en) | 2011-09-28 | 2019-10-01 | Fotonation Limited | Systems and methods for decoding image files containing depth maps stored as metadata |
| US10984276B2 (en) | 2011-09-28 | 2021-04-20 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
| US11729365B2 (en) | 2011-09-28 | 2023-08-15 | Adela Imaging LLC | Systems and methods for encoding image files containing depth maps stored as metadata |
| US10275676B2 (en) | 2011-09-28 | 2019-04-30 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
| US9864921B2 (en) | 2011-09-28 | 2018-01-09 | Fotonation Cayman Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
| US10019816B2 (en) | 2011-09-28 | 2018-07-10 | Fotonation Cayman Limited | Systems and methods for decoding image files containing depth maps stored as metadata |
| US20180197035A1 (en) | 2011-09-28 | 2018-07-12 | Fotonation Cayman Limited | Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata |
| US9811753B2 (en) | 2011-09-28 | 2017-11-07 | Fotonation Cayman Limited | Systems and methods for encoding light field image files |
| US10311649B2 (en) | 2012-02-21 | 2019-06-04 | Fotonation Limited | Systems and method for performing depth based image editing |
| US9807382B2 (en) | 2012-06-28 | 2017-10-31 | Fotonation Cayman Limited | Systems and methods for detecting defective camera arrays and optic arrays |
| US10334241B2 (en) | 2012-06-28 | 2019-06-25 | Fotonation Limited | Systems and methods for detecting defective camera arrays and optic arrays |
| US11022725B2 (en) | 2012-06-30 | 2021-06-01 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
| US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
| US9858673B2 (en) | 2012-08-21 | 2018-01-02 | Fotonation Cayman Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
| US10380752B2 (en) | 2012-08-21 | 2019-08-13 | Fotonation Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
| US9813616B2 (en) | 2012-08-23 | 2017-11-07 | Fotonation Cayman Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US10462362B2 (en) | 2012-08-23 | 2019-10-29 | Fotonation Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US10390005B2 (en) | 2012-09-28 | 2019-08-20 | Fotonation Limited | Generating images from light fields utilizing virtual viewpoints |
| US10009538B2 (en) | 2013-02-21 | 2018-06-26 | Fotonation Cayman Limited | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US9774831B2 (en) | 2013-02-24 | 2017-09-26 | Fotonation Cayman Limited | Thin form factor computational array cameras and modular array cameras |
| US9774789B2 (en) | 2013-03-08 | 2017-09-26 | Fotonation Cayman Limited | Systems and methods for high dynamic range imaging using array cameras |
| US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
| US9986224B2 (en) | 2013-03-10 | 2018-05-29 | Fotonation Cayman Limited | System and methods for calibration of an array camera |
| US10225543B2 (en) | 2013-03-10 | 2019-03-05 | Fotonation Limited | System and methods for calibration of an array camera |
| US11272161B2 (en) | 2013-03-10 | 2022-03-08 | Fotonation Limited | System and methods for calibration of an array camera |
| US10958892B2 (en) | 2013-03-10 | 2021-03-23 | Fotonation Limited | System and methods for calibration of an array camera |
| US11570423B2 (en) | 2013-03-10 | 2023-01-31 | Adeia Imaging Llc | System and methods for calibration of an array camera |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9800856B2 (en) | 2013-03-13 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
| US9787911B2 (en) | 2013-03-14 | 2017-10-10 | Fotonation Cayman Limited | Systems and methods for photometric normalization in array cameras |
| US10547772B2 (en) | 2013-03-14 | 2020-01-28 | Fotonation Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US10412314B2 (en) | 2013-03-14 | 2019-09-10 | Fotonation Limited | Systems and methods for photometric normalization in array cameras |
| US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US10638099B2 (en) | 2013-03-15 | 2020-04-28 | Fotonation Limited | Extended color processing on pelican array cameras |
| US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
| US10542208B2 (en) | 2013-03-15 | 2020-01-21 | Fotonation Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US10455218B2 (en) | 2013-03-15 | 2019-10-22 | Fotonation Limited | Systems and methods for estimating depth using stereo array cameras |
| US10674138B2 (en) | 2013-03-15 | 2020-06-02 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US9800859B2 (en) | 2013-03-15 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for estimating depth using stereo array cameras |
| US9955070B2 (en) | 2013-03-15 | 2018-04-24 | Fotonation Cayman Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| JP2015019346A (ja) * | 2013-06-12 | 2015-01-29 | 日本放送協会 | 視差画像生成装置 |
| US10540806B2 (en) | 2013-09-27 | 2020-01-21 | Fotonation Limited | Systems and methods for depth-assisted perspective distortion correction |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| US9924092B2 (en) | 2013-11-07 | 2018-03-20 | Fotonation Cayman Limited | Array cameras incorporating independently aligned lens stacks |
| US11486698B2 (en) | 2013-11-18 | 2022-11-01 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US10767981B2 (en) | 2013-11-18 | 2020-09-08 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US9813617B2 (en) | 2013-11-26 | 2017-11-07 | Fotonation Cayman Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
| US10708492B2 (en) | 2013-11-26 | 2020-07-07 | Fotonation Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
| US10574905B2 (en) | 2014-03-07 | 2020-02-25 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
| US11546576B2 (en) | 2014-09-29 | 2023-01-03 | Adeia Imaging Llc | Systems and methods for dynamic calibration of array cameras |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| US11368662B2 (en) | 2015-04-19 | 2022-06-21 | Fotonation Limited | Multi-baseline camera array system architectures for depth augmentation in VR/AR applications |
| US10805589B2 (en) | 2015-04-19 | 2020-10-13 | Fotonation Limited | Multi-baseline camera array system architectures for depth augmentation in VR/AR applications |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US10818026B2 (en) | 2017-08-21 | 2020-10-27 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US11562498B2 (en) | 2017-08-21 | 2023-01-24 | Adela Imaging LLC | Systems and methods for hybrid depth regularization |
| US11699273B2 (en) | 2019-09-17 | 2023-07-11 | Intrinsic Innovation Llc | Systems and methods for surface modeling using polarization cues |
| US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
| US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
| US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
| US11842495B2 (en) | 2019-11-30 | 2023-12-12 | Intrinsic Innovation Llc | Systems and methods for transparent object segmentation using polarization cues |
| US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
| US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
| US11683594B2 (en) | 2021-04-15 | 2023-06-20 | Intrinsic Innovation Llc | Systems and methods for camera exposure control |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001008235A (ja) | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 | |
| CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
| Mori et al. | A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects | |
| US10311648B2 (en) | Systems and methods for scanning three-dimensional objects | |
| JP4198054B2 (ja) | ３ｄビデオ会議システム | |
| ES2402229T3 (es) | Método y dispositivo de fusión de imágenes | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| JP3647376B2 (ja) | 視点位置検出装置、視点位置検出方法及び立体画像表示システム | |
| JP2001194114A (ja) | 画像処理装置および画像処理方法、並びにプログラム提供媒体 | |
| WO2018028152A1 (zh) | 一种图像采集设备、虚拟现实设备 | |
| JP2017517794A (ja) | 画像処理方法および画像処理装置 | |
| JP3524147B2 (ja) | ３次元画像表示装置 | |
| WO2019184185A1 (zh) | 目标图像获取系统与方法 | |
| WO2019184184A1 (zh) | 目标图像获取系统与方法 | |
| US6809771B1 (en) | Data input apparatus having multiple lens unit | |
| JPH11155152A (ja) | 三次元形状情報入力方法及び装置及び画像入力装置 | |
| JP2023511670A (ja) | 多視点カメラシステムからのデータを用いるなどで深度センサからの深度データを増強する方法及びシステム | |
| CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
| CN113382224B (zh) | 一种基于全息沙盘的交互手柄展示方法及装置 | |
| JP2996067B2 (ja) | 三次元計測装置 | |
| JP2004069583A (ja) | 画像処理装置 | |
| JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム | |
| JP4337203B2 (ja) | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 | |
| JPH05205030A (ja) | 撮影人物の視線一致表示装置 | |
| JP3253328B2 (ja) | 距離動画像入力処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |