JP2018121314A

JP2018121314A - 平面画像から立体画像を作成する立体化方法

Info

Publication number: JP2018121314A
Application number: JP2017013736A
Authority: JP
Inventors: 大竹　與志知; Yoshitomo Otake; 與志知大竹
Original assignee: Otanigiken Co Ltd
Current assignee: Otanigiken Co Ltd
Priority date: 2017-01-29
Filing date: 2017-01-29
Publication date: 2018-08-02

Abstract

【課題】従来の平面画像から立体画像を作成する方法では、平面動画を分岐した画像の先行後行を制御するが、先行後行の制御に時間がかかり、被写体像の変化に対する追従性が悪いことである。発明が解決しようとする課題は、制御時間の短縮と被写体像の変化に対する追従性を改善することである。【解決手段】平面動画を分岐した画像を常に遅延または先行させた状態で、立体用画像対として出力する毎に、被写体像の移動方向に応じて、元画像と分岐したの一方を立体画像の左目用、他方を右目用とする。これにより、被写体像の左右変化が急激に起こった場合の追従性が改善される。【選択図】図７

Description

本発明は、立体テレビジョン方式における、平面画像から立体画像を作成する方法に関するものである。

一般に動画は平面画像であり、立体画像は極めて少ない。また、過去の膨大な画像はほとんど平面画像である。立体画像は、左右のレンズを有する高価な立体カメラにより得られた一対の画像より作成される。そして、立体感は立体カメラによる左右のレンズ間距離により決まってしまう。

その為、平面画像から立体画像を生成する各種方式が提案されてきている。これにより、低価格で、立体感を自由にコントロールできる立体画像が得られ、過去の膨大な動画を立体画像として見られる。特に撮影機器や被写体が一定速度で移動する場合は、左右の撮影機器誤差がある立体撮影機による立体画像に比べ遜色がない立体映像を実現できる。

本明細書の特許文献１では、「２次元画像の３次元化方法として、２次元画像をフレーム単位で時間軸方向に遅らせるかまたは進ませることによって実現する方法が知られている」と述べている。以下、この方法の原理を整理しておく。

図１はビデオカメラが右方向（１⇒２）に移動しながら被写体を撮影している場合の原理を説明する図である。

図１の１０１は被写体、１０２はカメラ、１０３は撮影位置１、１０４は撮影位置２、１０５はカメラ移動、１０６は撮影範囲、１０７は立体角、１０８は画像Ａ、１０９は画像Ｂ、１１０は左目用撮影画面、１１１は右目用撮影画面、１１２は重ね合わせ像、１１３は像移動を表す。

図１に示すように、ビデオカメラが右方向（１⇒２）に移動１０５しながら被写体１０１を撮影している場合を撮影CRとする。図３に示すように、ビデオカメラ１０２が左方向に移動１０５しながら被写体１０１を撮影している場合を撮影CLとする。

また、図４に示すように、ビデオカメラ１０２固定で左方向（１⇒２）に移動４０１する被写体１０１を撮影する場合を撮影OLとする。図５に示すように、被写体が右方向に移動４０１する被写体を撮影する場合を撮影ORとする。

図１の場合を考える。図１は、ビデオカメラ１０２が右方向（１⇒２）に移動１０５しながら被写体１０１を撮影している様子を示す。カメラ１０２が左側での撮影画像Ａが撮影順が先の画像であり、カメラ１０２が右側での撮影画像Ｂが後の画像である。この場合、画面１１２、１１３上では被写体像が右から左に移動１１３する。

被写体像が右から左に移動１１３する場合、撮影順が先の画像（画像Ａ）を左目用の左画像、後の画像（画像Ｂ）を右目用の右画像とする。

左側の画像Ａ１０８は被写体が右側に寄り被写体を左斜め方向から見た画像となる。ここでは、レンズを通して反転した画像を元に戻して表現している。以下同様である。右側の画像Ｂ１０９は被写体が左側に寄り被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。

図１でカメラ１０２の移動１０５の距離を底辺とし２等辺三角形の頂点を被写体１０１とする場合の頂点の角度を立体角θ１０７とよび、立体感のレベルを表す指標とする。

図２は再生時を説明する図である。

図２の２０１は左目用モニター画面、２０２は右目用モニター画面、２０３はレンズ、２０４は左目、２０５は右目、２０６は合成立体画、２０７は被写体虚像距離、２０８は立体角を表す。

図２に示すように、左側の左目用の撮影画像Ａ１０８をレンズ２０３を通して左目２０４で見、右側の右目用の撮影画像Ｂ１０９をレンズ２０３を通して右目２０５で見た場合を示す。前方には左目で見た虚像１０１と右目で見た虚像１０１（以下虚像を単に像と略す）が見えるのでこれを一致させる。このとき、左側の撮影画像Ａ１０８は被写体像が右側に寄り被写体を左斜め方向から見た画像となり、右側の撮影画像Ｂ１０９は被写体像が左側に寄り被写体を右斜め方向から見た画像となる。従って、左右の目でみた像は立体感が得られる。

ここで、両目２０４、２０５の間の距離を底辺とし２等辺三角形の頂点を被写体像とした場合の頂点の角度を立体角θm２０８とよび、立体感のレベルを表す指標とする。この立体角θmは、撮影時の立体角θ１０７とは一般に異なる。また、左目の像の画面は左に、右目の像の画面は右にずれる。

図３は撮影CLの場合の原理を説明する図である。

図３は、ビデオカメラ１０２が左方向（１⇒２）に移動１０５しながら被写体１０１を撮影している様子を示す。カメラ１０２が右側での撮影画像Ｂが撮影順が先の画像であり、カメラ１０２が左側での撮影画像Ａが後の画像である。この場合、画面１１２、１１３上では被写体像が左から右に移動１１３する。

被写体像が左から右に移動１１３する場合、撮影順が先の画像（画像Ｂ）を右目用の右画像、後の画像（画像Ａ）を左目用の左画像とする。

左側の画像Ａ１０８は被写体が右側に寄り被写体を左斜め方向から見た画像となる。右側の画像Ｂ１０９は被写体が左側に寄り被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。

カメラ１０２の移動１０５の距離を底辺とし２等辺三角形の頂点を被写体１０１とする場合の頂点の角度を立体角θ１０７とよび、立体感のレベルを表す指標とする。

再生時はCRの場合と同じであり、図２での説明となる。

図４は撮影OLの場合の原理を説明する図である。

図４の４０１は被写体移動を表す。

図４は、ビデオカメラ固定で左方向（１⇒２）に移動４０１する被写体１０１をビデオカメラ１０２で撮影する様子を示す。被写体１０１が右側にある撮影画像Ａが撮影順が先の画像であり、被写体１０１が左側の撮影画像である撮影画像Ｂが後の画像である。この場合、CRの場合と同じく画面１２、１１３上では被写体像が右から左に移動１１３する。

被写体１０１の移動距離を底辺とし逆２等辺三角形の頂点をカメラ１０２とする場合の頂点の角度もCRの場合と同様に立体角θ１０７とよび、立体感のレベルを表す指標とする。

再生時はCRの場合と同じであり、図２での説明となる。

図５は撮影ORの場合の原理を説明する図である。

図５では、ビデオカメラ固定で右方向（１⇒２）に移動４０１する被写体１０１をビデオカメラ１０２で撮影している様子を示す。被写体１０１が左側にある撮影画像Ｂが撮影順が先の画像であり、被写体１０１が右側の撮影画像である撮影画像Ａが後の画像である。この場合、CLの場合と同じく画面上では被写体像が左から右（１⇒２）に移動する。

再生時はCRの場合と同じであり、図２での説明となる。

以上より以下の結果が得られる。

結果１：画面上の像移動方向が左方向の場合は、撮影が先の画像を左目用の左画像（画像Ａ）、後の画像を右目用の右画像（画像Ｂ）とする。像移動方向が左方向の場合は、撮影機移動が右方向または被写体移動が左方向の場合である。

結果２：画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像（画像Ｂ）、後の画像を左目用の左画像（画像Ａ）とする。像移動方向が右方向の場合は撮影機移動が左方向または被写体移動が右方向の場合である。

結果３：画像Ａは左側（左目用）の画像で被写体像が右側に寄る場合であり、被写体を左斜め方向から見た画像となる。また、画像Ｂは右側（右目用）の画像で被写体像が左側に寄る場合であり、被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。

特開平０７−２２２２０１

背景技術では、２次元画像から３次元画像への変換方法の原理を示した。ここではまず、変換方法の例である図６を用いて示しその課題を明らかにする。動画は連続的な画像信号であり、四角のブロックは主としてメモリー等を含む電子回路である。以下の同様な図は同じである。

図６の６０１は入力動画、６０２は動画Ａ、６０３は動画Ｂ、６０４は立体左右画像生成、６０５は画像Ｂの先行後行制御、６０６は動画Ａ、６０７は動画Ｂ、６０８は動画Ｂ、６０９は遅延、６１０は進ませる、６１１は画像Ａ群、６１２は画像Ｂ群、６１３は画像Ｂ群、６１４は画像Ａ、６１５は画像Ｂ、６１６は撮影順２、６１７は撮影順１、６１８は撮影順３、６１９は立体画像処理、６２０は出力画像を表す。

入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。入力動画は外部から直接入力するかファイル等の記録媒体の再生により得られる。一対の動画は例えば、入力動画を２つに分岐するか、複製することにより得られる。平面動画としては、放送用動画、インタ-ネット経由の動画、配信された動画、カメラ機器により撮影された動画像等々、種々の動画がある。

この入力動画を「立体左右画像生成ブロック」６０４に入力する。ここではまず、動画Ａ６０２を立体画像の左目用、動像Ｂ６０３を右目用とする。

次に、「画像Ｂの先行後行制御ブロック」６０５に入力する。ここでは、動画Ａ６０２の画像Ａと画像Ａの前後画像を比較し、被写体像の移動方向と量を算出する。例えば、画像Ａと画像Ａの前後画像を画像認識でとらえて比較し、被写体像が画面上をどの方向にどれだけ動いたかを算出する。画像認識技術は従来技術である。

次に、これをもとに、画像Ｂの先行後行の制御をおこなう。

「背景技術」のところで述べたように、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像（画像Ａ）、後の画像が右目用の右画像（画像Ｂ）となる。そのために動画Ｂ６０７を先行(進ませる)。実際には動画Ａ６０６を遅延させることになる。

画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像（画像Ｂ）、後の画像を左目用の左画像（画像Ａ）とする。そのために動画Ｂ６０７を後行(遅らせる、遅延)。

ここで、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５は、「背景技術」のところで述べたように、立体画像の左右の撮影画面となる。

次に、画像Ａ６１４と画像Ｂ６１５を「立体画像処理ブロック」６１９に入力する。ここでは立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。

次に、「立体画像処理ブロック」から立体画像処理された「出力画像」６２０が出力される。

最後に、図示しないが、立体画像処理に応じた立体画像再生装置により、立体画像が再生される。

この方法での課題は、画像Ｂの先行後行の制御に時間がかかり、被写体像の左右変化が急激に起こった場合の追従性が悪いことである。

同一の平面動画の一方を動画Ａ、他方を動像Ｂとし、動画Ａに対して動画Ｂを再生中は常に遅延または先行させた状態で、動画Ａの画像Ａと動画Ｂの画像Ｂの対を立体用画像対として出力する毎に、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とするように制御する。

これにより、被写体像の移動方向の左右変化が急激に起こった場合の立体化処理の追従性が改善される。

図１はビデオカメラが右方向に移動しながら被写体を撮影している場合を説明する図である。（背景技術）図２は再生時を説明する図である。（背景技術）図３はビデオカメラが左方向に移動しながら被写体を撮影している場合を説明する図である。（背景技術）図４はビデオカメラ固定で左方向に移動する被写体を撮影している場合の原理を説明する図である。（背景技術）図５はビデオカメラ固定で右方向に移動する被写体を撮影している場合の原理を説明する図である。（背景技術）図６は課題を明らかにする為の変換方法の例のブロック図である。（発明が解決しようとする課題）図７は実施例１を説明するブロック図である。（実施例１）図８は実施例１を説明するブロック図である。（実施例１）図９は実施例２を説明するブロック図である。（実施例２）図１０は実施例２を説明するブロック図である。（実施例２）図１１は実施例３を説明するブロック図である。（実施例３）図１２は実施例３を説明するブロック図である。（実施例３）図１３は実施例４を説明するブロック図である。（実施例４）図１４は実施例４を説明するブロック図である。（実施例４）

同一の平面動画対の一方を動画Ａ、他方を動画Ｂとし、動画Ａに対して動画Ｂを再生中は常に遅延または先行させた状態で、動画Ａの画像Ａと動画Ｂの画像Ｂの対を立体用画像対として出力する毎に、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とする。
これにより、被写体像の移動方向の左右変化が急激に起こった場合の立体化処理の追従性が改善される。

図７は発明の実施例１を説明するブロック図である。

図７の７０１は左右画像の制御、７０２は画像Ｂ0を表す。

図７の入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。

この入力動画６０１を「立体左右画像生成ブロック」６０４に入力する。ここでは、まず動画Ｂ６０８を先行(進ませる)６１０させる。実際には画像Ａを遅延させる。再生中はこの状態が固定される。

次に、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５を「左右画像の制御ブロック」７０１に入力する。はじめに、画像Ａと画像Ｂを比較し被写体像移動方向と量を算出する。

次に、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像、後の画像が右目用の右画像とする。ここで、動画Ｂ６０７を先行(進ませる)させた場合、左目用の左画像は画像Ａとなり、右目用の右画像は画像Ｂとなる。従って、左目用の左画像を画像Ａ、右目用の右画像を画像Ｂとする。

画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像、後の画像を左目用の左画像とする。ここで、動画Ｂ６０７を先行(進ませる)させた場合、左目用の左画像は画像Ｂとなり、右目用の右画像は画像Ａとなる。従って、左目用の左画像を画像Ｂとし、右目用の右画像を画像Ａとする。

この制御は、画像Ａと画像Ｂの対を立体用画像対として出力する毎におこなう。

次に、画像Ａと画像Ｂを「立体画像処理ブロック」６１９で立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。次に、「立体画像処理ブロック」から立体画像処理された「出力画像」６２０が出力される。

本発明は、同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂとを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする。

従って、被写体像の左右変化が急激に起こった場合の立体化処理の追従性が改善される。また、変化点での左右の画像選択が正確に行える。

以上では、図７を用いて動画Ｂ６０８を先行(進ませる)６１０させた場合について述べたが、図８は動画Ｂ６０８を後行(遅らせる、遅延)６１０させた場合の説明図である。図８の場合のプロセスは、図７の場合と同様であるが、結果は逆となる。

すなわち、被写体像が左方向に移動する場合は、画像Ａ６１４を右目用とし画像Ｂ６１５を左目用画像とする。また、被写体像が右方向に移動する場合は、画像Ａを左目用とし画像Ｂを右目用画像とする。

図９は実施例２を説明するブロック図である。
図９の９０１は動画ファイルＡ、９０２は動画ファイルＢ、９０３は動画ファイルＡ、９０４は動画ファイルＢ、９０５はスタート、９０６はスタート、９０７は左右画像の制御を表す。

入力動画６０１は一対かつ同一の平面動画ファイルであり、一方を動画ファイルＡ９０１、他方を動画ファイルＢ９０２とする。

この入力動画６０１を「立体左右画像生成ブロック」６０４に入力する。ここではまず、動画ファイルＢ９０４を先行(進ませる)スタート９０６させる。その後動画ファイルＡ９０３が後行スタート９０５となる。再生中はこの状態が固定される。

次に、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５を「左右画像の制御ブロック」９０７に入力する。はじめに、画像Ａと画像Ｂを比較し被写体像移動方向と量を算出する。

本発明はまた、動画Ａは動画ファイルＡ、動画Ｂは動画ファイルＢより再生されたものであり、動画ファイルＡに対して動画ファイルＢの再生のスタートを遅延または先行させることにより、立体用画像対用の画像Ａと画像Ｂを選択することを特徴とする。

従って、動画Ｂを回路的に進めるまたは遅延させる場合に比べ、簡単な構成で立体化処理ができる。

以上では、図９を用いて動画Ｂファイル９０４を先行(進ませる)スタート９０６させる場合について述べたが、図１０は動画ファイルＢ９０４を後行(遅らせる、遅延)スタート９０６させた場合の説明図である。図１０の場合のプロセスは、図９の場合と同様であるが、結果は逆となる。

すなわち、被写体像が左方向に移動する場合は、画像Ａを右目用とし画像Ｂを左目用画像とする。また、被写体像が右方向に移動する場合は、画像Ａを左目用とし画像Ｂを右目用画像とする。

図１１は実施例３を説明するブロック図である。
図１１の１１０１は画像ＢＢを表す。

図１１の入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。

この入力動画６０１を「立体左右画像生成ブロック」６０４内の「画像ＢＢ作成ブロック」に入力する。

ここではまず、動画Ａの画像Ａ６１４をメモリーに保存する。同時に、画像Ａと同じ動画Ｂの画像Ｂ0と後一定範囲の画像Ｂ群を「画像Ｂ群ブロック」６１３内のメモリーに保存する。

次に画像Ｂ群から任意の画像Ｂを選択して画像ＢＢ１１０１とする。

次に、「左右画像の制御ブロック」９０７に画像Ａ６１４と画像ＢＢ１１０１の対を同期させて入力する。ここではまず、画像Ａと画像ＢＢを比較し、画像内の被写体の移動方向と移動量（絶対値）を計算する。

次に、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像、後の画像が右目用の右画像とする。ここで、左目用の左画像は画像Ａとなり、右目用の右画像は画像ＢＢとなる。従って、左目用の左画像を画像Ａ、右目用の右画像を画像ＢＢとする。

画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像、後の画像を左目用の左画像とする。ここで、左目用の左画像は画像ＢＢとなり、右目用の右画像は画像Ａとなる。従って、左目用の左画像を画像ＢＢ、右目用の右画像を画像Ａとする。

ここで、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像ＢＢ１１０１は、「背景技術」のところで述べたように、立体画像の左右の撮影画面となる。

「左右画像生成ブロック」での入力から出力の作業は、動画Ａの各画像の順に順次実行される。「左右画像生成ブロック」に入力する画像は、初回は画像Ａで１ヶ、画像Ｂで複数個であるが、次回からは画像Ａと画像Ｂが１ヶづつ入力され押し出される形で順次入れ替わる。

次に、画像Ａ、画像ＢＢを同期させて「左右画像の制御ブロック」９０７から出力する。

次に、「立体画像処理ブロック」６１９に左目用画像Ａと右目用画像ＢＢを入力する。ここで、立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。次に、「立体画像処理ブロック」６１９から立体画像処理された「出力画像」６２０が出力される。

本発明は、同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂ（実施例では画像ＢＢ）とを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする。

本発明はまた、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする。

以上では、図１１用いて画像Ｂ0とその後一定範囲の画像Ｂ群６１３を考えた場合について述べたが、図１２は画像Ｂ0とその前一定範囲の画像Ｂ群６１３を考えた場合の説明図である。図１２の場合のプロセスは、図１１の場合と同様であるが、結果は逆となる。

すなわち、被写体像が左方向に移動する場合は、画像Ａ６１４を右目用とし画像ＢＢ１１０１を左目用画像とする。また、被写体像が右方向に移動する場合は、画像Ａ６１４を左目用とし画像ＢＢ１１０１を右目用画像とする。

図１３は実施例４を説明するブロック図である。
図１３の１３０１はＡＢ比較、１３０２は評価選択を表す。

図１３の入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。

次に、「ＡＢ比較ブロック」１３０１で画像Ａと画像Ｂ群６１３の画像Ｂを順に比較し、画像内の被写体の移動量（絶対値）と移動方向を計算する。

次に、画像内の被写体の移動量（絶対値）が一定範囲内で最大値の画像Ｂを選択して画像ＢＢ１１０１とし、すべて一定範囲外の場合は画像Ａと同一の画像Ｂ0を選択して画像ＢＢ１１０１とする。下限距離や上限距離は画面の大きさに対する割合で定める。基準は立体感や不自然さ等を考慮して定める。

次に、「左右画像の制御ブロック」９０７に画像Ａ６１４と画像ＢＢ１１０１の対を同期させて入力する。

ここで、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像、後の画像が右目用の右画像とする。ここで、左目用の左画像は画像Ａとなり、右目用の右画像は画像ＢＢとなる。従って、左目用の左画像を画像Ａ、右目用の右画像を画像ＢＢとする。

本発明はまた、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存し、画像Ａと画像Ｂの比較することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする。

従って、動画Ｂを回路的に進めるまたは遅延させる場合に比べ、簡単な構成で立体化処理ができる。また、適切な立体感を管理することができる。

以上では、図１３用いて画像Ｂ0とその後一定範囲の画像Ｂ群６１３を考えた場合について述べたが、図１４は画像Ｂ0とその前一定範囲の画像Ｂ群６１３を考えた場合の説明図である。図１４の場合のプロセスは、図１３の場合と同様であるが、結果は逆となる。

実施例１、２、３、４において、実施例の初期設定やコントロールに対して、マニュアルでコントロールできるようにする。

例えば実施例１の初期設定としては、動画Ｂを先行(進ませる)または後行(遅らせる、遅延)させる場合の大きさがある。ここで、大きさは視差量の大きさに略比例する。従って、この大きさのマニュアルコントロールは立体感の指標である視差量のマニュアルコントロールとなる。以下同様である。

例えば実施例２の初期設定としては、動画Ｂファイルを先行(進ませる)スタートまたは後行(遅らせる、遅延)スタートさせる場合の大きさがある。ここで、大きさは視差量の大きさに略比例する。

例えば実施例３の初期設定としては、画像Ｂ群の範囲がある。

例えば実施例３で、画像ＢＢの選択をマニュアルできるようにする。ここで、画像ＢＢの位置は視差量の大きさに略比例する。

例えば実施例４の初期設定としては、画像Ｂ群の範囲がある。

例えば実施例４で、画像ＢＢの選択のコントロールをマニュアルできるようにする。ここで、画像ＢＢの位置は視差量の大きさに略比例する。

例えば実施例１、２、３、４の初期設定としては、制御に用いる主被写体像の選択がある。

例えば実施例１、２、３、４で、画像Ａを右目用画像とするか左目用画像とするかのコントロールをマニュアルできるようにする。また、調整した場合、動画にマニュアルコントロールの履歴を加えて出力、記録して、次回の再生からこの履歴に従うようにする。これにより画像を確認しながら不自然なところを調整することができ、これを繰り返すことにより、精度の高い立体動画が作れる。

実施例１、２、３、４に、各種機能を追加する。

例えば、画像Ａと画像Ｂの対により立体視するときに、画像Ａと画像Ｂは必ずしも一致しない。その場合の対応としては、画面の拡大縮小、画面からはみ出した部分のトリミング等をほどこして対応する。

また上記で、画面内の複数の被写体像は必ずしも移動方向が一致しない。その場合は制御に用いる被写体像として主被写体像を選択して対応することができる。画面分割してその中心位置あるいは特定位置の被写体像を主被写体像として選択することもでき、また人物等の特別な被写体像を主被写体像として選択することもできる。この場合の主被写体像と逆の動きをする被写体は、画像Ａと画像Ｂで同じとすることもできる。

これは上記実施例すべてに共通であるが，本特許は、カメラ機器に搭載すれば単レンズの立体画像撮像装置となり、立体再生機器に搭載すれば平面画像入力の立体表示装置となる。本特許を搭載した単独の装置は、平面画像信号を入力し立体画像信号に変換して出力する立体画像変換機器となる。入力は、カメラ機器でも再生装置でも良く、出力先は再生機器でも記録機器でも良い。

立体画像は、左右のレンズを有する高価な立体カメラにより得られた一対の画像より作成されるため高価となる。また、一般に動画は平面画像であり、立体画像は極めて少ない。これに対して平面画像から立体画像を作成する方法により、安価に立体画像を製作できる。また、膨大な平面動画遺産を立体画像化することができる。本発明は、この平面画像から立体画像を作成する方法の性能改善、装置の簡素化等に寄与する。

１０１被写体
１０２カメラ
１０３撮影順１
１０４撮影順２
１０５カメラ移動
１０６撮影範囲
１０７立体角
１０８画像Ａ
１０９画像Ｂ
１１０左目用撮影画面
１１１右目用撮影画面
１１２重ね合わせ像
１１３像移動
２０１左目用モニター画面
２０２右目用モニター画面
２０３レンズ
２０４左目
２０５右目
２０６合成立体画
２０７被写体虚像距離
２０８立体角
４０１被写体移動
６０１入力動画
６０２動画Ａ
６０３動画Ｂ
６０４立体左右画像生成
６０５画像Ｂの先行後行制御
６０６動画Ａ
６０７動画Ｂ
６０８動画Ｂ
６０９遅延
６１０進ませる
６１１画像Ａ群
６１２画像Ｂ群
６１３画像Ｂ群
６１４画像Ａ
６１５画像Ｂ
６１６撮影順２
６１７撮影順１
６１８撮影順３
６１９立体画像処理
６２０出力画像
７０１左右画像の制御
７０２画像Ｂ0
９０１動画ファイルＡ
９０２動画ファイルＢ
９０３動画ファイルＡ
９０４動画ファイルＢ
９０５スタート
９０６スタート
９０７左右画像の制御
１１０１画像ＢＢ
１３０１ＡＢ比較
１３０２評価選択

Claims

同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂとを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする立体画像作成方法。
請求項１において、動画Ａは動画ファイルＡ、動画Ｂは動画ファイルＢより再生されたものであり、動画ファイルＡに対して動画ファイルＢの再生のスタートを遅延または先行させることにより、立体用画像対用の画像Ａと画像Ｂを選択することを特徴とする立体画像作成方法。
請求項１において、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする立体画像作成方法。
請求項１において、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存し、画像Ａと画像Ｂの比較することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする立体画像作成方法。