JP2013546017A - 3次元画像撮像方法 - Google Patents

3次元画像撮像方法 Download PDF

Info

Publication number
JP2013546017A
JP2013546017A JP2013535592A JP2013535592A JP2013546017A JP 2013546017 A JP2013546017 A JP 2013546017A JP 2013535592 A JP2013535592 A JP 2013535592A JP 2013535592 A JP2013535592 A JP 2013535592A JP 2013546017 A JP2013546017 A JP 2013546017A
Authority
JP
Japan
Prior art keywords
optical axis
imaging
optical
dimensional image
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013535592A
Other languages
English (en)
Other versions
JP5821150B2 (ja
Inventor
博史 田原
将也 小阪
藤井  透
恒之 久保
Original Assignee
オリンパスメモリーワークス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメモリーワークス株式会社 filed Critical オリンパスメモリーワークス株式会社
Publication of JP2013546017A publication Critical patent/JP2013546017A/ja
Application granted granted Critical
Publication of JP5821150B2 publication Critical patent/JP5821150B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • G03B35/04Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B25/00Viewers, other than projection viewers, giving motion-picture effects by persistence of vision, e.g. zoetrope
    • G03B25/02Viewers, other than projection viewers, giving motion-picture effects by persistence of vision, e.g. zoetrope with interposed lenticular or line screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

本発明は、互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像方法、及び3次元画像撮像装置であり、撮像装置自体を動かさずに撮像装置の一つの撮像光学系の光軸を、撮像範囲の少なくとも一部が重複する第1の光軸と第2の光軸との間で遷移させ、この光軸遷移において、撮像光学系の光軸が第1の光軸になっているタイミングで、左眼用画像又は右眼用画像の一方を撮像し、撮像光学系の光軸が前記第2の光軸になっているタイミングで、左眼用画像又は右眼用画像の他方を撮像する3次元画像撮像方法、及び3次元画像撮像装置である。
【選択図】図2

Description

本発明は撮像装置を使用して互いに視差を有する2次元画像である左眼用画像と右眼用画像を含む立体視用の3次元画像データを撮像する3次元画像撮像方法、及び互いに視差を有する2次元画像である左眼用画像と右眼用画像を含む立体視用の3次元画像データを撮像する3次元画像撮像装置に関する。
従来から、互いに視差を有する2次元画像である左眼用画像と右眼用画像を含む立体視用の3次元画像データを撮像する3次元画像撮像装置が知られている。このような3次元画像撮像装置は、従来は二眼方式で構成されていた。すなわち、左眼用画像を撮像する左側の撮像光学系と、右眼用画像を撮像する右側の撮像光学系を別々に用意し、2つの撮像光学系を互いに視差を有する画像が撮像できるように所定距離だけ離間させて配設していた。このような二眼式の3次元画像撮像装置は、例えば特許文献1(Patent Document 1)に開示されている。
また、二眼式の左右の撮像光学系の光軸は、平行に配設される場合と、途中で交差するように配設される場合がある。光軸が平行の場合「平行法」と呼ばれ、3次元画像観察者の眼の疲労が比較的少ない特徴がある。一方、光軸が交差する場合「交差法」と呼ばれ、立体感に富む3次元画像が得られる特徴がある。
ここで、従来技術における平行法の光軸のレイアウトを図1Aに示し、交差法のレイアウトを図1Bに示す。図1Aに示す平行法は観察者の左右の眼に対応する2つの視点からの視線方向を平行にして観察する方法である。例えば実写において、3次元画像データを作成する場合、観察者の左眼に投影される左眼用画像を撮像する左眼用カメラ81と、観察者の右眼用に投影される右眼用画像を撮像する右眼用カメラ82を、実空間上で所定距離離間して配設し、左眼用カメラ81と右眼用カメラ82の撮影光軸を平行にする。なお、左眼用カメラ81と右眼用カメラ82の距離は、人間の瞳孔間の距離に基づき、例えば6.5cm程度に設定されることが多い。しかし、より短い距離に設定される場合もある。
一方、図1Bに示す交差法の場合、観察者の左眼に投影される左眼用画像を撮像する左眼用カメラ83と、観察者の右眼に投影される右眼用画像を撮像する右眼用カメラ84を、実空間上で所定距離離間して配設し、左眼用カメラ83と右眼用カメラ84の撮影光軸が交差するように配設する。交差法においても、左眼用カメラ83と右眼用カメラ84の距離は、前記と同様6.5cm程度に設定されることが多い。しかし、より短い距離に設定される場合もある。また、視線(光軸)が交差する位置は、通常、左眼用カメラ83及び右眼用カメラ84から1〜3m程度前方に設定される。
特開平03−138634号公報
本発明は、単一の撮像光学系の光軸を遷移させ、左眼用画像と右眼用画像を時分割で撮像する3次元画像撮像方法及び3次元画像撮像装置である。あるいは/または、左眼用画像を撮像する光軸と右目用画像を撮像する光軸の空間レイアウト(光軸レイアウト)の変更が可能な3次元画像撮像方法及び3次元画像撮像装置である。
より詳細には、本発明の3次元画像撮像方法は、撮像装置を使って、互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する方法であり、前記撮像装置自体を動かさずに、前記撮像装置の一つの撮像光学系の光軸を撮像範囲の少なくとも一部が重複している、第1の光軸と第2の光軸との間で遷移させ、この光軸遷移において、前記撮像光学系の光軸が前記第1の光軸になっているタイミングで、左眼用画像又は右眼用画像の一方を撮像し、前記撮像光学系の光軸が前記第2の光軸になっているタイミングで、左眼用画像又は右眼用画像の他方を撮像することを特徴とする。
また、本発明の3次元画像撮像装置は、互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像装置であり、一つの撮像光学系と、前記撮像光学系を経由した光が結像する撮像素子と、前記撮像装置自体を動かさずに、前記撮像光学系の光軸を撮像範囲の少なくとも一部が重複している、第1の光軸と第2の光軸との間で遷移させる光軸遷移機構と、前記遷移において、前記撮像光学系の光軸が前記第1の光軸になっているタイミングで左眼用画像又は右眼用画像の一方を撮像し、前記撮像光学系の光軸が前記第2の光軸になっているタイミングで左眼用画像又は右眼用画像の他方を撮像する撮像回路とを有することを特徴とする。
また、本発明の3次元画像撮像装置は、互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像装置であり、撮像素子と、前記撮像素子上に入射光を結像させる一つの撮像光学系と、前記撮像光学系の光軸上に前記撮像光学系より被写体側に配設された、前記撮像光学系の光軸の方向を変化させる第1の光軸偏向部材と、前記第1の光軸偏向部材を動かすことにより、前記撮像装置自体を動かさずに、前記撮像光学系の光軸を、撮像範囲の少なくとも一部が重複している、第1の光軸と第2の光軸との間で遷移させる、光軸遷移機構と、前記光軸遷移において、前記撮像光学系の光軸が前記第1の光軸になっているタイミングで左眼用画像又は右眼用画像の一方を撮像し、前記撮像光学系の光軸が前記第2の光軸になっているタイミングで、左眼用画像又は右眼用画像の他方を撮像する撮像回路とを有することを特徴とする。
また、前記本発明の3次元画像撮像装置は、前記構成の第1の光軸偏向部材に代えて、前記撮像光学系の角度を振ることにより、前記撮像装置自体を動かさずに、撮像光学系の光軸を、撮像範囲の少なくとも一部が重複している第1の光軸と第2の光軸との間で遷移させる光軸遷移機構を使用する構成としてもよい。
また、前記本発明の3次元画像撮像装置は、前記構成の第1の光軸偏向部材、及び前記撮像光学系の角度を振る構成に代えて、前記撮像光学系の位置を切り替えることにより、前記撮像装置自体を動かさずに、撮像光学系の光軸を、撮像範囲の少なくとも一部が重複している第1の光軸と第2の光軸との間で遷移させる光軸遷移機構を使用する構成としてもよい。
また、撮像光学系に入射した光の偏光属性を切り替える偏光切替素子と、前記撮像光学系の光軸上に配設され、前記偏光の属性に応じて光路を複数に分割する偏光光路分割素子とを使用し、前記偏光切替素子によって偏光の属性を切り替えることによって、前記撮像装置自体を動かさずに、撮像光学系の光軸を、撮像範囲の少なくとも一部が重複している第1の光軸と第2の光軸との間で遷移させる光軸遷移機構を使用する構成としてもよい。
また、本発明の3次元画像撮像装置は、互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像装置であり、左眼用画像又は右眼用画像の一方を撮像する場合の光軸である第1の光軸と、左眼用画像又は右眼用画像の他方を撮像する場合の光軸である第2の光軸とをもつ、一眼または二眼の撮像光学系と、前記撮像光学系の第1の光軸と第2の光軸の相対的な角度を変化させる光軸レイアウト設定機構を有することを特徴とする。この場合、被写体までの距離に応じて前記角度が自動的に設定されるようにすることも可能である。
従来技術における平行法の光軸のレイアウトを示す図である。 従来技術における交差法の光軸のレイアウトを示す図である。 本発明の第1の実施形態の撮像装置の構成を示すブロック図である。 交差法の場合の光軸遷移機構と光軸レイアウト設定機構の動作を説明する図である。 平行法の場合の光軸遷移機構と光軸レイアウト設定機構の動作を説明する図である。 V字型の場合の光軸遷移機構と光軸レイアウト設定機構の動作を説明する図である。 第1の光軸偏向部材及び第2の光軸偏向部材の角度を振らない場合を説明する図である。 3次元画像を撮像する際のレイアウトモードの特徴等をまとめた図である。 レイアウトモードの設定方法を説明するフローチャートである。 撮像素子、撮像光学系、第1の光軸偏向部材、第2の光軸偏向部材を具体的にレイアウトした撮像装置の構成を示す図である。 撮像装置を使用して3次元画像を撮像する処理を説明するフローチャートである。 撮像装置の姿勢に対する撮影モードを表形式で示す図である。 第1の実施形態の変形例の撮像装置の例を説明する図である。 変形例の撮像装置において、姿勢による撮影モードを説明する図である。 本発明の第2の実施形態の撮像装置の構成を示す図である。 撮像素子及び撮像光学系を内蔵する第1の光軸偏向部材と、第2の光軸偏向部材を具体的にレイアウトした撮像装置の構成を示す図である。 撮像素子及び撮像光学系を内蔵する第1の光軸偏向部材と、第2の光軸偏向部材を具体的にレイアウトした撮像装置の構成を示す図である。 第2の実施形態の撮像装置において、交差法の場合の光軸レイアウトの設定を説明する図である。 第2の実施形態の撮像装置において、平行法の場合の光軸レイアウトの設定を説明する図である。 第2の実施形態の撮像装置において、V字型の場合の光軸レイアウトの設定を説明する図である。 第2の実施形態の撮像装置において、光軸偏向部材の角度を振らない場合を説明する図である。 本発明の第3の実施形態の撮像装置の構成を示す図である。 回転ユニットの模式図である。 撮像装置の具体的な構成例を示す図である。 第3の実施形態の撮像装置において、交差法の場合の光軸レイアウトの設定を説明する図である。 第3の実施形態の撮像装置において、平行法の場合の光軸レイアウトの設定を説明する図である。 第3の実施形態の撮像装置において、V字型の場合の光軸レイアウトの設定を説明する図である。 撮像装置を横に構えた場合の撮像のタイミングを変化させる例を説明する図である。 撮像装置を縦に構えた場合の撮像のタイミングを変化させる例を説明する図である。 撮像装置を横に構えた場合の撮像画像の例を説明する図である。 撮像装置を縦に構えた場合の撮像画像の例を説明する図である。 本発明の第4の実施形態の撮像装置の構成を示す図である。 回転ユニットの構成を詳しく示す図である。 第4の実施形態の撮像装置において、交差法の場合の光軸レイアウトの設定を説明する図である。 第4の実施形態の撮像装置において、平行法の場合の光軸レイアウトの設定を説明する図である。 本発明の第5の実施形態を説明する図である。 撮像装置を交差法によって被写体の3次元画像を撮像するレイアウトを説明する図である。 撮像装置を平行法によって被写体の3次元画像を撮像するレイアウトを説明する図である。 撮像装置をV字型レイアウトによって被写体の3次元画像を撮像する例を説明する図である。 第5の実施形態の変形例であり、交差法によって被写体の3次元画像を撮像するレイアウトを説明する図である。 第5の実施形態の変形例であり、平行法によって被写体の3次元画像を撮像するレイアウトを説明する図である。 第5の実施形態の変形例であり、V字型レイアウトによって被写体の3次元画像を撮像する例を説明する図である。 本発明の第6の実施形態を説明する図である。 偏光光路分割素子の一例として、例えば方解石等の複屈折を説明する図である。 偏光光路分割素子の別の一例としての公知のウォラストンプリズムの例を示す図である。 偏光切替素子の一例として、例えば液晶が偏向の属性を切り替える動作を説明する図である。 偏光切替素子の一例として、例えば液晶が偏向の属性を切り替える動作を説明する図である。 光軸に沿った素子の配置を示す図である。 第6の実施形態の3次元画像の撮像方法を説明するフローチャートである。 第6の実施形態の撮像装置によって、交差法による3次元画像を撮像する場合の例を示す図である。 第6の実施形態の撮像装置によって、平行法による3次元画像を撮像する場合の例を示す図である。 偏光切替素子、偏光光路分離素子を撮像光学系の前に配置する例を説明する図である。 アダプタに重りを追加した場合の構成を説明する図である。 撮像装置を横に構えた場合の例を示す図である。 撮像装置を縦に構えた場合の例を示す図である。 アダプタの構成を説明する図である。 第7の実施形態に使用される第1の光軸偏向部材を説明する図である。 第1の光軸偏向部材の角度変化を時系列にグラフ化した図である。 第7の実施形態の撮像装置による撮像の様子を模式的に示す斜視図である。 遠景に立方体があり、近景に球がある構成を、第7の実施形態の撮像装置で撮像する状況を示す図である。 第7の実施形態の撮像装置により図55に示す状況で撮影した画像を示す図である。 図56に示す複数の視差画像を、公知のレンチキュラー技術を使って観察する態様を説明する図である。 レンチキュラーレンズと基材を互いに位置合わせして接合した図である。 第8の実施形態に使用される2軸で振動する反射部材である第1の光軸偏向部材を説明する図である。 光軸遷移回路が実現する第1の光軸偏向部材のX軸回りの振動位相とY軸回りの振動位相の関係を示す図である。 撮像のタイミングを、θx−θy平面上にプロットした図である。 光軸の遷移を示す図であり、反射面の運動に従って、光軸がすりこぎ運動をすることを示す図である。 光軸のすりこぎ運動において、撮像回路によってT/8の期間毎に1回の撮像を行った場合の撮像画像を示す図である。 図63に示す画像を観察するために使用されるディスプレイの構成を説明する図である。 各サブ画素の面積より面積が小さいか、又は同じである光源が配設されている構成を説明する図である。
以下、本発明の実施の形態を図面に基づいて説明する。
(第1の実施形態)
図2は本発明の第1の実施形態の撮像装置の構成を示すブロック図である。
図2において、撮像装置1は、互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像装置である。撮像装置1は、撮像素子2、撮像光学系3、第1の光軸偏向部材4、第2の光軸偏向部材5、光軸遷移回路10、光軸レイアウト設定回路11、撮像光学系駆動部12、撮像回路13、記録媒体14、姿勢センサ15、オートフォーカスセンサ16、表示部17、及び制御回路18を有する。
ここで、撮像素子2として、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の光電変換素子が使用できる。また、撮像光学系3として、例えば単焦点レンズやズームレンズが使用できる。
第1の光軸偏向部材4は、前記撮像光学系3の光軸上に撮像光学系3より被写体側に配設されており、撮像光学系3の光軸の方向を変化させる機構を有する。また、第2の光軸偏向部材5は、撮像光学系3の光軸上に第1の光軸偏向部材4より被写体側に配設されており、第1の光軸偏向部材4と同様、光軸の方向を変化させる機構を有する。また、第1の光軸偏向部材4、及び第2の光軸偏向部材5には、反射部材としてミラーが使用されている。また、第1の光軸偏向部材4は軸6を中心に角度の遷移が可能であり、第2の光軸偏向部材5も軸7を中心に角度の遷移が可能である。
光軸遷移回路10は後述する第1の光軸偏向部材4の駆動部に制御信号を供給する回路であり、光軸レイアウト設定回路11は第2の光軸偏向部材5に制御信号を供給する回路である。これらの回路動作については後述する。
撮像光学系駆動部12は撮像光学系3を駆動し、合焦動作やズーム動作を行う。また、撮像回路13は、撮像素子2に所定のタイミングで撮像信号を出力し、不図示の被写体の画像データを撮像素子2から取得する。また、記録媒体14は、例えばフラッシュメモリで構成され、撮像素子2で取得した撮像データを記録する。
姿勢センサ15は、例えば重力センサで構成され、撮像装置1の姿勢を検出する。撮影者は撮像装置1をどの姿勢で構えるかにより、撮像画面が横長の構図と撮像画面が縦長の構図を選択できる。すなわち、撮像装置1を横に構えれば横長の構図に設定でき、撮像装置1を縦に構えれば縦長の構図に設定できる。
オートフォーカスセンサ16は被写体までの距離情報を取得し、後述するレイアウトモードの設定に使用する。また、表示部17は、例えば公知の視差バリア(parallax barrier)式の裸眼3次元ディスプレイであり、操作者は3Dメガネ無しに撮像した3次元画像を立体的に観察できる。
また、前記光軸遷移回路10、光軸レイアウト設定回路11、撮像光学系駆動回路12、撮像回路13、記録媒体14、姿勢センサ15、オートフォーカスセンサ16、及び表示部17は、制御回路18に信号線を介して接続され、制御回路18の制御信号に従って制御される。
次に、前記構成において、第1の光軸偏向部材4、及び第2の光軸偏向部材5の構成について、説明する。
先ず第1の光軸偏向部材4は、表面が光学的な反射面(例えばアルミコートミラーや多層膜反射ミラー)になっている反射部材であり、第1の光軸偏向部材4の裏面上には2つの永久磁石8aが配設されている(但し、図2において見えない位置であるため、点線で示す)。この永久磁石8aから離間した位置に不図示のコイルを配設し、このコイルに電気信号を与えることにより、永久磁石8aとコイル間に引力又は斥力を生じさせ、前記電気信号を制御して第1の光軸偏向部材4を軸回りに左右に振らせる構成となっている。尚、前記永久磁石8aと不図示のコイルを含めた、第1の光軸偏向部材4を軸回りに振らせる機構を駆動部8で示す。
また、第2の光軸偏向部材5は、表面が光学的な反射面(例えばアルミコートミラーや多層膜反射ミラー)になっている反射部材であり、第2の光軸偏向部材5の裏面上には2つの永久磁石9aが配設されている。この永久磁石9aから離間した位置に不図示のコイルを配設し、第1の光軸偏向部材4と同様、このコイルに電気信号を与えることにより、永久磁石9aとコイル間に引力又は斥力を生じさせ、前記電気信号を制御して第2の光軸偏向部材5を軸回りに振らせる構成となっている。尚、前記永久磁石9aと不図示のコイルを含めた、第2の光軸偏向部材5を軸回りに振らせる機構を駆動部9で示す。
また、第1の光軸偏向部材4の裏面にある駆動部8は信号線で光軸遷移回路10に接続され、第2の光軸偏向部材5の裏面にある駆動部9は信号線で光軸レイアウト設定回路11に接続されている。光軸遷移回路10は駆動部8を駆動して第1の光軸偏向部材4の角度を振らせる。これにより、前記撮像装置1自体を動かすことなく、前記撮像光学系3の光軸を第1の光軸と第2の光軸との間で遷移することができる。すなわち、光軸遷移回路10と第1の光軸偏向部材4と当該駆動部8は、光軸遷移機構として動作する。
また、光軸レイアウト設定回路11は、第1の光軸偏向部材4の振り幅に対する第2の光軸偏向部材5の振り幅を設定し、駆動部9を駆動して第2の光軸偏向部材5を前記第1の光軸偏向部材4に同期して前記設定した振り幅の角度振らせる。これにより、前記第1の光軸と第2の光軸の空間レイアウトが設定される。すなわち、光軸レイアウト設定回路11と第2の光軸偏向部材5と当該駆動部9は光軸レイアウト設定機構として動作する。
尚、前記光軸遷移機構や光軸レイアウト設定機構において、コイル以外の駆動方法を採用することもできる。例えば、ピエゾ素子を使用して駆動するようにしてもよい。また、2つの電極を所定距離おいて離間させ、電極の極性を相互に変化させて、電極間に引力や斥力を発生させて第1の光軸偏向部材4と第2の光軸偏向部材5を振らせることも可能である。もちろん、DMD(Digital Micro-mirror Device)のような2次元マイクロミラーアレイを採用して、マイクロミラー単位に光束の向きを偏向させてもよい。
図3〜図6は、前記光軸遷移機構と光軸レイアウト設定機構の動作を説明する図である。尚、便宜上、光線の逆進性に鑑み、光軸の向きを撮像素子2から被写体に向けて伸びるものとして説明する。すなわち、撮像素子2、撮像光学系3、第1の光軸偏向部材4、第2の光軸偏向部材5は、撮像素子2から伸びる撮像光学系3の光軸20が、第1の光軸偏向部材4と第2の光軸偏向部材5を経由して不図示の被写体に向けて伸長するように配設されている。
先ず、光軸遷移機構により、第1の光軸偏向部材4の角度を振る動作が行なわれる。すなわち、前記動作により、光軸20の光束は第1の光軸偏向部材4の反射面の角度が変化するので、この角度変化に応じて光束の反射する方向が変化する。その結果、光軸20は第1の光軸21(実線)と第2の光軸22(破線)の間を遷移する。
さらに、光軸レイアウト設定機構により、第2の光軸偏向部材5の角度が第1の光軸偏向部材4に同位相に同期させて振る動作が行なわれる。その結果、第1の光軸21と第2の光軸22は更に方向が変えられる。このとき、第1の光軸偏向部材4の角度の振り幅に対する第2の光軸偏向部材5の角度の振り幅は、光軸レイアウト設定機構によって設定され、この設定によって撮像される3次元画像の特徴を選択することができる。
また、第1の光軸21での撮像範囲と、第2の光軸22での撮像範囲は少なくとも一部が重複するように、第1の光軸21と第2の光軸22は決定される。第1の光軸21と第2の光軸22は、いわば別の光軸であり、空間中の向きと位置の少なくとも1つが異なるので、前記重複部分にある被写体は、第1の光軸21で撮像した場合と第2の光軸22で撮像した場合では、撮像画像上で互いに視差がある。光軸レイアウト設定機構は、具体的には、図3から図5に例示されるように、各光軸の空間中のレイアウト(各光軸の空間中の向きと位置の少なくとも1つ)を適宜設定することができる。
図3は、前記第2の光軸偏向部材5の角度の振り幅が、第1の光軸偏向部材4の角度の振れ幅よりも大きい場合である。この場合、第1の光軸21と第2の光軸22は撮像装置1より前方で交差するレイアウトとなる。点線で実効的な撮像レイアウトを示すが、これは交差法のレイアウトであるので、撮像装置1は交差法で被写体の3次元画像を撮像することになり、立体感に富む3次元画像が得られる。
図4は、前記第2の光軸偏向部材5の角度の振り幅が、第1の光軸偏向部材4の角度の振れ幅と等しい場合である。この場合、第1の光軸21と第2の光軸22は平行となるレイアウトとなる。これは平行法のレイアウトであり、撮像装置1は平行法で被写体の3次元画像を撮像することとなり、目の疲労が比較的少ない3次元画像の撮像が可能である。
図5は、前記第2の光軸偏向部材5の角度の振り幅が、第1の光軸偏向部材4の角度の振れ幅より小さい場合であり、第1の光軸21と第2の光軸22のレイアウトがV字型になる場合である。このレイアウトでは、目の疲労が更に少ない3次元画像の撮像が可能である。
尚、図6は第1の光軸偏向部材4、及び第2の光軸偏向部材5の角度を振らない場合を示す。この場合は、光軸の遷移は起こらないので、撮像装置1は2次元画像を撮像する。
このように、第1の光軸偏向部材4と第2の光軸偏向部材5を同期して振動させることによって、交差法や平行法やV字型レイアウト、或いはこれらの中間的なレイアウト等、様々な光軸レイアウトで特性の異なる3次元画像を撮像できる。さらに、第1の光軸偏向部材4と第2の光軸偏向部材5を振動させなければ、2次元画像も撮像可能であり、状況や被写体に合わせて、2次元撮像や多種類の3次元撮像法から所望の撮像方法を選択できる。尚、図7は前記3次元撮像のレイアウトモードの特徴等をまとめた図である。
ここで、具体的な前記レイアウトモードの設定方法について説明する。図8は前記レイアウトモードの設定方法を説明するフローチャートである。
先ず、撮像装置1は主要被写体までの距離情報を取得する(ステップ(以下、Sで示す)1)。この距離情報の取得は、撮像装置1に設けられた前述のオートフォーカスセンサ16によって主要被写体までの距離を取得する。次に、取得した距離情報を分類する(S2)。例えば、取得した距離情報を近距離、中距離、遠距離に分類し、この分類に従って光軸のレイアウトモードの設定を行なう。具体的には、被写体までの距離が、例えば3m未満の場合、近距離に分類し、レイアウトモードを交差法に設定する(S3)。また、被写体までの距離が、例えば3m〜10mの場合、中距離に分類し、レイアウトモードを平行法に設定する(S4)。さらに、被写体までの距離が、例えば10m以上の場合、遠距離に分類し、レイアウトモードをV字型に設定する(S5)。
このように処理することにより、自動的に被写体の距離に適した3次元画像撮像のレイアウトモードの設定を行なうことができる。尚、マニュアル操作によって所望の3次元撮像のレイアウトモードをユーザが選択するようにしてもよい。
図9は、前述の撮像素子2、撮像光学系3、第1の光軸偏向部材4、第2の光軸偏向部材5を具体的にレイアウトした撮像装置1の構成を示す。
同図に示すように、撮像装置1の内部に撮像素子2、撮像光学系3、第1の光軸偏向部材4、及び第2の光軸偏向部材5が配設されている。第1の変更部材4は撮像光学系3の光軸20上にあり、第1の変更部材4が光軸20を振って生成した第1の光軸21および第2の光軸22の両方が通る位置に第2の光軸偏向部材5が配設されている。尚、同図の例では、部品をコンパクトに収納するため、第1の光軸偏向部材4と第2の光軸偏向部材5は、光軸を90度ねじった位置に配設されている。また、撮像装置1の上部には、レリーズスイッチ23が配設されている。
図10は前記構成の撮像装置1を使用して3次元画像を撮像する処理を説明するフローチャートである。
先ず、撮像装置1の電源をオンする(ステップ(以下、STで示す)1)。この撮像装置1の電源オンは、例えば不図示の電源ボタンを押下することによって、前述の制御回路18等に電源供給を行なう。
その後、撮像装置1は待機状態でレリーズスイッチ(レリーズSW)23に操作者の指が触れるのを待つ(ST2、ST3がNO)。レリーズSW23には、例えばタッチセンサが組み込まれており、レリーズSW23に操作者の指が触れると、触れている期間中、前述の第1の光軸偏向部材4と第2の光軸偏向部材5が振動し、光軸が遷移する。
したがって、被写体を撮影するため操作者の指がレリーズSW23に触れると(ST3がYES)、3次元(3D)レイアウトモードの設定が行なわれ(ST4)、前記光軸の遷移が開始される(ST5)。ここで、3次元(3D)レイアウトモードの設定処理は、前述の図8において説明したレイアウトモードの設定処理であり、被写体までの距離によって交差法、又は平行法、又はV字型などのレイアウトモードの設定が行なわれる。
次に、レリーズSW23がオンされたか判断する(ST6)。すなわち、レリーズSW23を操作者の指が触れた状態から、更に操作者がレリーズSW23を押下したか判断する。ここで、操作者がレリーズSW23を押下すれば(ST6がYES)、撮像光軸が第1の光軸又は第2の光軸のどちらであるか判断する(ST7)。尚、レリーズSW23を操作者の指が触れた状態から、更に操作者がレリーズSW23を押下しない場合(ST6がNO)、操作者がレリーズSW23に触れている限り(ST11がYES)、操作者のレリーズSW23の押下待ち状態が維持される(ST6からST11間でループする)
一方、操作者がレリーズSW23を押下した場合(ST6がYES)、撮像回路13は第1の光軸21及び第2の光軸22の遷移において、撮像光学系3の光軸が第1の光軸21または第2の光軸22のどちらか一方になったタイミングで、左眼用画像と右眼用画像のどちらか一方を撮像する(ST7がYES、ST8)。例えば、撮像回路13は撮像光学系3の光軸が第1の光軸21になったタイミングで、左眼用画像を撮像する。
次に、撮像光学系3の光軸が第1の光軸21または第2の光軸22の他方になったタイミングで、左眼用画像と右眼用画像のどちらか他方を撮像する(ST9がYES、ST10)。前記のように、例えば最初に撮像光学系3の光軸が第1の光軸21になっているタイミングで、左眼用画像を撮像したのであれば、今回は撮像光学系3の光軸が第2の光軸22になっているタイミングで、右眼用画像を撮像する。
前記処理はレリーズSW23が操作者によって押下されている限り継続される(ST11がYES)。したがって、前記例では、以後撮像光学系3の光軸が第1の光軸21になっているタイミングで左眼用画像が撮像され、撮像光学系3の光軸が第2の光軸22になっているタイミングで右眼用画像が撮像され、左眼用画像と右眼用画像が別々のタイミングで時分割に撮像される。
もちろん、撮像光学系3の光軸が第1の光軸21になっているタイミングで右眼用画像を撮像し、撮像光学系3の光軸が第2の光軸22になっているタイミングで左眼用画像を撮像するように構成してもよい。
このようにして撮像された左眼用画像と右眼用画像は一組として順次記録媒体14に記録される。したがって、操作者によってレリーズSW23が押下されている間、被写体の撮像データが記録媒体14に3次元画像として記録される。
その後、操作者がレリーズSW23から指を離すと(ST11がNO)、光軸遷移が終了し(ST12)、被写体の撮影を終了する。尚、前記撮像処理は撮像装置1の電源がオンである間可能であり(ST13がNO)、撮像装置1の電源オフにより(ST13がYES)、処理が終了する。
尚、前記処理は動画を撮像する場合であり、第1の光軸偏向部材4と第2の光軸偏向部材5を高速(例えば、1秒に60回)で継続的に振動させ、左眼用画像のフレームと右眼用画像のフレームを時系列に取得する。一方、静止画の撮像である場合には、第1の光軸21と第2の光軸22の遷移は1回のみで終わり、1枚の左眼用画像と右目用画像より成る画像データは記録媒体14に記録される。
尚、本実施形態において、前述の図3〜図5に示す2つの光軸偏向部材4、5による撮像光軸の遷移は、第1の光軸及び第2の光軸が1つの平面上にあるようにしてあり、この平面に沿った方向に左眼用画像と右眼用画像の視差が発生する。そして、撮像装置1は横に構えた場合には前記平面(視差方向)が横になり、縦に構えた場合には前記平面(視差方向)が縦になるように、第1の光軸偏向部材4と第2の光軸偏向部材5が振動するように構成されている。したがって、撮像装置1を横に構えた場合には、撮影者の左右の眼の離間方向(横)と左眼用画像と右眼用画像の視差(横)が一致して、撮影画像の観察時に融像が正常に起こり3次元画像が知覚される。
一方、撮像装置1を縦に構えた場合は、撮影者の左右の眼の離間方向(横)と左眼用画像と右眼用画像の視差(縦)が一致せず、撮影時の方向で撮影画像を観察しても融像が起こらない。この点に鑑み、撮像装置1は姿勢センサ15によって撮像装置1が構えられた方向を検出し、撮像装置1が横に構えられた場合のみ3D撮影を可能にし、撮像装置2が縦に構えられた場合には2D撮影しか実行できないように構成している。
具体的には図11に示すように、撮像装置1で操作者が撮像モードを「2Dモード」と「3Dモード」を選択可能になっている。操作者が「2Dモード」を選択した場合には、撮像装置1の構えられた方向に関わらず2D撮影が行われる。即ち、図6に示すように、第1の光軸偏向部材4、及び第2の光軸偏向部材5の角度を振らないで、2D撮影が行われる。
一方、操作者が「3Dモード」を選択した場合には、撮像装置1は姿勢センサ15の出力に応じて、撮像装置1が横に構えられた場合のみ3D撮像を行い、撮像装置1が縦に構えられた場合には2D撮像を行う。2D撮像を行う場合は、指定した撮像モードと異なる撮像モードとなるので、表示部17に警告を表示する。
図12は前記第1の実施形態の変形例であり、縦に構えても、横に構えても、3次元画像の撮像ができるように構成した撮像装置24の例を説明する図である。
撮像装置24において、撮像素子2、撮像光学系3、第1の光軸偏向部材4、第2の光軸偏向部材5、光軸遷移回路10、光軸レイアウト設定回路11、撮像光学系駆動部12、撮像回路13、記録媒体14、姿勢センサ15、オートフォーカスセンサ16、表示部17、及び制御回路18の構成は、前述の撮像装置1と同様である。撮像装置1との相違は、第1の光軸偏向部材25、及び第2の光軸偏向部材26の構成が前述の第1の光軸偏向部材4、及び第2の光軸偏向部材5と異なり、2方向に振れる点である。
具体的には、第1の光軸偏向部材25、及び第2の光軸偏向部材26をそれぞれ2軸で振動する反射部材(例えば、ジンバルミラー)としている。この他にも、1点で支持されるピラー支持型のミラーを使っても2方向に振れる反射部材を構成できる。構成を、図12の第2の光軸偏向部材26の構成で説明すると、第2の光軸偏向部材26の横方向に軸27が配設され、縦方向に軸28が配設されている。また、軸27を中心に第2の光軸偏向部材26を振るための駆動部27a、27bが設けられ、軸28を中心に第2の光軸偏向部材26を振るための駆動部28a、28bが設けられている。尚、具体的には図12に記載していないが、第1の光軸偏向部材25についても同様の構成である。
このように構成することにより、撮像装置24が横方向に構えられた場合は、第1の光軸偏向部材25、及び第2の光軸偏向部材26を各々横方向に振れば、正常な視差画像が得られる。また、撮像装置24が縦方向に構えられた場合は、第1の光軸偏向部材25、及び第2の光軸偏向部材26を各々縦方向に振れば、正常な視差画像が得られる。従って、撮像装置24を構える向きによって駆動部を選択して使用することにより、撮像装置24を縦に構えても、横に構えても、3次元画像の撮像が可能となる。
図13に示すように、撮像装置24においては、操作者が「2Dモード」を選択した場合には、撮像装置24の構えられた方向に関わらず2D撮影が行われ、「3Dモード」を選択した場合には、撮像装置24の構えられた方向に関わらず3D撮影が行われる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
図14は本発明の第2の実施形態の撮像装置30の構成を示す図である。同図において、撮像装置30は、前述の第1の実施形態と同様、撮像素子2、撮像光学系3、第1の光軸偏向部材31、第2の光軸偏向部材32、光軸遷移回路10、光軸レイアウト設定回路11、撮像光学系駆動部12、撮像回路13、記録媒体14、姿勢センサ15、オートフォーカスセンサ16、表示部17、及び制御回路18で構成される。ここで、第2の光軸偏向部材32の構成は前述の第2の光軸偏向部材5と同様であるが、第1の光軸偏向部材31の構成が前述の第1の光軸偏向部材4と異なる。
第1の光軸偏向部材31は筒状であり、前述の撮像素子2及び撮像光学系3が内蔵されている撮像ユニットとなっている。筒状の第1の光軸偏向部材31は矢印a方向に遷移可能であり、光軸遷移回路10から出力される制御信号に従って駆動部31a、31bを駆動し、矢印a方向に第1の光軸偏向部材31を遷移させる。したがって、第2の実施形態では反射部材を振るのではなく、撮像光学系自体を振ることになる。
尚、第2の光軸偏向部材32の駆動は前述の第1の実施形態と同様であり、光軸レイアウト設定回路11から出力される駆動信号に従って駆動部32aを駆動し、軸32bを中心に第2の光軸偏向部材32を矢印b方向に遷移させる。
図15Aは、撮像素子2及び撮像光学系3を内蔵する第1の光軸偏向部材31と、第2の光軸偏向部材32を具体的にレイアウトした撮像装置30の構成を示す。尚、撮像装置30の上部には、第1の実施形態と同様、レリーズスイッチ23が配設されている。
本実施形態においては、光軸遷移回路10から出力される駆動信号によって撮像ユニット(第1の光軸偏向部材)31を矢印a方向に振って、直接第1の撮像光軸21と第2の撮像光軸22を形成する。さらに第1の撮像光軸21と第2の撮像光軸の空間レイアウトは、光軸レイアウト設定回路11に制御される第2の光軸偏向部材32によって設定される。
尚、図15Bは図15Aと同様の構成であるが、図15Bの撮像装置30では、第2の光軸偏向部材32の回転軸32bが垂直方向に配設されているのに対し、図15Aの撮像装置30では第2の光軸偏向部材32の回転軸32aが垂直方向に対して傾きを有して配設されている。
図16〜図19は第2の実施形態の撮像装置30によって設定されるレイアウトモードについて説明する図である。
図16は、前記第2の光軸偏向部材32の角度の振り幅が、第1の光軸偏向部材31の角度の振れ幅よりも大きい場合である。この場合、第1の光軸21と第2の光軸22は撮像装置30より前方で交差するレイアウトとなり、撮像装置30は交差法で被写体の3次元画像を撮像し、立体感に富む3次元画像が得られる。
また、図17は、前記第2の光軸偏向部材32の角度の振り幅が、第1の光軸偏向部材31の角度の振れ幅よりも小さい場合であり、この場合、第1の光軸21と第2の光軸22は平行となり、撮像装置30は平行法で被写体の3次元画像を撮像する。この場合、前述のように目の疲労が比較的少ない3次元画像の撮像が可能である。
さらに、図18は、前記第2の光軸偏向部材32の角度を振らない場合であり、この場合、第1の光軸21と第2の光軸22のレイアウトがV字型になり、目の疲労が更に少ない3次元画像の撮像が可能である。
尚、図19は第1の光軸偏向部材31、及び第2の光軸偏向部材32の角度を振らない場合であり、光軸の遷移は起こらず、撮像装置30は2次元画像を撮像する。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
図20は本発明の第3の実施形態の撮像装置33の構成を示す図である。同図において、撮像装置33は、前述の第1、第2の実施形態と同様、撮像素子2、撮像光学系3、第1の光軸偏向部材34、第2の光軸偏向部材35、光軸遷移回路10、光軸レイアウト設定回路11、撮像光学系駆動部12、撮像回路13、記録媒体14、姿勢センサ15、オートフォーカスセンサ16、表示部17、制御回路18を有し、更に回転ユニット36を有する。この回転ユニット36には第1の光軸偏向部材34と第2の光軸偏向部材35が配設されている。すなわち、本実施形態では、第1の光軸偏向部材34及び第2の光軸偏向部材35が回転ユニット36に収納され、回転ユニット36はモータ34aによって回動可能に構成されている。
図21は前記回転ユニット36の模式図である。第1の光軸偏向部材34および第2の光軸偏向部材35は、表面が光学的な反射面(例えばアルミコートミラーや多層膜反射ミラー)になっている反射部材である。撮像光学系3の光軸は第1の光軸偏向部材34により折り曲げられ、さらに第2の光軸偏向部材35によって折り曲げられて、被写体(不図示)に向かう。また、撮像光学系3の光軸は、回転ユニット36の回転軸と同軸になっている。
モータ34aは回転ユニット36を撮像光学系の光軸回りに回転させる。すると被写体に向かう光軸の回転ユニット36からの射出位置も、円の軌跡を描いて移動する。この光軸の射出位置の移動において、円周上の2つの異なる位置に光軸の射出位置が来たときに各々撮像を行うことにより、撮像光学系の光軸を第1の光軸と第2の光軸との間で遷移させる。即ち、2つの撮像時の光軸が第1の光軸と第2の光軸となる。このように、モータ34aによって回転する回転ユニット36と、前記回転ユニット36の回転中に異なるタイミングで撮像を指示する撮像回路13が光軸遷移機構として機能する。
尚、回転ユニット36にはカウンタウエイト36aが設けられ、回転ユニット36の重心がモータ34aの回転軸上に位置するよう調整し、回転ユニット36がスムーズに回転するようにしている。
図22は撮像装置33の具体的な構成例であり、回転ユニット36には前記第1の光軸偏向部材34及び第2の光軸偏向部材35が収納され、モータ34aの駆動によって回転ユニット36を回転可能に構成している。
ここで、第2の光軸偏向部材35の傾きは変更可能であり、光軸レイアウト設定回路11が駆動部35aを駆動することによって、軸35bを中心に第2の光軸偏向部材35の傾きが変化し、第1、第2の光軸の空間レイアウトが変化する。従って、光軸レイアウト設定回路11と第2の光軸偏向部材35と駆動部35aは第1の光軸と第2の光軸の空間レイアウトを設定する光軸レイアウト設定機構として機能する。
図23〜図25は第3の実施形態の撮像装置33によって設定される光軸のレイアウトモードを説明する図である。
先ず、図23は、前記第2の光軸偏向部材35の入射光軸に対する傾きの角度が、第1の光軸偏向部材34の入射光軸に対する傾きの角度より大きい場合である。この場合、第1の光軸21と第2の光軸22は撮像装置30より前方で交差する交差法のレイアウトとなり、撮像装置33は交差法で被写体の3次元画像を撮像し、立体感に富む3次元画像が得られる。
また、図24は、前記第2の光軸偏向部材35の入射光軸に対する傾きの角度が、第1の光軸偏向部材34の入射光軸に対する傾きの角度と同じ場合であり、この場合、第1の光軸21と第2の光軸22は平行となるレイアウトとなり、撮像装置33は平行法で被写体の3次元画像を撮像することとなり、目の疲労が比較的少ない3次元画像の撮像が可能である。
さらに、図25は、前記第2の光軸偏向部材35の入射光軸に対する傾きの角度が、第1の光軸偏向部材34の入射光軸に対する傾きの角度より小さい場合であり、第1の光軸21と第2の光軸22のレイアウトがV字型になる場合である。この場合は、目の疲労が更に少ない3次元画像の撮像が可能である。
図26A、26B、及び図27A、27Bは、説明図であり、操作者が撮像装置33を構える向きに応じて、撮像のタイミングを変化させ、これにより、操作者の左右の眼の離間方向と撮像した左眼用画像と右眼用画像の視差方向を一致させることを説明する。
先ず、図26Aは撮像装置33を横に構えた例であり、撮像回路13は、回転ユニット36が回転軸に対して横の位置であるBの位置に来たタイミングとDの位置に来たタイミングで撮像する。例えば、回転ユニット36がBの位置に来たタイミングで光軸が第1の光軸になったと判断し、左眼用画像と右眼用画像のどちらか一方を撮像する。更に、光軸がDの位置に来たタイミングで光軸が第2の光軸になったと判断し、前記左眼用画像と右眼用画像のどちらか他方を撮像する。これによって、図27Aに示すように、画像の視差(画像のズレ)が横方向の3D画像が得られる。従って、撮像時の構図と同じ方向で撮像した画像を見る場合、視差の方向が一致して融像が可能になり、3次元画像としての観察が可能となる。
一方、図26Bは撮像装置を縦に構えた例であり、撮像回路13は、回転ユニット36が回転軸に対して横の位置であるAの位置に来たタイミングとCの位置にきたタイミングで撮像する。すなわち、回転ユニット36がAの位置に来たタイミングで光軸が第1の光軸になったと判断し、左眼用画像と右眼用画像のどちらか一方を撮像する。また、光軸がCの位置に来たタイミングで光軸が第2の光軸になったと判断し、前記左眼用画像と右眼用画像のどちらか他方を撮像する。これによって、図27Bに示すように、撮影時の構図と同じ方向で画像を見る場合、視差の方向が横になる(撮影時の操作者の左右の眼の離間の方向と同じになる)3次元画像が得られ、融像が可能となる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
図28は本発明の第4の実施形態の撮像装置40の構成を示す図である。同図において、撮像装置40は、光軸遷移回路10、光軸レイアウト設定回路11、撮像光学系駆動部12、撮像回路13、記録媒体14、姿勢センサ15、オートフォーカスセンサ16、表示部17及び制御回路18を有し、更に回転ユニット43を有する。回転ユニット43はモータ44によって回転可能であり、筒体46が回転軸の径方向に傾斜が変更できる態様で回転ユニット43に取り付けられている。筒体46には、内部に撮像素子2と撮像光学系3が配設され、撮像ユニットとなっている。
本実施形態の撮像装置40も第3の実施形態の撮像装置33と同様に、回転ユニット43をモータ44によって回転させることにより、回転ユニット43に装着された撮像ユニットである筒体46からの光軸の射出位置が円周上を移動するようにしたものである。この光軸の射出位置の移動において、円周上の2つの異なる位置に光軸の射出位置が来たときに各々撮像を行うことにより、撮像光学系の光軸を第1の光軸と第2の光軸との間で遷移させる。即ち、2つの撮像時の光軸が第1の光軸と第2の光軸となる。このように、モータ44によって回転する回転ユニット43と、前記回転ユニット43の回転中に異なるタイミングで撮像を指示する撮像回路13が光軸遷移機構として機能する。
図29は、回転ユニット43の模式図であり、前述の撮像装置33の場合と同様、回転ユニット43には重心位置を調整するため、カウンタウエイト45が設けられている。撮像ユニットである筒体46は、光軸レイアウト設定回路11の指令に応じてアクチュエータ(例えばピエゾ素子)である駆動部47により傾きが矢印Dの方向に遷移可能になっている。即ち、この光軸レイアウト設定回路11と駆動部47は撮像光学系自体の傾きを設定し、第1の光軸と第2の光軸の空間レイアウトを設定する光軸レイアウト設定機構として機能する。
図30及び図31は、本実施形態の撮像装置40によって設定されるレイアウトモードを説明する図であり、例えば図30に示すようには、筒体46を内側に傾けることによって、第1の光軸21と第2の光軸22を撮像装置40より前方で交差する交差法のレイアウトとなる。このため、撮像装置40は交差法で被写体の3次元画像を撮像し、立体感に富む3次元画像が得られる。
一方、図31に示すようには、筒体46を回転軸に対して平行の位置に保持することによって、第1の光軸21と第2の光軸22は平行となる平行法のレイアウトとなる。このため、撮像装置40は平行法で被写体の3次元画像を撮像することとなり、目の疲労が比較的少ない3次元画像の撮像が可能である。
また、図示しないが、筒体46を外側に向けることにより、第1の光軸21と第2の光軸22のレイアウトがV字型になる設定も可能である。
また、第3の実施形態と同様に、撮像装置40の向きに応じて2回の撮影タイミングを変えることにより、撮像時の方向で撮像画像を観察した場合に、視差方向が一致するようにすることができる。
尚、本実施形態では撮像ユニットを回転運動で位置を移動させた。しかし、並進運動を採用して、撮像ユニットを直線または曲線の経路上を往復運動させて、運動中の所望のタイミングで第1の光軸対応の撮影と、第2の光軸対応の撮影をするように構成してもよい。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。
図32は本発明の第5の実施形態を説明する図である。撮像装置全体の構成は示していないが、撮像素子2、撮像光学系3、光軸遷移回路10、光軸レイアウト設定回路11等の構成は前述の各実施形態と同様である。
本実施形態では、撮像光学系3の光軸上に表面が光学的な反射面になっている反射部材である第1の光軸偏向部材48が光軸と同軸に回転可能に配設されている。また、第2の光軸偏向部材49は第1の光軸偏向部材48の周囲を取り囲むように、内面に傾きの異なる複数の反射面を有する形状で配設されている。本実施形態では、第2の光軸偏向部材49の反射面は角度の大きい第1反射面49a、角度が第1反射面49aより小さい第2反射面49b、更に角度が第2反射面49bより小さい第3反射面49cで構成されている。
撮像光学系の光軸は、第1の光軸偏向部材48によって第2の光軸偏向部材49に向けて屈曲され、第2の光軸偏向部材49によって更に屈曲されて被写体に向かう。このとき、第1の光軸偏向部材48の回転運動によって、第2の光軸偏向部材49上の光軸の交点は、第2の光軸偏向部材49内面上を閉じた経路を描いて移動することになる。この光軸の交点の移動において、2つの異なる位置に交点が来たときに各々撮像を行うことにより、撮像光学系の光軸を第1の光軸と第2の光軸との間で遷移させる。即ち、2つの撮像時の光軸が第1の光軸と第2の光軸となる。
このように、回転する第1の光軸偏向部材48と、前記第1の光軸偏向部材48の回転中に異なるタイミングで撮像を指示する撮像回路13が光軸遷移機構として機能する。本実施形態の撮像装置は、光軸レイアウト設定回路11の指示により第1の光軸偏向部材48の向きを調整することで複数の反射面を有する第2の光軸偏向部材49の中から、撮像光学系の光路中に位置させる反射面49a〜49cを選択することで、光軸の空間レイアウトを設定する。このため、光軸レイアウト設定回路11と第1の光軸偏向部材48と第2の光軸偏向部材49が光軸レイアウト設定機構として機能する。
例えば、図33は、前記第1の光軸偏向部材48の向きを調整し、第2の光軸偏向部材49の第1反射面49aで反射する第1、第2の光軸21、22を形成し、第1の光軸21と第2の光軸22を撮像装置の前方で交差させる。これにより、撮像装置で交差法によって被写体の3次元画像を撮像し、立体感に富む3次元画像を得る。
また、図34は、同様に前記第1の光軸偏向部材48の向きを調整し、第2の光軸偏向部材49の第2反射面49bで反射する第1、第2の光軸を形成し、第1の光軸21と第2の光軸22が平行となるレイアウトを形成する。これにより、撮像装置で平行法によって被写体の3次元画像を撮像し、目の疲労が比較的少ない3次元画像の撮像を得る。
さらに、図35も同様に、前記第1の光軸偏向部材48の向きを調整し、第2の光軸偏向部材49の第3反射面49cで反射する第1、第2の光軸を形成し、第1の光軸21と第2の光軸22がV字型となるレイアウトを形成する。これにより、第1の光軸21と第2の光軸22がV字型のレイアウトとなる状態で、撮像装置で被写体の3次元画像を撮像し、目の疲労が更に少ない3次元画像の撮像を得る。
尚、図36〜図38は、前記第5の実施形態の変形例であり、第1の光軸偏向部材48を撮像光学系の光軸回りに回転させる代わりに、左右に振る構成である。このように構成することによっても、各種レイアウトの設定が可能である。
例えば、図36の場合、前記第1の光軸偏向部材48の向きを調整し、第2の光軸偏向部材49の第1反射面49aで反射する第1、第2の光軸21、22を形成し、第1の光軸21と第2の光軸22を撮像装置の前方で交差させる。これによって、交差法によって被写体の3次元画像を撮像することができる。
また、図37の場合、第1の光軸偏向部材48の向きを調整し、第2の光軸偏向部材49の第2反射面49bで反射する第1、第2の光軸を形成し、第1の光軸21と第2の光軸22が平行となるレイアウトを形成する。これにより、平行法によって被写体の3次元画像を撮像することができる。
さらに、図38も同様に、前記第1の光軸偏向部材48の向きを調整し、第2の光軸偏向部材49の第3反射面49cで反射する第1、第2の光軸を形成し、第1の光軸21と第2の光軸22がV字型のレイアウトを形成する。これによって、第1の光軸21と第2の光軸22がV字型のレイアウトとなる状態で、被写体の3次元画像を撮像することができる。
(第6の実施形態)
次に、本発明の第6の実施形態について説明する。
第6の実施形態は偏光現象を利用して第1の光軸と第2の光軸を遷移させるものである。
本実施形態では、撮像光学系の光軸上に入射した光の偏光属性を切り替える偏光切替素子(例えば偏光板と液晶の組合わせや、偏光板とファラデー回転子の組合わせ)と、偏光の属性に応じて光路を複数に分割する偏光光路分割素子(例えば、複屈折プリズムやウォラストンプリズム)とを用いる。入射光は偏光切替素子によって偏光属性を選択的に切替られ、偏光光路分割素子によって選択的に切替られた前記偏光属性に応じた分割光路に振り分けられる。つまり、切り替えられた偏光属性に応じて複数の光路が生じる。
本実施形態では2つ生じた光路の一方の光軸を第1の光軸とし、他方の光軸を第2の光軸としている。本実施形態は、このようにして、撮像装置50自体を動かすことなく、撮像光学系2の光軸を、撮像範囲の少なくとも一部が重複する第1の光軸と第2の光軸との間で遷移させる構成である。
図39は本発明の第6の実施形態を説明する図である。同図において、撮像装置50は、撮像素子2、撮像光学系3、光軸遷移回路10、撮像光学系駆動部12、撮像回路13、記録媒体14、表示部17、および制御回路18を有している。また、撮像光学系3と撮像素子2の間には、偏光板56と、光軸遷移回路10によって制御される液晶58と、偏光光路分割素子52が配設されている。
図40は偏光光路分割素子52の一例して、例えば方解石等の複屈折プリズムを説明する図である。偏光属性としては直線偏光の方向を採用している。光軸20は偏光光路分割素子52である複屈折プリズムによって直線偏光の方向に応じて第1の光軸21と第2の光軸22に分離される。
また、図41は偏光光路分割素子52の別の例として、公知のウォラストンプリズム52aの例を示す図である。ウォラストンプリズム52aは、直交する直線偏向を対称に分離する性質を有し、例えば光軸20をウォラストンプリズム52aによって第1の光軸21と第2の光軸22に分離できる。
一方、図42及び図43は偏光切替素子51の例として、液晶58が偏光の属性を切り替える動作を説明する図である。偏光板56に入射した光は、一方向に偏光して射出される。この偏光57が液晶58に入射すると、液晶58の上下面に電圧が印加されている場合、液晶分子は電界に沿って並び、図42に示すように、偏光57の方向は変化せずに射出される。一方、液晶58の上下面に電圧が印加されていない場合、図43に示すように、液晶分子はねじれた方向に配向しており、この分子の作用で偏光面が回転して射出される。このように偏光の属性を切り替える作用は、ファラデー回転子でも得ることができる。
図44は光軸に沿った素子の配置を示し、被写体側から、撮像光学系3と、偏光板56と液晶58を含む偏光切替素子51と、偏光光路分離素子52と、撮像素子2が配設されている。この場合、撮像光学系3は偏光切替素子51及び偏光光路分離素子52より被写体側に配設されているが、この理由は、少ない光路の分割量でも画面上で大きな視差を得るためである。但し、偏光切替素子51及び偏光光路分離素子52は撮像光学系3より前に位置しても、撮像光学系3の中間に位置してもよい。つまり、偏光切替素子51と偏光光路分離素子52は、撮像素子2より被写体側ならどの位置でも配設可能である。また、偏光切替素子51と偏光光路分離素子52は、どちらが前に配設されていてもよい。
本実施形態では、入射した光は偏光切替素子51で方向の異なる2つの直線偏光の1つに変換されることで偏光の属性を切り替え、この切替られた偏光の属性(直線偏光の方向)に応じて、偏光光路分割素子52により複数に分割された光路から対応した光路を進行する。したがって、光軸の第1の光軸と第2の光軸間の切替が可能となる。
具体的には、被写体から入射した光が偏光板56によって直線偏光にされ、液晶58によって当該直線偏光の偏光面が回転しない第1の偏光と、偏光面が90度回転した第2の偏光に択一的に切替られる。これが偏光光路分離素子52である、例えばウォラストンプリズム52aに入射すると、偏光が第1の偏光の場合、ウォラストンプリズム52aで光軸20の方向が第1の光軸21の方向へ屈曲される。偏光が第2の偏光の場合は、ウォラストンプリズム52aで光軸20の方向が第2の光軸22の方向へ屈曲される。従って、液晶58に印加される電圧をオン・オフすることで、光軸を第1の光軸21と第2の光軸22の間で遷移させることができる。
図45は本実施形態の3次元画像の撮像方法を説明するフローチャートである。先ず、前述の図10の処理で説明した場合と同様、撮像装置50の電源をオンする(ステップ(以下、STPで示す)1)。この撮像装置1の電源オンは、例えば不図示の電源ボタンを押下することによって、制御回路18等に電源供給を行なう。
その後、撮像装置1は待機状態でレリーズスイッチ(レリーズSW)23に指が触れるのを待ち(STP2、STP3がNO)、被写体を撮影するため操作者の指がレリーズSW23に触れると(STP3がYES)、光軸を第1の光軸か第2の光軸の一方に設定する(STP4)。例えば、ここで光軸を第1の光軸に設定するものとする。これは光軸遷移回路10で液晶58に印加する電圧を制御して、液晶が入射光の直線偏光を回転させる状態と、回転させない状態のうち、いずれかを一方に設定することで行われる。
次に、レリーズSW23がオンされたか判断する(STP5)。すなわち、レリーズSW23を操作者の指が触れた状態から、更に操作者がレリーズSW23を押下したか判断する。ここで、操作者がレリーズSW23を押下すれば(STP5がYES)、左眼用画像又は右眼用画像の一方を撮像する(STP6)。尚、レリーズSW23を操作者の指が触れた状態から、更に操作者がレリーズSW23を押下しない場合(STP5がNO)、電源がオフされたか判断し(STP10)、電源がオフされない限り(STP10がNO)、操作者のレリーズSW23の押下待ち状態が維持される(STP4、STP5)。
一方、操作者がレリーズSW23を押下した場合、前記のように左眼用画像又は右眼用画像の一方を撮像した後、光軸を第1の光軸か第2の光軸の他方に設定する(STP7)。これは光軸遷移回路10で液晶58に印加する電圧を制御して、液晶が入射光の直線偏光を回転させる状態と、回転させない状態のうち、STP4で設定したのとは異なる状態に設定することで行われる。
例えば、ここで光軸を第2の光軸に設定するものとする。そして、左眼用画像又は右眼用画像の他方を撮像する(STP8)。
例えば、撮像光学系3の光軸が第1の光軸21になっているタイミングで、左眼用画像を撮像したのであれば、撮像光学系3の光軸が第2の光軸22になっているタイミングで、右眼用画像を撮像する。前記処理はレリーズSW23が操作者によって触れられている限り継続され(STP9がYES)、左眼用画像と右眼用画像が別々のタイミングで時分割に撮像される。このようにして撮像された左眼用画像と右眼用画像は、前述と同様一組として順次記録媒体14に記録される。
その後、操作者がレリーズSW23から指を離すと(STP9がNO)、更に撮像装置の電源がオフであるか判断し(STP10がNO)、撮像装置の電源オンである限り(STP10がNO)、操作者のレリーズSW23の押下待ち状態が維持され(STP4、STP5)、撮像装置の電源がオフになると処理を終了する(STP10がYES)。
尚、前述と同様、前記処理は動画を撮像する場合であり、静止画の撮像である場合には、第1の光軸21と第2の光軸22の遷移は1回のみで終わり、画像データは記録媒体14に記録される。
図46は、偏光光路分割素子52によって光軸20を第1の光軸21と第2の光軸22分割し、交差法によって3次元画像を撮像する例である。また、図47は、偏光光路分割素子52と不図示の被写体間にプリズム等の光線屈曲素子61を置き、光線の方向を屈曲させ、第1の光軸と第2の光軸の空間レイアウトを変更し、平行法を実現する例である。
また、図48は偏光切替素子51と偏光光路分離素子52を撮像光学系3の前に配置することにより、偏光切替素子51と偏光光路分離素子52の撮像光学系3への着脱を容易にした例である。すなわち、撮像装置60の交換レンズ62の前に、偏光切替素子51と偏光光路分離素子52を内蔵する3次元撮像アダプタ63を取り付け、3次元画像を撮像する構成である。
また、図49は、前記交換レンズ62と3次元撮像アダプタ63がスムーズに回動するように構成した例である。この場合、3次元撮像アダプタ63の偏芯した位置に重り65を設け、重り65に作用する重力により、常に3次元撮像アダプタ63が重り65を下にするように構成するものである。
このよう構成すれば、予め撮像装置60を横に構えた場合に視差方向が横になるように構成すれば、撮像装置60を縦に構えても3次元撮像アダプタ63が重力により90度回動するので、視差方向が横に保たれる。図50A、図50Bはこのことを説明する図である。図50Aは撮像装置を横に構えた場合であり、図50Bは撮像装置を縦に構えた場合であり、撮像画像に生じる視差方向を両方向矢印で示している。このように何れの場合も3次元撮像アダプタ63の重力による回動により、視差方向を横に保つことができる。
尚、図51は3次元撮像アダプタ63の回転で用いられるクリップ機構の構成を説明する図である。例えば、図49に示すように、3次元撮像アダプタ63に4本の溝69を設け、この溝69に嵌入するローラ67を交換レンズ62側に設け、交換レンズ62に対して3次元撮像アダプタ63を回転自在に構成する。このため、図51に示すように、ローラ67は交換レンズ62の周面に設けられた溝66にバネ等の弾性部材68を介装して回転自在に嵌入され、溝66から外れない構造である。この構造により、3次元撮像アダプタ63は交換レンズ62に対して、適度なスムーズさで回動する。即ち、撮像装置60の構える方向を横と縦を切り替えた場合には、3次元撮像アダプタ63は交換レンズ62に対して回動する。しかし、撮像装置60の僅かな傾きでは3次元撮像アダプタ63は交換レンズ62に対して回動しない。
(第7の実施形態)
次に、本発明の第7の実施形態について説明する。
前記各実施形態では、撮像装置自体を動かさずに、撮像装置の一つの撮像光学系の光軸を第1の光軸と第2の光軸との間で遷移させて、光軸が第1の光軸となるタイミングと第2の光軸となるタイミングで画像を2回撮像していた。本第7の実施形態では、撮像光学系の光軸を平面に沿って振るものであり、前記撮像光学系の光軸が第1の光軸となったタイミングミングと第2の光軸となったタイミング以外のタイミングでも撮像を行うものである。つまり、光軸遷移の間に、2より多い回数の撮像を行うものである。
なお、本実施形態においては、光軸遷移機構と画像の撮像のタイミングが主に説明されているが、本実施形態の構成に他の実施形態で説明された光軸レイアウト設定機構を組み合せることは当業者ならば容易に実施できることである。
本実施形態は、基本的に、前記図2で開示した構成を利用するものである。以下、本実施形態の特徴部分のみ説明する。
図52は前記図2で開示された、表面が光学的な反射面(例えばアルミコートミラーや多層膜反射ミラー)になっている反射部材である第1の光軸偏向部材4を示す。光軸遷移回路10は第1の光軸偏向部材4を軸回りに+θから−θの角度範囲で振動させる。
また、図53は、第1の光軸偏向部材4の角度変化を時系列にグラフ化したもので、振動周期をTで示している。ここで、撮像回路13は振動の周期Tの間に2回より多い回数の撮像を行う。本実施形態では、一定期間であるT/8の期間毎に1回の撮像を行う。即ち、1周期Tの、1/8、2/8、3/8、4/8、5/8、6/8、7/8、8/8のタイミングで撮像を行う。なお、前記図53において、撮像のタイミングを黒丸で示している。
図54は、本実施形態の撮像の様子を模式的に示す斜視図である。撮像の行われるタイミングの光軸を一点破線で示している。
図55は遠景に立方体があり、近景に球がある構成を、本実施形態の撮像装置で撮像する状況を示す図であり、図56は本実施形態の撮像装置により上記状況で撮影した画像である。1周期で8回の撮像が行われるので、撮像画像は8枚得られる。各撮像画像は、前景に球が写り背景に立方体が写っている。同図より明らかなように、これらの画像は互いに視差がある視差画像となっており、しかも視差量は複数の段階をもって表現されている。
図57は、上記撮像した複数の視差画像を、公知のレンチキュラー技術を使って観察する態様を説明する図である。図57において、レンチキュラーレンズ71の下には、観察パターンを上面にプリントした基材72が配設されている。観察パターンでは複数のストライプ領域73が並列しており、各ストライプ領域73には撮像装置で撮像された各々異なる視差量をもつ8枚の画像を横方向のみに縮小した画像がプリントされている。この、レンチキュラーレンズ71と基材72を図58に示すように、互いに位置合わせをして接合する。この状態で観察者がレンチキュラーレンズ71を上方から観察すると、見る角度に応じて異なる視差の画像が、レンチキュラーレンズ71で横方向のみ拡大されて観察される。画像は予め横方向に縮小しているので、レンチキュラーレンズ71の横方向の拡大により、元の画像の縦横比で観察される。
本実施形態では、互いに異なる視差をもつ複数の(2枚より多い)画像のうち、観察者の見る角度に応じて選択された画像が観察される。従って、観察角度の変化に応じて立体感が変化する表現が可能となる。
なお、前記図14において、撮像ユニットである筒状の第1の光軸偏向部材31の軸周りの振動において、前記と同様に1周期中に2回より多い回数撮像することによっても本実施形態と同様の効果が得られる。
(第8の実施形態)
次に、本発明の第8の実施形態について説明する。
前記第7の実施形態は、1軸回りの光軸遷移の間に、2より多い回数の撮像を行うものであり、撮像時の光軸は扇形の平面上に放射状に分布していた。一方、本第8の実施形態は、撮像光学系の光軸を周期的に前記光軸とは異なる軸回りに回転させるものである。この結果、撮像光学系の光軸の軌跡は円錐または円筒となる。つまり、光軸は円錐側面や円筒側面に沿って回転する。そして、前記撮像光学系の光軸が第1の光軸となったタイミングと第2の光軸となったタイミング以外のタイミングでも撮像を行う。本実施形態では、2軸回りで光軸の遷移を行わせて光軸にすりこぎ運動(precession)をさせ、複数の方向に視差をもつ画像群を獲得する。
なお、本実施形態においては、光軸遷移機構と画像の撮像のタイミングが主に説明されているが、本実施形態の構成に、他の実施形態で説明した光軸レイアウト設定機構を組み合せることは当業者ならば容易に実施できることである。
本実施形態は、基本的に、前記図12で開示された構成を利用するものである。以下、本実施形態の特徴部分のみ説明する。
図59は、前記図12で開示された、2軸で振動する反射部材である第1の光軸偏向部材25を示す。第1の光軸偏向部材25はXとYの2軸をもっており、各軸回りに+θから−θの角度範囲で振動する。
図60は、光軸遷移回路10が実現する第1の光軸偏向部材25のX軸回りの振動位相とY軸回りの振動位相の関係を示す。振動の周期は互いにTで同じだが、振動の位相は相対的に90度ずれている。このような振動状態において、撮像回路13は振動の周期Tの間に2回より多い回数の撮像を行う。本実施形態では、一定期間であるT/8の期間毎に1回の撮像を行っている。即ち、1周期Tの、1/8、2/8、3/8、4/8、5/8、6/8、7/8、8/8のタイミングで撮像を行う。なお、図60において、撮像のタイミングを黒丸で示している。
図61は前記撮像のタイミングを、θx−θy平面上にプロットしたものである。また、撮像のタイミングを黒丸で示し、各黒丸は円周上に乗っている。これより、X軸とY軸の振動によって、第1の光軸偏向部材25の反射面は、垂線の軌跡が円錐側面を描くように運動をすることが分かる。もっとも、θxとθyの最大振れ幅を異ならせれば楕円の錐形の側面を描くようになるなど、錐形の形は円錐に限定されない。
図62は光軸の遷移を示す図であり、前記反射面の運動に従って、光軸がすりこぎ運動をすることを示す。また、図63は、この光軸のすりこぎ運動において、撮像回路13によってT/8の期間毎に1回の撮像を行った場合の撮像画像を示す。
また、図63に示す画像a1からa8は、前記図55と同じセッティングで撮影をしたものである。各撮像画像は、前景に球が写り背景に立方体が写っている。同図より明らかなように、これらの画像は互いに視差がある視差画像となっており、しかも視差の方向が画像毎に異なっている。
さらに、図64は、前記図63に示した画像を観察するために使用するディスプレイ75を有する装置(図示は携帯電話)74を示す。ディスプレイ75は画素が2次元アレイに配設されており、各画素は、通過光のスペクトル又は強度の少なくとも1方を変調する複数のサブ画素が点対称に配列された透光層を有している。本実施形態では、各画素は8つのサブ画素b1からb8を有している。本ディスプレイにおいて、8つのサブ画素b1からb8には前記図63で示した画像a1からa8の画素が各々対応づけられて表示される。
ここではディスプレイ75を有する装置として携帯電話74を例示したが、この他にも装置としてはテレビ、パーソナルコンピュータ(PC)、携帯情報端末、モニタなどがあるが、これに限定されない。
図65は各画素の構成を示す。画素が配設されたレイヤ77の下には、各サブ画素の面積より面積が小さいか、又は同じである光源78が配設されている。光源78は画素の中心(サブ画素の対称点)の直下に位置付けられている。また、各画素には他の画素からの光が進入しないように遮光部材79が設けられている。この構成において、光源78から射出される光束は各サブ画素の何れか1つを透過して観察者の目に到達する。どのサブ画素を透過した光が観察者の目に到達するかは、観察者がどの方向からディスプレイ75を観察するかによって決定される。従って、正立するディスプレイ75に対して観察者が頭部を、正立させても、傾けても、横にしても、各々の姿勢に応じた方向で撮像された視差画像を観察することができる。このように、本実施形態によれば、ディスプレイに対して姿勢の自由度の高い3次元画像の観察が可能になる。
また、図64と図65に示すディスプレイを使用しない場合でも、撮像タイミングがT/2ずれている画像の組(本実施形態では、a1とa5、a2とa6、a3とa7、a4とa8)から、1つの組を選択して、視差が横になるようにしてディスプレイに表示すれば、(3Dメガネを用いる等して)3次元画像の観察ができる。従って、本実施形態の撮像装置によれば、撮像装置を横に構えて撮像した画像でも、縦に構えて撮像した画像でも、表示時に適切な画像の組みを選択することにより、3次元画像を融像可能な状態で表示することが常に可能である。
なお、前記図14において、撮像ユニットである筒状の第1の光軸偏向部材31の軸周りの振動において、上記と同様にすりこぎ運動をさせ1周期中に2回より多い回数撮像することによっても本実施形態と同様の効果が得られる。また、前記図20や図28において、回転ユニットの1回転の間に、2回より多い回数撮像することによっても本実施形態と同様の効果が得られる。この場合、回転ユニットから伸びる光軸が回転軸と平行な場合は光軸の軌跡は円筒となり、非平行の場合は円錐となる。
以上のように、前記各実施形態によれば、一眼方式で光軸を遷移させて、左眼用画像と右眼用画像を時分割で撮像して3次元画像を獲得できるので、撮像光学系が1つで済み、製造コストが抑えられる。また、2つの撮像光学系の特性や制御を合致させる必要が無いので、製造が容易となり、二眼方式では困難であった、高性能光学系やズーム光学系の搭載も容易となる。
また、いくつかの前記実施形態で開示された光軸レイアウト設定機構は、従来の二眼式の3次元画像撮像装置でも有効に搭載できる。その場合は、例えば、二眼式の撮像装置の2つの撮像光学系同士をアクチュエータで接続し、2つの撮像光学系の相対的角度を前記アクチュエータを駆動して変化させるように構成すればよい。

Claims (36)

  1. 撮像装置を使って、互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像方法であり、
    前記撮像装置自体を動かさずに、前記撮像装置の一つの撮像光学系の光軸を、撮像範囲の少なくとも一部が重複している、第1の光軸と第2の光軸との間で遷移させ、
    前記遷移において、
    前記撮像光学系の光軸が前記第1の光軸になっているタイミングで、前記左眼用画像又は右眼用画像の一方を撮像し、
    前記撮像光学系の光軸が前記第2の光軸になっているタイミングで、前記左眼用画像又は右眼用画像の他方を撮像する、
    ことを特徴とする3次元画像撮像方法。
  2. 前記撮像光学系の光軸の第1の光軸と第2の光軸との間の遷移は、前記撮像光学系の光軸中に配設された光軸の方向を変える光軸偏向部材を動かすことによって行う、ことを特徴とする請求項1に記載の3次元画像撮像方法。
  3. 前記光軸偏向部材は反射部材である、ことを特徴とする請求項2に記載の3次元画像撮像方法。
  4. 前記撮像光学系の光軸の第1の光軸と第2の光軸との間の遷移は、前記撮像光学系の向きを動かすことによって行う、ことを特徴とする請求項1に記載の3次元画像撮像方法。
  5. 前記撮像光学系の光軸の第1の光軸と第2の光軸との間の遷移は、前記撮像光学系の位置を動かすことによって行う、ことを特徴とする請求項1に記載の3次元画像撮像方法。
  6. 前記撮像光学系の光軸上には、入射した光の偏光属性を切り替える偏光切替素子と、偏光の属性に応じて光路を複数に分割する偏光光路分割素子が配設されており、
    前記撮像光学系の光軸の第1の光軸と第2の光軸との間の遷移は、前記偏光切替素子によって偏光属性を切り替えることによって行う、
    ことを特徴とする請求項1に記載の3次元画像撮像方法。
  7. 前記偏光切替素子は、直線偏光の偏光方向を切り替えるものであり、
    前記偏光光路分割素子は、直線偏光の偏光方向に応じて光路を分割するものである、
    ことを特徴とする請求項6に記載の3次元画像撮像方法。
  8. 前記第1の光軸と第2の光軸の相対的な角度を変化させて前記第1の光軸と第2の光軸の空間レイアウトを設定する、ことを特徴とする請求項1に記載の3次元画像撮像方法。
  9. 前記設定される前記第1の光軸と第2の光軸の空間レイアウトは、
    前記第1の光軸と第2の光軸のレイアウトが交差法の関係になるように設定する、
    ことを特徴とする請求項8に記載の3次元画像撮像方法。
  10. 前記設定される前記第1の光軸と第2の光軸の空間レイアウトは、
    前記第1の光軸と第2の光軸のレイアウトが平行法の関係になるように設定する、
    ことを特徴とする請求項8に記載の3次元画像撮像方法。
  11. 前記設定される前記第1の光軸と第2の光軸の空間レイアウトは、
    前記第1の光軸と第2の光軸のレイアウトがV字型になるように設定する、
    ことを特徴とする請求項8に記載の3次元画像撮像方法。
  12. 前記第1の光軸と第2の光軸の空間レイアウトの設定は、前記撮像装置と被写体までの距離に応じて異なるレイアウトに設定される、ことを特徴とする請求項8に記載の3次元画像撮像方法。
  13. 前記第1の光軸と第2の光軸の空間レイアウトの設定は、前記の撮像光学系の光軸中に配設された光軸の方向を変える光軸偏向部材の向きを設定することによって行われる、ことを特徴する請求項8に記載の3次元画像撮像方法。
  14. 前記光軸偏向部材は反射部材である、ことを特徴とする請求項13に記載の3次元画像撮像方法。
  15. 前記遷移は、前記撮像光学系の光軸を平面に沿って振るものであり、前記撮像光学系の光軸が前記第1の光軸になったタイミングと第2の光軸になったタイミング以外のタイミングでも、撮像を行う、ことを特徴とする請求項1に記載の3次元画像撮像方法。
  16. 前記遷移は、前記撮像光学系の光軸を錐形の側面に沿って振るものであり、前記撮像光学系の光軸が前記第1の光軸になったタイミングと第2の光軸になったタイミング以外のタイミングでも撮像を行う、ことを特徴とする請求項1に記載の3次元画像撮像方法。
  17. 互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像装置であり、
    一つの撮像光学系と、
    前記撮像光学系を経由した光が結像する撮像素子と、
    前記撮像装置自体を動かさずに、前記撮像光学系の光軸を、撮像範囲の少なくとも一部が重複している、第1の光軸と第2の光軸との間で遷移させる、光軸遷移機構と、
    前記遷移において、前記撮像光学系の光軸が前記第1の光軸になっているタイミングで前記左眼用画像又は右眼用画像の一方を撮像し、前記撮像光学系の光軸が前記第2の光軸になっているタイミングで、前記左眼用画像又は右眼用画像の他方を撮像する、撮像回路と、
    を有することを特徴とする3次元画像撮像装置。
  18. 前記光軸遷移機構は、前記撮像光学系の光軸中に配設された光軸の方向を変える光軸偏向部材と、前記光軸偏向部材の向きを切り替える駆動部を有し、
    前記光軸遷移機構は、前記駆動部により前記光軸偏向部材の向きを切り替えることによって前記撮像光学系の光軸を第1の光軸と第2の光軸との間で遷移させる、
    ことを特徴とする請求項17に記載の3次元画像撮像装置。
  19. 前記光軸偏向部材は反射部材である、ことを特徴とする請求項18に記載の3次元画像撮像方装置。
  20. 前記光軸遷移機構として、前記撮像光学系の向きを切り替える駆動部を有し、
    前記撮像光学系の光軸の第1の光軸と第2の光軸との間の遷移は、前記駆動部により前記撮像光学系の向きを切り替えることによって行う、ことを特徴とする請求項17に記載の3次元画像撮像装置。
  21. 前記光軸遷移機構として、前記撮像光学系の位置を切り替える駆動部を有し、
    前記撮像光学系の光軸の第1の光軸と第2の光軸との間の遷移は、前記駆動部により前記撮像光学系の位置を切り替えることによって行う、ことを特徴とする請求項17に記載の3次元画像撮像装置。
  22. 前記光軸遷移機構は、前記撮像光学系の光軸上に配設された、入射した光の偏光属性を切り替える偏光切替素子と、偏光の属性に応じて光路を複数に分割する偏光光路分割素子を有し、
    前記撮像光学系の光軸の第1の光軸と第2の光軸との間の遷移は、前記偏光切替素子によって偏光属性を切り替えることによって行う、
    ことを特徴とする請求項17に記載の3次元画像撮像装置。
  23. 前記偏光切替素子は、直線偏光の偏光方向を切り替えるものであり、
    前記偏光光路分割素子は、直線偏光の偏光方向に応じて光路を分割するものである、
    ことを特徴とする請求項22に記載の3次元画像撮像装置。
  24. 前記第1の光軸と第2の光軸の相対的な角度を変化させて前記第1の光軸と第2の光軸の空間レイアウトを設定する、光軸レイアウト設定機構を更に有することを特徴とする請求項17に記載の3次元画像撮像装置。
  25. 前記光軸レイアウト設定機構は、前記第1の光軸と第2の光軸のレイアウトが交差法の関係になるように設定する、
    ことを特徴とする請求項24に記載の3次元画像撮像装置。
  26. 前記光軸レイアウト設定機構は、前記第1の光軸と第2の光軸のレイアウトが平行法の関係になるように設定する、
    ことを特徴とする請求項24に記載の3次元画像撮像装置。
  27. 前記光軸レイアウト設定機構は、前記第1の光軸と第2の光軸のレイアウトがV字型になるように設定する、
    ことを特徴とする請求項24に記載の3次元画像撮像装置。
  28. 前記光軸レイアウト設定機構は、前記第1の光軸と第2の光軸のレイアウトを前記撮像装置と被写体までの距離に応じて異なるレイアウトに設定する、ことを特徴とする請求項24に記載の3次元画像撮像装置。
  29. 前記光軸レイアウト設定機構は、前記の撮像光学系の光軸中に配設された光軸の方向を変える光軸偏向部材の向きを設定することにより、前記第1の光軸と第2の光軸のレイアウトを設定する、ことを特徴とする請求項24に記載の3次元画像撮像装置。
  30. 前記光軸偏向部材は反射部材である、ことを特徴とする請求項29に記載の3次元画像撮像装置。
  31. 前記光軸遷移機構は、前記撮像光学系の光軸を平面に沿って振るものであり、
    前記撮像回路は、前記撮像光学系の光軸が前記第1の光軸になったタイミングと第2の光軸になったタイミング以外のタイミングでも、撮像を行うことを特徴とする、請求項17に記載の3次元画像撮像装置。
  32. 前記光軸遷移機構は、前記撮像光学系の光軸を前記光軸とは異なる軸まわりに回転させるものであり、
    前記撮像回路は、前記撮像光学系の光軸が前記第1の光軸になったタイミングと第2の光軸になったタイミング以外のタイミングでも、撮像を行うことを特徴とする、請求項17に記載の3次元画像撮像装置。
  33. 互いに視差を有する複数の2次元画像を含む3次元画像を撮像する3次元画像撮像装置であり、
    一つの撮像光学系と、
    前記撮像光学系を経由した光が結像する撮像素子と、
    前記撮像装置自体を動かさずに、前記撮像光学系の光軸を周期的に振る光軸遷移機構と、
    前記光軸の振れの一周期の間に、少なくとも2回の撮像を行う撮像回路と、
    を有することを特徴とする3次元画像撮像装置。
  34. 互いに視差を有する2次元画像である左眼用画像と右眼用画像とを含む3次元画像を撮像する3次元画像撮像装置であり、
    左眼用画像又は右眼用画像の一方を撮像する場合の光軸である第1の光軸と、左眼用画像又は右眼用画像の他方を撮像する場合の光軸である第2の光軸とをもつ、一眼または二眼の撮像光学系と、
    前記撮像光学系の第1の光軸と第2の光軸の相対的な角度を変化させる光軸レイアウト設定機構と、
    前記第1の光軸で左眼用画像又は右眼用画像の一方を撮像し、前記第2の光軸で前記左眼用画像又は右眼用画像の他方を撮像する、撮像回路と、
    を有することを特徴とする3次元撮像装置。
  35. 互いに視差を有する複数の2次元画像を含む3次元画像を撮像する3次元画像撮像装置であり、
    一つの撮像光学系と、
    前記撮像光学系を経由した光が結像する撮像素子と、
    前記撮像装置自体を動かさずに、前記撮像光学系の光軸を周期的に前記光軸とは異なる軸回りに回転させる光軸遷移機構と、
    前記光軸の回転運動の一周期の間に、複数回の撮像を行う撮像回路と、
    を有することを特徴とする3次元画像撮像装置。
  36. 複数の画素が2次元に配列したディスプレイであり、
    前記画素が、通過光のスペクトル又は強度の少なくとも1方を変調する複数のサブ画素が点対称に配列された透光層と、上記対称点の下に設けられた前記サブ画素よりも発光面が大きくない光源と、を有することを特徴とする、ディスプレイ。
JP2013535592A 2010-12-29 2010-12-29 3次元画像撮像方法 Expired - Fee Related JP5821150B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/007619 WO2012090257A1 (en) 2010-12-29 2010-12-29 3-dimensional image capturing method

Publications (2)

Publication Number Publication Date
JP2013546017A true JP2013546017A (ja) 2013-12-26
JP5821150B2 JP5821150B2 (ja) 2015-11-24

Family

ID=46382409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535592A Expired - Fee Related JP5821150B2 (ja) 2010-12-29 2010-12-29 3次元画像撮像方法

Country Status (5)

Country Link
US (1) US20130271580A1 (ja)
EP (1) EP2619627A4 (ja)
JP (1) JP5821150B2 (ja)
CN (1) CN103250098B (ja)
WO (1) WO2012090257A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760745A (zh) * 2013-12-31 2014-04-30 浙江博采传媒有限公司 一种用于定格拍摄的单机双机位立体影像拍摄装置及其拍摄方法
CN113163188A (zh) * 2021-05-27 2021-07-23 杭州小肤科技有限公司 一种结合光学反射成像的3d结构光全脸成像装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI454831B (zh) * 2012-08-01 2014-10-01 Simplo Technology Co Ltd 影像擷取系統及其影像擷取方法
JP6146006B2 (ja) * 2012-12-25 2017-06-14 株式会社リコー 撮像装置及びステレオカメラ
TWI589979B (zh) * 2013-05-02 2017-07-01 群邁通訊股份有限公司 雙向鏡頭模組、相機模組及使用該相機模組的電子裝置
US20140355974A1 (en) * 2013-06-04 2014-12-04 Delphi Technologies, Inc. Multi-view image system with a single camera and a transreflective device
CN104460220A (zh) * 2014-12-31 2015-03-25 苏州江奥光电科技有限公司 一种利用单个摄像机实现双目视觉三维成像的装置
CN105763771B (zh) * 2015-04-22 2019-10-18 维沃移动通信有限公司 镜头马达、摄像设备和移动终端
CN109154710B (zh) 2016-05-27 2022-03-08 深圳市大疆创新科技有限公司 用于平衡变焦镜头的重心的系统
CN107942606B (zh) * 2016-10-13 2021-09-21 生命技术控股私人有限公司 用于放大成像的系统、方法和装置
WO2018070938A1 (en) 2016-10-13 2018-04-19 Life Technologies Holdings Pte Limited Devices, systems, and methods for illuminating and imaging objects
CN107222734A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 一种图像采集装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11285025A (ja) * 1998-03-31 1999-10-15 Toshiba Corp 立体カメラ装置
JP2001042464A (ja) * 1999-08-03 2001-02-16 Matsushita Electric Ind Co Ltd ステレオ画像生成方法及び装置
JP2003005312A (ja) * 2001-06-26 2003-01-08 Canon Inc 光束切換装置、立体撮影光学系および立体撮影装置
JP2003005311A (ja) * 2001-06-19 2003-01-08 Olympus Optical Co Ltd 立体画像撮影装置
JP2005026756A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP2008216971A (ja) * 2007-02-08 2008-09-18 Seiko Epson Corp 画像表示デバイス

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014126A (en) * 1989-10-23 1991-05-07 Vision Iii Imaging, Inc. Method and apparatus for recording images with a single image receiver for autostereoscopic display
GB2250604B (en) * 1990-11-10 1994-05-18 Peng Seng Toh Small standoff one-camera-stereo adaptor
JPH0630446A (ja) * 1992-07-13 1994-02-04 Ricoh Co Ltd 立体画像記録装置
CN2165466Y (zh) * 1993-09-01 1994-05-18 罗德修 立体照相机的成像机构
JP3537218B2 (ja) * 1995-06-01 2004-06-14 オリンパス株式会社 立体映像撮影装置
CN2244736Y (zh) * 1995-09-01 1997-01-08 史本宽 双摄像镜头立体照相机及视片装置
EP1283431B1 (en) * 2001-08-06 2005-02-23 Hitachi, Ltd. Optical switch system and method for aligning optical axis therein
US8390675B1 (en) * 2005-10-21 2013-03-05 Thomas Paul Riederer Stereoscopic camera and system
KR100866491B1 (ko) * 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11285025A (ja) * 1998-03-31 1999-10-15 Toshiba Corp 立体カメラ装置
JP2001042464A (ja) * 1999-08-03 2001-02-16 Matsushita Electric Ind Co Ltd ステレオ画像生成方法及び装置
JP2003005311A (ja) * 2001-06-19 2003-01-08 Olympus Optical Co Ltd 立体画像撮影装置
JP2003005312A (ja) * 2001-06-26 2003-01-08 Canon Inc 光束切換装置、立体撮影光学系および立体撮影装置
JP2005026756A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP2008216971A (ja) * 2007-02-08 2008-09-18 Seiko Epson Corp 画像表示デバイス

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760745A (zh) * 2013-12-31 2014-04-30 浙江博采传媒有限公司 一种用于定格拍摄的单机双机位立体影像拍摄装置及其拍摄方法
CN113163188A (zh) * 2021-05-27 2021-07-23 杭州小肤科技有限公司 一种结合光学反射成像的3d结构光全脸成像装置
CN113163188B (zh) * 2021-05-27 2022-03-04 杭州小肤科技有限公司 一种结合光学反射成像的3d结构光全脸成像装置

Also Published As

Publication number Publication date
CN103250098B (zh) 2016-02-24
WO2012090257A1 (en) 2012-07-05
EP2619627A4 (en) 2017-01-18
EP2619627A1 (en) 2013-07-31
US20130271580A1 (en) 2013-10-17
CN103250098A (zh) 2013-08-14
JP5821150B2 (ja) 2015-11-24

Similar Documents

Publication Publication Date Title
JP5821150B2 (ja) 3次元画像撮像方法
US7061532B2 (en) Single sensor chip digital stereo camera
KR0181269B1 (ko) 자동 입체 디스플레이용 단일 영상 수신기를 사용한 영상 기록 방법 및 장치
KR100519864B1 (ko) 화상정보입력장치및그방법
JP5855702B2 (ja) マルチプレーンカメラ装置
JP2920051B2 (ja) 3次元ディスプレイ装置
JP3783977B2 (ja) 立体映像装置及び立体映像表示方法
JP2007517264A (ja) 多次元の撮像装置、システムおよび方法
US11099381B2 (en) Synchronizing light sources and optics in display apparatuses
JP2001238229A (ja) 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム
KR101271514B1 (ko) 입체카메라 모듈
JP2004228838A (ja) 立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法
JP2012185397A (ja) 撮像装置
JP2011112808A (ja) 撮像装置
JP5390865B2 (ja) 立体画像撮影装置
JP2000132329A (ja) 面認識装置、面認識方法及び仮想画像立体合成装置
KR20060022107A (ko) 스테레오 스코프 촬영 장치 및 방법
JP3492921B2 (ja) 立体カメラ装置
JP2004258594A (ja) 広角度から鑑賞できる立体画像表示装置
JP5627930B2 (ja) 3次元画像データ生成方法
JPH0225842A (ja) 三次元撮影装置
JP2017191271A (ja) 撮像装置及び撮像方法
US20120147151A1 (en) Image pickup apparatus
JP2012175229A (ja) カメラおよびカメラの制御方法ならびにカメラの制御プログラム、表示装置の制御方法
JP2013117566A (ja) 視差画像取得装置、携帯情報端末及び視差画像取得方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20150223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150918

R150 Certificate of patent or registration of utility model

Ref document number: 5821150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees