JP2003143459A - 複眼撮像系およびこれを備えた装置 - Google Patents

複眼撮像系およびこれを備えた装置

Info

Publication number
JP2003143459A
JP2003143459A JP2001338394A JP2001338394A JP2003143459A JP 2003143459 A JP2003143459 A JP 2003143459A JP 2001338394 A JP2001338394 A JP 2001338394A JP 2001338394 A JP2001338394 A JP 2001338394A JP 2003143459 A JP2003143459 A JP 2003143459A
Authority
JP
Japan
Prior art keywords
image pickup
compound
imaging system
parallax
pixel group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001338394A
Other languages
English (en)
Inventor
Michiharu Araya
道晴 荒谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001338394A priority Critical patent/JP2003143459A/ja
Priority to US10/284,792 priority patent/US20030086013A1/en
Publication of JP2003143459A publication Critical patent/JP2003143459A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1062—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to a type of game, e.g. steering wheel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 簡単かつコンパクトな構成でありながら明る
い視差画像を得て、これら視差画像から適正な視差情報
を算出できる撮像系が求められている。 【解決手段】 光軸が互いに略平行である複数の光学ブ
ロック３−１〜３−４が一体形成された光学ブロックア
レイ３と、上記複数の光学ブロックにより形成された像
をそれぞれ撮像する、同一の半導体基板１０上に形成さ
れた複数の撮像ブロック７−１〜７−４と、これら複数
の撮像ブロックにより撮像された画像間の視差情報を算
出する視差算出回路９とから複眼撮像系を構成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタルカメラや
ＴＶ電話用カメラ等に用いられる複眼撮像系に関するも
のである。
【０００２】
【従来の技術】デジタルビデオやデジタルカメラといっ
た撮像装置は、被写体をレンズを介してＣＣＤやＣＭＯ
Ｓセンサ等の撮像素子に射影することにより、被写体の
２次元的画像情報を取得する装置である。
【０００３】また、被写体の３次元情報、例えば被写体
までの距離や被写体の凹凸の情報を測定する装置も提案
されている。
【０００４】例えば、特開２０００−３２３５４号公報
には、多数のカメラを並列に配置し、それぞれのピント
位置を予め少しずつずらしておくことにより、合焦状態
にある被写体までの距離を測定する手法が提案されてい
る。
【０００５】また、特許第２９５８４５８号公報には、
複数のカメラを配置し、ステレオ画像から三角測量の原
理で被写体の距離情報を取得する手法が開示されてい
る。
【０００６】
【発明が解決しようとする課題】しかしながら、特開平
２０００−３２３５４号公報にて提案のものにおいて
は、精度の良い距離情報を求めるには、少しずつピント
位置をずらした非常に多数のカメラが必要になるという
問題がある。
【０００７】また、特許第２９５８４５８号公報にて開
示のものにおいても、複数のカメラと、これらカメラを
固定する固定部材、さらには複数の撮像素子やこれら撮
像素子を固定する部材が必要となり、部品点数が多く、
コスト高になってしまうといった問題がある。
【０００８】これに対し、特開平９−７４５７２号公報
には、２つの撮像素子を一体することによって小型化を
実現したステレオカメラ装置が提案されている。
【０００９】しかしながら、同公報提案のステレオカメ
ラ装置は、あくまで立体視用のステレオ画像の取得を目
的としたものであり、同公報には、ステレオ画像から距
離情報を求めることに関しては何ら記載されていない。
また、同公報提案の記載のステレオカメラ装置において
は、所望のステレオ画像を得るために２つの光学系を可
動として設けているため、装置が複雑化してしまうとい
った問題がある。
【００１０】さらに、特許第２９５８４５８号公報にて
開示のものおいては、単一の部材にピンホールを複数設
け、いわゆるピンホールカメラとして使用することによ
り、複数のカメラを有する装置に比べて小型化が図られ
ている。
【００１１】しかしながら、ピンホールカメラは非常に
暗い光学系であるため、使用できる条件がかなり制限さ
れてしまうという問題がある。
【００１２】
【課題を解決するための手段】上記の課題を解決するた
め、本発明の複眼撮像系は、光軸が互いに略平行である
複数の光学ブロックが一体形成された光学ブロックアレ
イと、上記複数の光学ブロックにより形成された像をそ
れぞれ撮像する、同一の半導体基板上に形成された複数
の撮像ブロックと、これら複数の撮像ブロックにより撮
像された画像間の視差情報を算出する視差算出回路とを
有する。
【００１３】これにより、簡単かつコンパクトな構成で
ありながら明るい視差画像（ステレオ画像）を得ること
が可能であり、これら視差画像から適正な視差情報を算
出することが可能となる。
【００１４】そして、上記視差算出回路を、複数の撮像
ブロックが形成されている半導体基板上に形成すること
により、視差算出回路まで含む複眼撮像系を１つにユニ
ット化することが可能となり、この複眼撮像系を搭載し
た装置の組立の容易化およびコンパクト化を図ることが
可能となる。
【００１５】なお、上記視差算出回路により算出された
視差情報に基づいて、撮像領域全体のうち主被写体が撮
像されている特定領域を識別する領域識別回路を設けた
り、同じく視差情報に基づいて、被写体までの距離を算
出する距離算出回路を設けたりしてもよい。また、これ
らの領域識別回路や距離算出回路も上記半導体基板上に
形成してもよい。
【００１６】
【発明の実施の形態】（第１実施形態）図１から図３に
は、本発明の第１実施形態である複眼撮像系の構成を示
している。図１は上記複眼撮像系を物体側から見た正面
図であり、図２は上記複眼撮像系の側面断面図である。
また、図３は上記複眼撮像系の分解斜視図である。
【００１７】これらの図において、複眼撮像系１は、物
体側から順に、絞り部材２と、光学レンズ（ブロック）
アレイ３と、遮光ブロック４と、光学フィルタ６と、撮
像ユニット７とが配置され、１つにユニット化されてい
る。
【００１８】絞り部材２には、４つの開口部２−１，２
−２，２−３，２−４が形成されており、これら開口部
の周囲部分によって複眼撮像系１への不要な外光入射を
遮断している。
【００１９】光学レンズアレイ３は、４つのマイクロレ
ンズ３−１，３−２，３−３，３−４が一体に構成され
たものである。この光学レンズアレイ３は、光学ガラス
又はプラスチックなどにより形成されている。
【００２０】遮光ブロック４は、不透明な材料で形成さ
れており、マイクロレンズ３−１〜３−４に対応する４
箇所には筒状の開口部が形成されている。
【００２１】光学フィルタ６は、光学ローパスフィルタ
や赤外線カットフィルタ等で構成されている。
【００２２】なお、絞り部材２の４つの開口部と、光学
レンズアレイ３における４つの各マイクロレンズとによ
り４つの撮像光学系が構成される。
【００２３】また、撮像ユニット７は、ＣＣＤセンサや
ＣＭＯＳセンサ等の電子撮像センサからなり、図４に詳
しく示すように、多数の画像検出素子（画素）がアレイ
状に設けられて構成されている。そして、この画素群上
に上記４つの撮像光学系を通過した光線がそれぞれ結像
する画素群７−１，７−２，７−３，７−４が設定され
ている。
【００２４】なお、上記４つの撮像光学系とこれらに対
応する４つの画素群とにより複眼撮像系１が構成され
る。
【００２５】また、撮像ユニット７は半導体基板１０上
に形成されており、この半導体基板１０上には駆動回路
８と信号処理回路９も共に形成されている。
【００２６】次に、本実施形態の複眼撮像系１における
結像作用について説明する。不図示の撮像領域（主被写
体が含まれる領域）からの光線のうち、絞り部材２の開
口部２−１を通過した光線は、マイクロレンズ３−１に
より屈折作用を受けた後、遮光ブロック４内および光学
フィルタ６を通過し、撮像ユニット７の画素群７−１上
に結像する。
【００２７】また、上記撮像領域からの光線のうち、絞
り部材２の開口部２−２を通過した光線は、マイクロレ
ンズ３−２により屈折作用を受けた後、遮光ブロック４
内および光学フィルタ６を通過し、撮像ユニット７の画
素群７−２上に結像する。
【００２８】以下、上記撮像領域からの光線のうち絞り
部材２の開口部２−３、２−４を通過した光線も、同様
に、撮像ユニット７の画素群７−３，７−４上に結像す
る。
【００２９】このように、絞り部材２の各開口部から各
画素群に至る経路はそれぞれ１つの撮像系として機能
し、この撮像系が４つまとまって構成されていることに
より、複眼撮像系１が構成される。
【００３０】なお、遮光ブロック４は、例えば絞り部材
２の開口部２−１に入射した光線が画素群７−１以外の
画素群に到達することを防止する。すなわち、絞り部材
２の各開口部から入射した光線がその開口部に対応する
画素群以外の画素群に入射して、いわゆるゴースト光が
発生することを防止する。
【００３１】本実施形態においては、上記４つのマイク
ロレンズ３−１〜３−４の光軸は互いに略平行となって
おり、全て同じ焦点距離を有している。また、４つのマ
イクロレンズ３−１〜３−４は隣接して配置されてい
る。さらに、絞り部材２の開口部２−１〜２−４は全て
同じ開口径を有している。このため、４つのマイクロレ
ンズ３−１〜３−４はそれぞれ概略同じ撮像領域の被写
体をそれぞれに対応する画素群上に結像させる。
【００３２】また、本実施形態の複眼撮像系１は、任意
の距離にある被写体が撮像ユニット７によりもっとも明
瞭に結像するよう調節されている。複眼撮像系１の焦点
調節は、図示しない駆動機構によって光学レンズアレイ
３と撮像ユニット７の相対間隔を調整することにより行
われる。
【００３３】また、本実施形態の複眼撮像系１において
は、全ての画素群７−１〜７−４は、同一平面（単一の
基板１０上）に構成されている。このため、複眼撮像系
１の組み立て時において、画素群７−１〜７−４の配線
や位置合わせを行う必要がなくなり、組み立て工程を簡
略化できるとともに、上述した焦点調節によって４つの
撮像系の焦点調節を同時に行うことが可能である。
【００３４】また、前述したように、光学レンズアレイ
３は、４つのマイクロレンズ３−１〜３−４が一体で構
成されているので、部品点数を減らすことができるとと
もに、複眼撮像系１の組み立て時において各マイクロレ
ンズの位置調整の工程が不要となる。さらに、組み立て
においては、光学レンズアレイ３のみを保持すればよ
く、各マイクロレンズを保持する機構が不要となるた
め、装置構成を簡略化することが可能であるとともに組
立工程を簡略化することが可能となる。
【００３５】次に、本実施形態の複眼撮像系１において
生じる視差の影響について説明する。前述したように、
本実施形態の複眼撮像系１においては、各マイクロレン
ズ３−１〜３−４の光軸を略平行とし、各マイクロレン
ズを同じ焦点距離としているため、各画素群には略同じ
被写体像（物体像）が結像する。
【００３６】しかしながら、各マイクロレンズは互いに
有限距離だけ離れた構成となっているため、視差の影響
により、各画素群には微小に異なる被写体像が結像す
る。
【００３７】図５には、本実施形態における結像関係を
示している。光学レンズアレイ３からｈだけ離れた点Ａ
の像は、マイクロレンズ３−１によって画素群７−１上
に結像し、マイクロレンズ３−２によって画素群７−２
上に結像する。但し、マイクロレンズ３−１とマイクロ
レンズ３−２はその光軸の間隔がＤとなるよう配置され
ている。
【００３８】以下、マイクロレンズ間の間隔の方向を基
線方向とし、マイクロレンズ間の間隔を基線長として説
明する。
【００３９】画素群７−１においては、マイクロレンズ
３−１の光軸から基線方向にＢ１だけ離れた箇所に点Ａ
の像が結像し、画素群７−２においては、マイクロレン
ズ３−２の光軸から基線方向にＢ２だけ離れた箇所に点
Ａの像が結像する。したがって、画素群７−１にて撮像
される画像と画素群７−２にて撮像される画像におい
て、点Ａの像は基線方向にＢ１＋Ｂ２だけずれて撮像さ
れる。
【００４０】このため、画素群７−１にて撮像される画
像と、画素群７−２にて撮像される画像とを比較し、視
差量、すなわち点Ａのズレ量Ｂ１＋Ｂ２を求めることが
できる。そして、点Ａまでの距離ｈは、ｆをマイクロレ
ンズ３−１およびマイクロレンズ３−２の焦点距離とす
ると、以下の式（１）から求めることができる。
【００４１】
【数１】 …（１）
【００４２】次に、本実施形態の複眼撮像系１における
信号処理について説明する。駆動回路８は、撮像ユニッ
ト７を駆動し、各画素群の露光（電荷蓄積）動作を行っ
た後、各画素の輝度信号の読出し動作を行う。
【００４３】ここで、画像座標（Ｘ，Ｙ）を使用する。
画像座標（Ｘ，Ｙ）は、図４におけるそれぞれの画素群
の左上を原点として定義し、水平方向をＸ軸、垂直方向
をＹ軸とする。また、駆動回路８により読み出される画
素群７−１の画像座標（Ｘ，Ｙ）の輝度をＦ１（Ｘ，
Ｙ）とし、同様に画素群７−２の輝度をＦ２（Ｘ，
Ｙ）、画素群７−３の輝度をＦ３（Ｘ，Ｙ）、画素群７
−４の輝度をＦ４（Ｘ，Ｙ）として説明する。
【００４４】信号処理回路（視差算出回路、距離算出回
路）９は、駆動回路８により読み出された画像信号から
各画素群における視差の値を計算する。画素群７−１に
おける任意の座標（ｘ，ｙ）における視差量は、座標
（ｘ，ｙ）における画素群７−１の輝度Ｆ１（ｘ，ｙ）
と最も類似した画素群７−２の輝度を探し、画素群７−
２におけるこの最も類似した輝度を示す画素の座標と、
座標（ｘ，ｙ）との間隔から求めることができる。
【００４５】但し、一般的に、任意の画素と最も類似し
た画素を探すことは難しいため、画像座標（ｘ，ｙ）の
近傍の画素も用い、ブロックマッチングと呼ばれる手法
にて類似画素を探索する。
【００４６】たとえば、ブロックサイズが３である場合
のブロックマッチング処理について説明する。画素群７
−１の任意の座標（ｘ，ｙ）の画素と、その前後（ｘ−
１，ｙ），（ｘ＋１，ｙ）の２つの画素の計３画素の輝
度値はそれぞれ、 Ｆ１（ｘ，ｙ），Ｆ１（ｘ−１，ｙ），Ｆ１（ｘ＋１，
ｙ） となる。
【００４７】これに対し、座標（ｘ，ｙ）からＸ方向に
ｋだけずれた画素群７−２の画素の輝度値はそれぞれ、 Ｆ２（ｘ＋ｋ，ｙ），Ｆ２（ｘ＋ｋ−１，ｙ），Ｆ２
（ｘ＋ｋ＋１，ｙ） となる。
【００４８】この場合、画素群７−１の座標（ｘ，ｙ）
の画素との類似度Ｅを以下の式（２）で定義する。
【００４９】
【数２】 …（２）
【００５０】この式（２）において逐次ｋの値を変えて
上記類似度Ｅの値を計算し、最も小さい類似度Ｅを与え
るｋが、画素群７−１における座標（ｘ，ｙ）における
視差を与える。
【００５１】なお、前述したように、視差はマイクロレ
ンズ間の基線方向にて発生する。したがって、画素群７
−１と画素群７−２における視差を算出する際において
は、マイクロレンズ３−１とマイクロレンズ３−２の方
向、すなわちＸ方向に視差が発生する。
【００５２】このため、画素群７−１と画素群７−２と
の間で類似する画素を探索する場合には、Ｘ方向に探索
を行えばよい。
【００５３】信号処理回路９は、画素群７−１の座標
（ｘ，ｙ）の画素における画素群７−２に対する視差量
を計算する場合、画素群７−１のｘ行目の画素の輝度値
をバッファに格納し、同様に画素群７−２のｘ行目の画
素の輝度値をバッファに格納する。
【００５４】その後、ｋの値を順次変えながら上記類似
度を計算し、類似度が最小となるｋの値を座標（ｘ，
ｙ）における視差として求める。
【００５５】次に、信号処理回路９は、視差量から以下
の式（３）により被写体までの距離ｈを算出する。但
し、Ｄはマイクロレンズ３−１とマイクロレンズ３−２
の光軸の間隔（基線長）、ｆはマイクロレンズの焦点距
離、ｄは画素の間隔である。
【００５６】 ｈ＝ｆＤ／ｋｄ …（３） 以降、同様の処理を画素群７−１の全ての画素に対して
行うことにより、画素群７−１で撮像される物体までの
距離を画素毎に知ることができる。また、画素毎に距離
を知ることができるため、撮像される物体の形状も測定
することが可能となる。
【００５７】なお、本実施形態の複眼撮像系１は、４つ
のマイクロレンズと４つの画素群とを有して構成されて
いるため、画素群７−１と画素群７−２における視差に
基づいて、撮像される物体までの距離を測定したのと同
様に、画素群７−１と画素群７−３においても同様の処
理が可能である。
【００５８】また、同様に、画素群７−１と画素群７−
４および画素群７−２と画素群７−３の組み合わせによ
っても同様の処理が可能である。
【００５９】なお、前述したように、視差はマイクロレ
ンズ間の基線方向に沿って生じるため、画素群７−１と
画素群７−３の組み合わせにおいては視差は図４におけ
るＹ方向に、また画素群７−１と画素群７−４および画
素群７−２と画素群７−３の組み合わせにおいては斜め
方向に視差が生じる。
【００６０】このように、複数の画素群の組み合わせか
ら距離を求めることが可能であるため、これらを比較す
ることにより、測定される物体距離の信頼性を向上させ
ることができる。
【００６１】本実施形態の複眼撮像系１においては、信
号処理回路９は、前述したように、画素群７−１の座標
（ｘ，ｙ）の画素における、画素群７−２に対する視差
量を算出し、視差量より物体距離を計算した後、その物
体距離と視差を算出する際に計算された類似度の最小値
とを、座標（ｘ，ｙ）の輝度値Ｆ１（ｘ，ｙ）と共にバ
ッファに保存する。
【００６２】次に、同様の処理により、画素群７−１の
座標（ｘ，ｙ）の画素における、画素群７−３に対する
視差量と物体距離とを算出する。この際計算された類似
度の最小値が先にバッファに保存された類似度の最小値
よりも小さい場合には、新しく計算された物体距離およ
び新しく計算された類似度の最小値をバッファに更新保
存する。
【００６３】次に、同様の処理を画素群７−１と画素群
７−４に対して行う。このような処理を行うことによ
り、最も類似度が小さい、すなわち最も信頼性の高い物
体距離を得ることができる。
【００６４】一般的に、前述したようなブロックマッチ
ングによる類似画素の探索は、被写体が縦のエッジを有
する場合と横のエッジを有する場合とで精度が変わりや
すいが、本実施形態の複眼撮像系１のように複数の基線
による測定値を用いることにより、被写体の種類を問わ
ず安定した物体距離を得ることができる。
【００６５】なお、本実施形態においては、複数の測定
距離から最も類似度が小さい値を物体距離としたが、複
数の測定距離を平均化してもよく、これによっても信頼
性と精度の向上が期待できる。
【００６６】また、本実施形態における複眼撮像系１に
おいて、４つの画素群７−１〜７−４と、駆動回路８
と、信号処理部９とは、全て同一の半導体基板１０上に
形成されている。このような構成とすることにより、部
品点数を減らすことができると共に、複眼撮像系１の組
み立て時に配線などの工程を簡略化することができる。
【００６７】また、撮像ユニット７と駆動回路８と信号
処理部９とを同一の半導体基板１０上に形成することに
より、撮像ユニット７と駆動回路８と信号処理部９とを
極めて近接して配置することができる。これにより、撮
像ユニット７と駆動回路８との間および駆動回路８と信
号処理部９との間の配線が容易となり、撮像ユニット７
と駆動回路８との間や駆動回路８と信号処理部９との間
でのデータのやり取りの信頼性を向上させることができ
ると共に、高速かつ大容量なデータ転送が可能となる。
【００６８】なお、本実施形態では、４つのマイクロレ
ンズおよび４つの画素群から複眼撮像系１を構成した場
合について説明したが、撮像領域の距離情報を測定する
ためには最低２つのマイクロレンズおよび２つの画素群
があればよい。また、４つ以上のマイクロレンズおよび
画素群により複眼撮像系を構成することも可能である。
マイクロレンズおよび画素群の数を増すことにより、様
々な基線長、様々な基線方向のマイクロレンズを用いた
距離測定が可能となり、距離測定結果の信頼性と精度の
向上が期待できる。
【００６９】（第２実施形態）図６には、本発明の第２
実施形態であるＴＶ電話装置の構成を示している。この
図において、ＴＶ電話装置２０上には、上記第１実施形
態にて説明した複眼撮像系２１が通話者２３に向けて設
置されている。
【００７０】液晶モニタ等の表示部２２には、図示しな
い対話者側から送られてきた画像が表示される。なお、
対話者との通話は、マイク２４およびスピーカー２５を
介して行われる。
【００７１】複眼撮像系２１で撮影された画像は、図示
しない通信回線を介して対話者側のＴＶ電話装置上の表
示部に表示される。前述したように、複眼撮像系２１
は、被写体までの距離を測定することが可能であること
から、本実施形態では、複眼撮像系２１の信号処理回路
（視差算出回路、距離算出回路および領域識別回路）
は、物体距離が２ｍ以下の画素についてのみ画像信号を
出力する、つまりは主被写体の画像のみを識別抽出する
構成としている。
【００７２】これにより、例えば複眼撮像系２１から１
ｍの距離にいる通話者（主被写体）２３の映像は対話者
側の表示部に表示されるが、複眼撮像系２１から３ｍ離
れた背景等の映像は対話者側の表示部には表示されな
い。
【００７３】このような構成とすることにより、必ずし
も送信する必要がない通話者２３以外の画像の通信を防
ぐことができ、通信速度の高速化やＴＶ電話使用時のプ
ライバシーを守ることが可能となる。
【００７４】（第３実施形態）図７には、本発明の第３
実施形態であるＴＶゲーム装置の構成を示している。こ
の図において、ＴＶゲーム装置３０上には、上記第１実
施形態にて説明した複眼撮像系３１がプレイヤー３３に
向けて設置されている。
【００７５】液晶モニタ等の表示部３２には、ゲーム用
の画面が表示される。プレーヤー３３は、表示部３２に
表示される画面に合わせて、例えばボクシングのように
拳を前後する動作や、ダンスのように手足を前後左右に
動かす動作を行う。
【００７６】前述したように、複眼撮像系３１は、被写
体までの距離および形状を測定することが可能であるた
め、プレイヤー３３が拳を前後する動作などを検出する
ことができ、これによりプレイヤー３３が画面上の相手
とボクシングをすることなどが可能となる。
【００７７】なお、本発明の複眼光学系は、上記第２お
よび第３実施形態にて説明した装置以外の各種装置にも
用いることができる。
【００７８】
【発明の効果】以上説明したように、本発明によれば、
簡単かつコンパクトな構成でありながら明るい視差画像
を得ることができ、さらにこれら視差画像から適正な視
差情報を算出することができる。また、複数の撮像ブロ
ックを１つの半導体基板上に形成しているので、各画素
群の位置合わせ調整を不要とすることができるととも
に、焦点調節時において、ユニット化された画素群と光
学ブロックアレイとを相対駆動すればよいため、焦点調
節機構を単純なものとすることができる。
【００７９】そして、視差算出回路を複数の撮像ブロッ
クが形成されている半導体基板上に形成すれば、視差算
出回路まで含む複眼撮像系を１つにユニット化すること
ができ、この複眼撮像系を搭載した装置の組立。配線の
容易化およびコンパクト化を図ることができる。
【００８０】さらに、算出された視差情報に基づいて、
撮像領域全体のうち主被写体が撮像されている特定領域
を識別する領域識別回路を設けたり、同じく視差情報に
基づいて、被写体までの距離を算出する距離算出回路を
設けたりすれば、特定領域の画像信号のみを抽出した
り、被写体までの距離や形状を検出したりすることがで
きる。
【００８１】そして、領域識別回路や距離算出回路を、
視差算出回路とともに撮像ブロックが形成されている半
導体基板上に形成すれば、上記回路を備えた複眼撮像系
の組立工程を単純化することができ、これら回路間の配
線作業も不要とすることができる。また、撮像ブロック
と回路間および回路同士間のデータのやり取りを高速化
できるため、撮像および測距等の処理を高速化すること
ができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である複眼撮像系を物体
側から見た正面図である。
【図２】上記複眼撮像系の側面断面図である。
【図３】上記複眼撮像系の分解斜視図である。
【図４】上記複眼撮像系に用いられる撮像ユニットの説
明図である。
【図５】上記複眼撮像系における視差と奥行きの概念を
説明する図である。
【図６】本発明の第２実施形態であるＴＶ電話装置の説
明図である。
【図７】本発明の第３実施例であるＴＶゲーム装置の説
明図である。
【符号の説明】
１ 複眼光学系 ２ 絞り部材 ３ 光学レンズアレイ ４ 遮光ブロック ６ 光学フィルタ ７ 撮像ユニット ８ 駆動回路 ９ 信号処理回路 ２０ ＴＶ電話装置 ３０ ＴＶゲーム装置
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 5/335 Ｈ０４Ｎ 5/335 Ｖ

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 光軸が互いに略平行である複数の光学ブ
    ロックが一体形成された光学ブロックアレイと、 前記複数の光学ブロックにより形成された像をそれぞれ
    撮像する、同一の半導体基板上に形成された複数の撮像
    ブロックと、 前記複数の撮像ブロックにより撮像された画像間の視差
    情報を算出する視差算出回路とを有することを特徴とす
    る複眼撮像系。
  2. 【請求項２】 前記視差算出回路が、前記半導体基板上
    に形成されていることを特徴とする請求項１に記載の複
    眼撮像系。
  3. 【請求項３】 前記視差算出回路により算出された視差
    情報に基づいて、撮像領域全体のうち主被写体が撮像さ
    れている特定領域を識別する領域識別回路を有すること
    を特徴とする請求項１又は２に記載の複眼撮像系。
  4. 【請求項４】 前記領域識別回路が、前記半導体基板上
    に形成されていることを特徴とする請求項３に記載の複
    眼撮像系。
  5. 【請求項５】 前記領域識別回路により識別された前記
    特定領域の画像のみを出力することを特徴とする請求項
    ３又は４に記載の複眼撮像系。
  6. 【請求項６】 前記視差算出回路により算出された視差
    情報に基づいて、被写体までの距離を算出する距離算出
    回路を有することを特徴とする請求項１又は２に記載の
    複眼撮像系。
  7. 【請求項７】 前記距離算出回路が、前記半導体基板上
    に形成されていることを特徴とする請求項６に記載の複
    眼撮像系。
  8. 【請求項８】 請求項１から７のいずれかに記載の複眼
    撮像系を備えたことを特徴とする装置。
JP2001338394A 2001-11-02 2001-11-02 複眼撮像系およびこれを備えた装置 Pending JP2003143459A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001338394A JP2003143459A (ja) 2001-11-02 2001-11-02 複眼撮像系およびこれを備えた装置
US10/284,792 US20030086013A1 (en) 2001-11-02 2002-10-31 Compound eye image-taking system and apparatus with the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001338394A JP2003143459A (ja) 2001-11-02 2001-11-02 複眼撮像系およびこれを備えた装置

Publications (1)

Publication Number Publication Date
JP2003143459A true JP2003143459A (ja) 2003-05-16

Family

ID=19152897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001338394A Pending JP2003143459A (ja) 2001-11-02 2001-11-02 複眼撮像系およびこれを備えた装置

Country Status (2)

Country Link
US (1) US20030086013A1 (ja)
JP (1) JP2003143459A (ja)

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043893A1 (ja) * 2003-11-04 2005-05-12 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP2006019918A (ja) * 2004-06-30 2006-01-19 Matsushita Electric Ind Co Ltd 撮像装置
WO2006035778A1 (ja) * 2004-09-27 2006-04-06 Matsushita Electric Industrial Co., Ltd. カメラモジュールおよびそれを備えた電子機器
JP2007094103A (ja) * 2005-09-29 2007-04-12 Funai Electric Co Ltd 複眼撮像装置
JP2007509554A (ja) * 2003-10-21 2007-04-12 アトメル グルノーブル エス．ア． コンパクトな撮影装置
JP2007110588A (ja) * 2005-10-17 2007-04-26 Funai Electric Co Ltd 複眼撮像装置
JP2007147701A (ja) * 2005-11-24 2007-06-14 Pentax Corp 撮像モジュール
JP2007158825A (ja) * 2005-12-06 2007-06-21 Ricoh Co Ltd 画像入力装置
WO2007072870A1 (ja) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 映像コンテンツ記録装置、映像コンテンツ記録方法、映像コンテンツ記録プログラム、映像コンテンツ再生装置、映像コンテンツ再生方法、映像コンテンツ再生プログラム、映像コンテンツ編集装置及び情報記録メディア
WO2007083579A1 (ja) * 2006-01-20 2007-07-26 Matsushita Electric Industrial Co., Ltd. 複眼方式のカメラモジュール及びその製造方法
WO2007100057A1 (ja) * 2006-03-03 2007-09-07 Matsushita Electric Industrial Co., Ltd. 撮像装置及び集積回路
WO2007119468A1 (ja) * 2006-03-22 2007-10-25 Matsushita Electric Industrial Co., Ltd. 撮像装置
WO2007123064A1 (ja) * 2006-04-21 2007-11-01 Panasonic Corporation 複眼方式のカメラモジュール
WO2007125761A1 (ja) * 2006-04-24 2007-11-08 Panasonic Corporation 複眼方式のカメラモジュール
JP2007329714A (ja) * 2006-06-08 2007-12-20 Funai Electric Co Ltd 複眼撮像装置
JP2008034948A (ja) * 2006-07-26 2008-02-14 Funai Electric Co Ltd 動き検出用撮像装置
JP2008176763A (ja) * 2006-09-07 2008-07-31 Avago Technologies General Ip (Singapore) Private Ltd クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像
WO2009001563A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 撮像装置及び半導体回路素子
JP2009002761A (ja) * 2007-06-21 2009-01-08 Nikon Corp 測距装置およびその測距方法
WO2009008168A1 (ja) * 2007-07-12 2009-01-15 Panasonic Corporation カメラモジュール
US7501610B2 (en) 2005-10-17 2009-03-10 Funai Electric Co., Ltd. Compound-eye imaging device
EP2037691A2 (en) 2006-12-18 2009-03-18 Panasonic Corporation Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device
WO2009057288A1 (ja) * 2007-11-02 2009-05-07 Panasonic Corporation 撮像装置
WO2009087974A1 (ja) * 2008-01-11 2009-07-16 Panasonic Corporation 複眼カメラモジュール
JP2009529291A (ja) * 2006-03-06 2009-08-13 マイクロン テクノロジー， インク． 組み合わせられたマルチアレイ・カラー画像センサ
JP2009529824A (ja) * 2006-03-09 2009-08-20 シリコンファイル・テクノロジーズ・インコーポレイテッド ３次元映像獲得用ｃｍｏｓステレオカメラ
WO2009104394A1 (ja) * 2008-02-18 2009-08-27 パナソニック株式会社 複眼カメラモジュール
WO2009125577A1 (ja) * 2008-04-10 2009-10-15 パナソニック株式会社 撮像装置、撮像システムおよび撮像方法
JP2009253592A (ja) * 2008-04-04 2009-10-29 Pioneer Electronic Corp 撮像装置
JP2009300268A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> ３次元情報検出装置
JP2010026490A (ja) * 2008-06-18 2010-02-04 Ricoh Co Ltd 撮像装置
WO2010055688A1 (ja) * 2008-11-17 2010-05-20 パナソニック株式会社 測距装置
JP2010210490A (ja) * 2009-03-11 2010-09-24 Ricoh Co Ltd 移動計測装置及び方法、並びにプログラム
JP2011062242A (ja) * 2009-09-15 2011-03-31 Sanyo Product Co Ltd 遊技機
JP2011062241A (ja) * 2009-09-15 2011-03-31 Sanyo Product Co Ltd 遊技機
JP2011099779A (ja) * 2009-11-06 2011-05-19 Ricoh Co Ltd 距離画像取得装置及び距離画像取得処理方法
JP2011117787A (ja) * 2009-12-02 2011-06-16 Ricoh Co Ltd 距離画像入力装置と車外監視装置
JP2011185720A (ja) * 2010-03-08 2011-09-22 Ricoh Co Ltd 距離取得装置
JP2011203238A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 撮像装置及び距離測定装置
US8107000B2 (en) 2006-05-16 2012-01-31 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
US8106939B2 (en) 2005-11-02 2012-01-31 Sony Corporation Image processing method, image processing device and image display apparatus employing the image processing device
JP2012049257A (ja) * 2010-08-25 2012-03-08 Toshiba Corp 固体撮像装置
US8180111B2 (en) 2007-07-23 2012-05-15 Panasonic Corporation Compound eye type imaging apparatus with distance measuring capability
WO2012176623A1 (ja) * 2011-06-24 2012-12-27 三洋電機株式会社 物体検出装置および情報取得装置
JP2013040791A (ja) * 2011-08-11 2013-02-28 Canon Inc 画像処理装置および画像処理方法、プログラム
US8390703B2 (en) 2008-07-23 2013-03-05 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
WO2014038397A1 (ja) * 2012-09-07 2014-03-13 オリンパスメディカルシステムズ株式会社 立体視用光学系
WO2015115452A1 (ja) * 2014-01-28 2015-08-06 株式会社ニコン 焦点検出装置、焦点調節装置およびカメラ
WO2015119007A1 (ja) * 2014-02-06 2015-08-13 コニカミノルタ株式会社 広角アレイ光学系
WO2015119006A1 (ja) * 2014-02-06 2015-08-13 コニカミノルタ株式会社 望遠アレイ光学系
US9267797B2 (en) 2010-06-22 2016-02-23 Ricoh Company, Ltd. Range-finding device and imaging apparatus
JP2017072821A (ja) * 2015-10-06 2017-04-13 エーエーシー テクノロジーズ ピーティーイー リミテッドＡａｃ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｐｔｅ．Ｌｔｄ． アレイ式レンズモジュール
WO2018047665A1 (ja) * 2016-09-12 2018-03-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその製造方法、並びに、電子機器
JP2018137457A (ja) * 2018-03-30 2018-08-30 株式会社ニコン 撮像素子および撮像装置
WO2018193727A1 (ja) * 2017-04-21 2018-10-25 ソニーモバイルコミュニケーションズ株式会社 固体撮像装置及び情報処理装置
JPWO2017154827A1 (ja) * 2016-03-11 2019-02-14 富士フイルム株式会社 撮像装置
WO2023026517A1 (ja) * 2021-08-24 2023-03-02 日立Astemo株式会社 物体距離検出装置

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4171786B2 (ja) * 2002-10-25 2008-10-29 コニカミノルタホールディングス株式会社 画像入力装置
US7453510B2 (en) * 2003-12-11 2008-11-18 Nokia Corporation Imaging device
CN1677217B (zh) * 2004-03-31 2010-08-25 松下电器产业株式会社 摄像装置及摄像用光检测装置
US8124929B2 (en) 2004-08-25 2012-02-28 Protarius Filo Ag, L.L.C. Imager module optical focus and assembly method
US7795577B2 (en) * 2004-08-25 2010-09-14 Richard Ian Olsen Lens frame and optical focus assembly for imager module
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US20060044451A1 (en) * 2004-08-30 2006-03-02 Eastman Kodak Company Wide angle lenslet camera
WO2006027405A1 (en) * 2004-09-09 2006-03-16 Nokia Corporation Method of creating colour image, imaging device and imaging module
EP1646249A1 (en) * 2004-10-08 2006-04-12 Dialog Semiconductor GmbH Single chip stereo image pick-up system with dual array design
US8023016B2 (en) * 2004-12-22 2011-09-20 Panasonic Corporation Imaging device and manufacturing method thereof
FR2880137B1 (fr) * 2004-12-24 2007-06-01 Atmel Grenoble Soc Par Actions Capteur d'image pour prise d'image en relief
US20060215054A1 (en) * 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20070258006A1 (en) * 2005-08-25 2007-11-08 Olsen Richard I Solid state camera optics frame and assembly
US7964835B2 (en) * 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
US20070177004A1 (en) * 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
JP4864632B2 (ja) * 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
JP2008164367A (ja) * 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
US20080165257A1 (en) * 2007-01-05 2008-07-10 Micron Technology, Inc. Configurable pixel array system and method
US7812869B2 (en) * 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
JP2009089087A (ja) * 2007-09-28 2009-04-23 Sony Corp 固体撮像装置及び撮像装置
CN101843106B (zh) * 2007-11-01 2015-11-25 柯尼卡美能达控股株式会社 摄像装置
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
JP4582205B2 (ja) * 2008-06-12 2010-11-17 トヨタ自動車株式会社 電動車両
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US7881603B2 (en) * 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US20100321511A1 (en) * 2009-06-18 2010-12-23 Nokia Corporation Lenslet camera with rotated sensors
US8619128B2 (en) 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8502926B2 (en) * 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8497897B2 (en) 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
CN103685881B (zh) * 2012-09-19 2018-09-21 Lg伊诺特有限公司 照相机模块
CN103076709B (zh) * 2013-01-16 2016-06-29 瑞声声学科技(深圳)有限公司 阵列照相机
WO2014166109A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
CN103455042B (zh) * 2013-09-10 2016-04-13 南京晓庄学院 一种感光复眼图像信息采集系统及工作方法
CN105549623B (zh) * 2013-09-10 2017-12-15 南昌工程学院 一种仿复眼感知成像信息采集系统的工作方法
CN103455041B (zh) * 2013-09-10 2016-02-10 南京晓庄学院 一种仿螳螂虾复眼的图像信息采集系统及工作方法
CN105830424B (zh) * 2013-10-18 2018-12-11 光实验室股份有限公司 图像捕获控制方法和装置
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core
KR101785458B1 (ko) * 2016-06-07 2017-10-16 엘지전자 주식회사 카메라 모듈 및 이를 구비하는 이동 단말기
CN112866512B (zh) * 2019-11-26 2022-03-22 中国科学院上海微系统与信息技术研究所 复眼摄像装置及复眼系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69417824D1 (de) * 1993-08-26 1999-05-20 Matsushita Electric Ind Co Ltd Stereoskopischer Abtastapparat
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
US5696371A (en) * 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
US5751492A (en) * 1996-06-14 1998-05-12 Eastman Kodak Company Diffractive/Refractive lenslet array incorporating a second aspheric surface
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US6452632B1 (en) * 1997-01-31 2002-09-17 Kabushiki Kaisha Toshiba Solid state image sensor and video system using the same
JPH10341374A (ja) * 1997-04-07 1998-12-22 Sony Corp 画像処理方法及び画像処理装置
NO305728B1 (no) * 1997-11-14 1999-07-12 Reidar E Tangen Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme
JP2000003445A (ja) * 1998-06-15 2000-01-07 Toshiba Corp 情報抽出方法および情報抽出装置および記録媒体
US6785469B1 (en) * 1999-11-16 2004-08-31 Olympus Corporation Distance measuring device installed in camera
US6995800B2 (en) * 2000-01-27 2006-02-07 Canon Kabushiki Kaisha Image pickup apparatus utilizing a plurality of converging lenses
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
JP2001324305A (ja) * 2000-05-17 2001-11-22 Minolta Co Ltd 画像対応位置検出装置および該装置を備える測距装置
US6952228B2 (en) * 2000-10-13 2005-10-04 Canon Kabushiki Kaisha Image pickup apparatus
US7139028B2 (en) * 2000-10-17 2006-11-21 Canon Kabushiki Kaisha Image pickup apparatus
JP2002171537A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
US6556349B2 (en) * 2000-12-27 2003-04-29 Honeywell International Inc. Variable focal length micro lens array field curvature corrector
US6635941B2 (en) * 2001-03-21 2003-10-21 Canon Kabushiki Kaisha Structure of semiconductor device with improved reliability
US7009638B2 (en) * 2001-05-04 2006-03-07 Vexcel Imaging Gmbh Self-calibrating, digital, large format camera with single or multiple detector arrays and single or multiple optical systems
WO2005041562A1 (ja) * 2003-10-22 2005-05-06 Matsushita Electric Industrial Co., Ltd. 撮像装置とその製造方法、携帯機器、及び撮像素子とその製造方法
US7453510B2 (en) * 2003-12-11 2008-11-18 Nokia Corporation Imaging device
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
US7511749B2 (en) * 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007509554A (ja) * 2003-10-21 2007-04-12 アトメル グルノーブル エス．ア． コンパクトな撮影装置
WO2005043893A1 (ja) * 2003-11-04 2005-05-12 Matsushita Electric Industrial Co., Ltd. 撮像装置
US7236304B2 (en) 2003-11-04 2007-06-26 Matsushita Electric Industrial Co., Ltd. Imaging Device
JP2006019918A (ja) * 2004-06-30 2006-01-19 Matsushita Electric Ind Co Ltd 撮像装置
WO2006035778A1 (ja) * 2004-09-27 2006-04-06 Matsushita Electric Industrial Co., Ltd. カメラモジュールおよびそれを備えた電子機器
US7911516B2 (en) 2004-09-27 2011-03-22 Panasonic Corporation Camera module and electronic apparatus provided with it
JP2007094103A (ja) * 2005-09-29 2007-04-12 Funai Electric Co Ltd 複眼撮像装置
JP2007110588A (ja) * 2005-10-17 2007-04-26 Funai Electric Co Ltd 複眼撮像装置
US7501610B2 (en) 2005-10-17 2009-03-10 Funai Electric Co., Ltd. Compound-eye imaging device
US8106939B2 (en) 2005-11-02 2012-01-31 Sony Corporation Image processing method, image processing device and image display apparatus employing the image processing device
JP2007147701A (ja) * 2005-11-24 2007-06-14 Pentax Corp 撮像モジュール
JP2007158825A (ja) * 2005-12-06 2007-06-21 Ricoh Co Ltd 画像入力装置
JP4673202B2 (ja) * 2005-12-06 2011-04-20 株式会社リコー 画像入力装置
WO2007072870A1 (ja) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 映像コンテンツ記録装置、映像コンテンツ記録方法、映像コンテンツ記録プログラム、映像コンテンツ再生装置、映像コンテンツ再生方法、映像コンテンツ再生プログラム、映像コンテンツ編集装置及び情報記録メディア
US8194169B2 (en) 2006-01-20 2012-06-05 Panasonic Corporation Compound eye camera module and method of producing the same
WO2007083579A1 (ja) * 2006-01-20 2007-07-26 Matsushita Electric Industrial Co., Ltd. 複眼方式のカメラモジュール及びその製造方法
WO2007100057A1 (ja) * 2006-03-03 2007-09-07 Matsushita Electric Industrial Co., Ltd. 撮像装置及び集積回路
JP2009529291A (ja) * 2006-03-06 2009-08-13 マイクロン テクノロジー， インク． 組み合わせられたマルチアレイ・カラー画像センサ
JP2009529824A (ja) * 2006-03-09 2009-08-20 シリコンファイル・テクノロジーズ・インコーポレイテッド ３次元映像獲得用ｃｍｏｓステレオカメラ
WO2007119468A1 (ja) * 2006-03-22 2007-10-25 Matsushita Electric Industrial Co., Ltd. 撮像装置
WO2007123064A1 (ja) * 2006-04-21 2007-11-01 Panasonic Corporation 複眼方式のカメラモジュール
US7865076B2 (en) 2006-04-21 2011-01-04 Panasonic Corporation Compound eye-camera module
WO2007125761A1 (ja) * 2006-04-24 2007-11-08 Panasonic Corporation 複眼方式のカメラモジュール
US8107000B2 (en) 2006-05-16 2012-01-31 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
JP2007329714A (ja) * 2006-06-08 2007-12-20 Funai Electric Co Ltd 複眼撮像装置
JP2008034948A (ja) * 2006-07-26 2008-02-14 Funai Electric Co Ltd 動き検出用撮像装置
JP4650367B2 (ja) * 2006-07-26 2011-03-16 船井電機株式会社 動き検出用撮像装置
JP2008176763A (ja) * 2006-09-07 2008-07-31 Avago Technologies General Ip (Singapore) Private Ltd クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像
JP4709814B2 (ja) * 2006-09-07 2011-06-29 アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像
EP2037691A2 (en) 2006-12-18 2009-03-18 Panasonic Corporation Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device
JP2009002761A (ja) * 2007-06-21 2009-01-08 Nikon Corp 測距装置およびその測距方法
WO2009001563A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 撮像装置及び半導体回路素子
US8395693B2 (en) 2007-06-28 2013-03-12 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
WO2009008168A1 (ja) * 2007-07-12 2009-01-15 Panasonic Corporation カメラモジュール
US8180111B2 (en) 2007-07-23 2012-05-15 Panasonic Corporation Compound eye type imaging apparatus with distance measuring capability
WO2009057288A1 (ja) * 2007-11-02 2009-05-07 Panasonic Corporation 撮像装置
WO2009087974A1 (ja) * 2008-01-11 2009-07-16 Panasonic Corporation 複眼カメラモジュール
WO2009104394A1 (ja) * 2008-02-18 2009-08-27 パナソニック株式会社 複眼カメラモジュール
JP2009253592A (ja) * 2008-04-04 2009-10-29 Pioneer Electronic Corp 撮像装置
JP4456180B2 (ja) * 2008-04-10 2010-04-28 パナソニック株式会社 撮像装置、撮像システムおよび撮像方法
US8212912B2 (en) 2008-04-10 2012-07-03 Panasonic Corporation Imaging device, imaging system, and imaging method
JPWO2009125577A1 (ja) * 2008-04-10 2011-07-28 パナソニック株式会社 撮像装置、撮像システムおよび撮像方法
WO2009125577A1 (ja) * 2008-04-10 2009-10-15 パナソニック株式会社 撮像装置、撮像システムおよび撮像方法
JP2009300268A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> ３次元情報検出装置
JP2010026490A (ja) * 2008-06-18 2010-02-04 Ricoh Co Ltd 撮像装置
US8390703B2 (en) 2008-07-23 2013-03-05 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
US8767068B2 (en) 2008-11-17 2014-07-01 Panasonic Corporation Distance measuring apparatus based on parallax with conditions on curvature and focus length
JPWO2010055688A1 (ja) * 2008-11-17 2012-04-12 パナソニック株式会社 測距装置
JP4527203B2 (ja) * 2008-11-17 2010-08-18 パナソニック株式会社 測距装置
WO2010055688A1 (ja) * 2008-11-17 2010-05-20 パナソニック株式会社 測距装置
JP2010210490A (ja) * 2009-03-11 2010-09-24 Ricoh Co Ltd 移動計測装置及び方法、並びにプログラム
JP2011062241A (ja) * 2009-09-15 2011-03-31 Sanyo Product Co Ltd 遊技機
JP2011062242A (ja) * 2009-09-15 2011-03-31 Sanyo Product Co Ltd 遊技機
JP2011099779A (ja) * 2009-11-06 2011-05-19 Ricoh Co Ltd 距離画像取得装置及び距離画像取得処理方法
JP2011117787A (ja) * 2009-12-02 2011-06-16 Ricoh Co Ltd 距離画像入力装置と車外監視装置
JP2011203238A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 撮像装置及び距離測定装置
JP2011185720A (ja) * 2010-03-08 2011-09-22 Ricoh Co Ltd 距離取得装置
US9267797B2 (en) 2010-06-22 2016-02-23 Ricoh Company, Ltd. Range-finding device and imaging apparatus
JP2012049257A (ja) * 2010-08-25 2012-03-08 Toshiba Corp 固体撮像装置
WO2012176623A1 (ja) * 2011-06-24 2012-12-27 三洋電機株式会社 物体検出装置および情報取得装置
JP2013040791A (ja) * 2011-08-11 2013-02-28 Canon Inc 画像処理装置および画像処理方法、プログラム
JPWO2014038397A1 (ja) * 2012-09-07 2016-08-08 オリンパスメディカルシステムズ株式会社 立体視用光学系
WO2014038397A1 (ja) * 2012-09-07 2014-03-13 オリンパスメディカルシステムズ株式会社 立体視用光学系
WO2015115452A1 (ja) * 2014-01-28 2015-08-06 株式会社ニコン 焦点検出装置、焦点調節装置およびカメラ
WO2015119007A1 (ja) * 2014-02-06 2015-08-13 コニカミノルタ株式会社 広角アレイ光学系
WO2015119006A1 (ja) * 2014-02-06 2015-08-13 コニカミノルタ株式会社 望遠アレイ光学系
JP2017072821A (ja) * 2015-10-06 2017-04-13 エーエーシー テクノロジーズ ピーティーイー リミテッドＡａｃ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｐｔｅ．Ｌｔｄ． アレイ式レンズモジュール
JPWO2017154827A1 (ja) * 2016-03-11 2019-02-14 富士フイルム株式会社 撮像装置
US10823935B2 (en) 2016-03-11 2020-11-03 Fujifilm Corporation Imaging device
WO2018047665A1 (ja) * 2016-09-12 2018-03-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその製造方法、並びに、電子機器
US10854664B2 (en) 2016-09-12 2020-12-01 Sony Semiconductor Solutions Corporation Solid-state image pickup device and method for manufacturing the same, and electronic apparatus
WO2018193727A1 (ja) * 2017-04-21 2018-10-25 ソニーモバイルコミュニケーションズ株式会社 固体撮像装置及び情報処理装置
JP2018182255A (ja) * 2017-04-21 2018-11-15 ソニーモバイルコミュニケーションズ株式会社 固体撮像装置及び情報処理装置
US11265520B2 (en) 2017-04-21 2022-03-01 Sony Mobile Communications Inc. Solid-state imaging device and information processing device
JP2018137457A (ja) * 2018-03-30 2018-08-30 株式会社ニコン 撮像素子および撮像装置
WO2023026517A1 (ja) * 2021-08-24 2023-03-02 日立Astemo株式会社 物体距離検出装置

Also Published As

Publication number Publication date
US20030086013A1 (en) 2003-05-08

Similar Documents

Publication Publication Date Title
JP2003143459A (ja) 複眼撮像系およびこれを備えた装置
US8305425B2 (en) Solid-state panoramic image capture apparatus
US8289377B1 (en) Video mode hidden autofocus
US20020075450A1 (en) Compound eye imaging system, imaging device, and electronic equipment
JP5809390B2 (ja) 測距・測光装置及び撮像装置
JP5214754B2 (ja) 固体撮像装置および携帯情報端末
CN101682692A (zh) 复眼照相机模块
JP2958458B1 (ja) 多眼画像センサ
JPWO2012108099A1 (ja) 撮像装置および撮像方法
JP2014002283A (ja) 焦点調節装置及びその制御方法
JP2011239241A (ja) ３次元撮像装置
JP4995002B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP5942343B2 (ja) 撮像装置
JP4338500B2 (ja) 撮像装置
JP2002191060A (ja) ３次元撮像装量
EP4346199A1 (en) Imaging method and device for autofocusing
JP3678792B2 (ja) 立体画像撮像装置
JP2013074473A (ja) パノラマ撮像装置
JP5240591B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP2013061560A (ja) 測距装置および撮像装置
JP3564383B2 (ja) ３次元動画入力装置
JP4360180B2 (ja) 立体映像撮影装置
WO2012132088A1 (ja) 撮像装置及び交換レンズ
JP5568150B2 (ja) 固体撮像装置および携帯情報端末
JP2825707B2 (ja) ３次元撮像装置