JP2017055405A - 低解像度画像センサから高解像度画像を得るための光学装置及び方法 - Google Patents

低解像度画像センサから高解像度画像を得るための光学装置及び方法 Download PDF

Info

Publication number
JP2017055405A
JP2017055405A JP2016175730A JP2016175730A JP2017055405A JP 2017055405 A JP2017055405 A JP 2017055405A JP 2016175730 A JP2016175730 A JP 2016175730A JP 2016175730 A JP2016175730 A JP 2016175730A JP 2017055405 A JP2017055405 A JP 2017055405A
Authority
JP
Japan
Prior art keywords
image sensor
image
mask
mask elements
optical device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016175730A
Other languages
English (en)
Other versions
JP6738697B2 (ja
Inventor
デラットレ アレクサンドル
Delattre Alexandre
デラットレ アレクサンドル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Publication of JP2017055405A publication Critical patent/JP2017055405A/ja
Application granted granted Critical
Publication of JP6738697B2 publication Critical patent/JP6738697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

【課題】画像センサの解像度を高めるための方法及び装置を提供する。
【解決手段】解決手段として提供されるのは、画像センサ(220,620)と、所定の視野を有する集光入射レンズ(205,605)とを備えた光学装置である。光学装置は、少なくとも2つのマスク素子(300)を有する動的に設定可能な光バリア(210,610)をさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の1つのみを透光状態に設定できるように構成され、前記少なくとも2つのマスク素子は、少なくとも2つのマスク素子のうちの1つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも2つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成される。
【選択図】図1

Description

本発明は、画像センサに関し、特に低解像度画像センサから高解像度画像を得るための方法及び装置に関する。
凝視追跡は、主にコンピュータインターフェースにおいて使用され、ユーザとコンピュータとの間の相互作用を高める。その目的は、基準フレーム内の、通常は画像センサを通して取得した画像に対応する基準フレーム内の、点又は一組の点(即ち軌跡)の座標を提供することにある。そのような点又は軌跡は、グラフィカルユーザインターフェースで対象を選択したり、フライトシミュレータで目標を確認したり、視覚障害の診断をしたりするなどの、多くの用途で利用することができる。
ある特定の実施例によれば、赤外線を目に当てて明るい瞳孔を取得し、その反射光を画像センサで拾う。そして、その結果取得した画像を処理し、画像内の反射光の位置を検出する。赤外線光源及び画像センサの位置を知ることにより、凝視点を決定することが可能になる。
回折と被写界深度(DoF)との兼ね合いのためには、絞りf6が使われ、最適な濃度及び感度を得るためには、画像センサの画素サイズは約3μmに設定されることがある。
“Eye Gaze Tracking for Human Computer Interaction”と題された論文(Heiko
Drewes, 2010, Dissertation, LMU München: Faculty of Mathematics, Computer
Science and Statistics)で述べられているように、ユーザの目については、虹彩の像を追跡するのに約100画素の解像度が必要であるというのが一般的な認識であり、その平均サイズ(irissize)は、約11mmである。
水平方向の視野(FoV)が50°で、ユーザの目とディスプレイ(画像センサと対応している)との距離が40cmであるとすると、水平視野(FoVsize)は当該ディスプレイ上での約37cmに対応する。
したがって、距離40cmでの視野50°に必要な画素数(nbpixels)、つまり画像センサ幅は以下のように表される:
Figure 2017055405
このような画素数によって、センサに面した37cmの水平領域全体をカバーし、サイズ11mmの対象のために100画素の解像度を確保することが可能になる。
この結果、画素幅を3μmとすると、画像センサ幅は約10.2mm(3,400x3μm)となる。
約50°に等しい視野で、画像センサ幅(Swidth)が10.2mmの場合、レンズの焦点距離(f)は約11mmである:
Figure 2017055405
参考までに、絞りf6の11mmレンズによって、距離40cmで約6.2cmの被写界深度(DoF)が得られる。
しかし、そうした光学系は目の追跡を可能にする反面、欠点もある。特に、画素幅3μmで10.2mm幅の画像センサは実に高価である。
その結果、低解像度画像センサを用いて高解像度画像を得ることのできる光学系、特に追跡アルゴリズムの効率的な実現を可能にする光学系を妥当な価格で提供する必要がある。
本発明は、上述の問題点の少なくとも一つに対処すべく考え出されたものである。
このような背景において、本発明は、画像センサの解像度を上げるための解決法を提供する。
本発明の第1の態様によれば、画像センサと、所定の視野を有する集光入射レンズとを備えた光学装置が提供され、当該光学装置は、少なくとも2つのマスク素子を有する動的に設定可能な光バリアをさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも1つを透光状態に設定できるように構成され、前記少なくとも2つのマスク素子は、前記少なくとも2つのマスク素子のうちの1つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも2つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成されることを特徴とする。
したがって、本発明の光学装置は、実シーンの異なる部分を表す異なる画像を取得することを可能にし、その解像度は同一の画像センサから単一の取得工程で得た当該実シーンの一画像の解像度よりも高い。この光学系は、特に、凝視追跡などの用途に適合する。換言すれば、本発明は、センサを大型化することなく視野を広げることを可能にする。この効果は、被写界深度を実質的に増減させることなく得られる。
一態様においては、前記マスク素子の1つのみを透光状態に設定することができる。
一態様においては、前記少なくとも2つのマスク素子は、前記画像センサ及び前記集光入射レンズの光軸と直交するように配置されたマスク素子のアレイとして構成されている。
一態様においては、前記光学装置は、前記動的に設定可能な光バリアを制御し、前記画像センサから画像を受け取る演算装置をさらに備える。
一態様においては、前記演算装置は、前記画像センサから受け取った画像に幾何学的歪みを加えるように構成されており、当該幾何学的歪みは、あらかじめ決定され、選択されたマスク素子の機能として特定されている。
一態様においては、前記光学装置は、マイクロプリズムアレイをさらに備え、当該マイクロプリズムアレイの各マイクロプリズムは、異なるマスク素子に対応している。
一態様においては、前記光学装置は、第2の集光入射レンズと第2の画像センサとをさらに備え、当該第2の画像センサによって取得された画像は前記所定の視野を表す。
一態様においては、選択されるマスク素子は、前記第2の画像センサから取得した画像を処理する一機能として特定される。
一態様においては、前記動的に設定可能な光バリアはLCDタイプである。
本発明の第2の態様によれば、画像センサと、所定の視野を有する集光入射レンズとを備えた光学系において画像を取得する方法であって、光学装置は、少なくとも2つのマスク素子を有する動的に設定可能な光バリアをさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも1つを透光状態に設定できるように構成され、前記少なくとも2つのマスク素子は、前記少なくとも2つのマスク素子のうちの1つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも2つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成される方法において、マスク素子を特定し、特定された前記マスク素子を選択して、当該特定されたマスク素子を透光状態に設定し、そして前記画像センサから画像を取得する工程を備えることを特徴とする方法が提供される。
したがって、本発明の方法は、実シーンの異なる部分を表す異なる画像を取得することを可能にし、その解像度は同一の画像センサから単一の取得工程で得た当該実シーンの一画像の解像度よりも高い。それは、特に、凝視追跡などの用途に適合する。
一態様においては、前記マスク素子の1つのみを透光状態に設定することができる。
一態様においては、前記方法は、補正用の幾何変形を求め、それを前記画像センサから取得した画像に適用するステップをさらに備える。
一態様においては、前記補正用の幾何変形は、選択されたマスク素子の機能として得られる。
一態様においては、前記方法は、前記所定の視野を表す画像を取得する工程をさらに備え、前記マスク素子を特定する工程は、前記所定の視野を表す画像を処理する工程を備える。
一態様においては、前記所定の視野を表す画像を処理する工程は、関心領域を特定する工程を備える。
本発明の各部分はソフトウェアにおいて実現可能なので、適切なキャリア媒体上の、そして、特に、適切な有形のキャリア媒体又は適切な一時的なキャリア媒体上の、プログラム可能な装置に供給されるコンピュータ読み取り可能なコードとしての実施態様が可能である。有形の非一時的なキャリア媒体は、フロッピー(商標登録)ディスク、CD−ROM、ハードディスクドライブ、磁気テープ装置、ソリッドステートメモリデバイスなどの記憶媒体を備えてよい。一時的なキャリア媒体には、電気信号、電子信号、光信号、音響信号、磁気信号、又は電磁気信号、例えばマイクロウェーブあるいは高周波信号などの信号が含まれてよい。
画像センサを照射する光が通過するピンホールが当該画像センサの主軸からオフセットされているときに生じる一般的な光学効果を示す図(図1a〜図1c)である。 本発明の第1の実施形態に係る光学系の構成の一例を示すブロック図である。 図2に示されるような動的LCDバリアとマイクロプリズムアレイとから成る構成の一例を示す図である。 図2で説明したような光学系において2つの異なるマスク素子が選択された様子を示す図(図4a及び図4b)である。 図2で説明したような画像センサから画像を取得する方法の手順を示すフローチャートである。 本発明の第2の実施形態に係る光学系の構成の一例を示すブロック図である。 図5で説明したような画像センサから画像を取得する方法においてマスク素子を特定するための方法の手順を示すフローチャートである。 本発明の1つ又は複数の実施形態を実現するための演算装置の模式ブロック図である。
以下、本発明の実施形態を図面に基づいて説明する。以下に説明する実施形態では、画像センサは、複数の「ピンホール」から選択された1つの「ピンホール」を通過した光によって照射され、「ピンホール」は、各々、特定のプリズムと対応しており、当該プリズムは、対応する「ピンホール」を通過した光を前記画像センサに導く。
使用する「ピンホール」を適切に選ぶことによって、画像センサが像として取得する現実のシーンの一部を選択することができる。
図1は、図1a〜1cから成り、画像センサを照射する光が通過するピンホールが当該画像センサの主軸からオフセットされているときに生じる一般的な光学効果を示す。
図1aに示すように、画像センサ100は、光バリア110に配設されたピンホール105を通過する光によって照射される。ピンホール105は、画像センサ100の光軸115(画像センサに対して垂直でその中心上にある軸)の上方に配置されている。
したがって、画像センサ100と、ピンホール105を有する光バリア110とを備える上記構成により、画像センサ100の光軸115の上方に位置する現実の対象、例えばエッフェル塔125の上部120、を表す像を取得することが可能になる。
同様に、図1bは、光バリア110’に配設されたピンホール105’を通過する光によって照射される画像センサ100を表し、ピンホール105’は画像センサ100の光軸115上に中心がある。
その結果、画像センサ100と、ピンホール105’を有する光バリア110’とから成る上記構成により、画像センサ100に面する現実の対象、例えばエッフェル塔125の中央部120’、を表す像を取得することが可能になる。
同じく、図1cは、光バリア110”に配設されたピンホール105”を通過する光によって照射される画像センサ100を表し、ピンホール105”は、画像センサ100の光軸115の下方に位置している。
したがって、画像センサ100と、ピンホール105”を有する光バリア110”とから成る上記構成により、画像センサ100の光軸115の下方に位置する現実の対象、例えばエッフェル塔125の下部120”、を表す像を取得することが可能になる。
図1を参照して説明した光学効果に基づいて、本発明の実施形態は、選択的な光バリアとして使用されて動的LCDバリアと呼ばれるLCDディスプレイ(液晶表示装置)などの動的に設定可能な光バリアを用いて、1つの「ピンホール」を選択することに関する。
勿論、選択的に光をブロックしたりバリアを通したりするのにLCD以外の技術を使用することも可能である。
特定の実施形態によれば、LCDバリアは、画像センサへの照射を最適化するために集光入射レンズ及び/又はマイクロプリズムアレイと組み合わされる。
エレクトロウェッティングレンズなどに基づくオートフォーカス素子が用いられてもよい。
なお、画像センサを照射する光を通すピンホールが当該画像センサの主軸からオフセットされ、かつ光をセンサに導くのにプリズムが使われる場合には、幾何学的な歪みが現れる。しかし、軸点の収差(球面収差)と見なせる、そのような歪みは計算可能であり、したがって、標準的な補正用の幾何変形を用いて補償できる。
図2は、本発明の第1の実施形態に係る光学系の構成の一例を示すブロック図である。
図示のように、光学系200は、集光入射レンズ205、動的LCDバリア210、マイクロプリズムアレイ215、画像センサ220、及び演算装置225を備える。集光入射レンズ205、動的LCDバリア210、マイクロプリズムアレイ215、及び画像センサ220は光学的に一列に並んでいる。
画像センサ220と動的LCDバリア210とは演算装置225によって制御され、演算装置225は画像センサ220によって取得された画像を受け取る。演算装置225は、遠隔の装置、例えばリモートサーバーと通信するためのネットワークインターフェースを備えていてもよい。
動的LCDバリア210は、通常は、個別に制御されて光を遮るか又は通して「ピンホール」の役割を果たすマスク素子のアレイである。動的LCDバリア210は、例えば5x5又は10x10のマスク素子のアレイであり得る。勿論、横列のマスク素子の数は縦列のマスク素子の数とは異なっていてもよい。同様に、各マスク素子のサイズもまちまちでよい。
特定の実施形態によれば、動作時には、光を通すマスク素子を除くすべてのマスク素子が光を遮断するのが好都合である。
また、他の実施形態によれば、例えば、単一のマスク素子が十分な光を通すほどに大きくなく、かつ/又は数個のマスク素子が単一のマイクロプリズムと対応している場合には、動作時には、光を通す一組のマスク素子を除き、他のすべてのマスク素子が光を遮断する。
マスク素子は、得られる画像が重なるように又は重ならないように配列可能である。
マイクロプリズムアレイ215は、1つのマイクロプリズムが動的LCDバリアの各マスク素子と(又は、画像センサの光軸上に整合しているマスク素子に関してはマイクロプリズムを使う必要がないのでマスク素子の大部分と)対応するように配置された一組のマイクロプリズムから成るものでよい。特定の実施形態によれば、1つのマイクロプリズムが、一括制御されてよい動的LCDバリアの数個のマスク素子に対応している。
各マイクロプリズムは、対応するマスク素子を通過した光を画像センサへと導くことを目的としている。
特定の実施形態によれば、レンズがマイクロプリズムと組み合わせられていてもよい。これは、マスク素子のサイズが全てのマスク素子について同じではない場合(又は、各マイクロプリズムに対応するマスク素子の数が異なる場合)に特に役立つ。
なお、明快さのために、図2に示す光学装置には、オートフォーカス装置が図示されていない。しかし、光学系には、標準でそのような装置が実装されていてよい。
図3は、図2の動的LCDバリア210とマイクロプリズムアレイ215とを備える構成の一例を示している。
説明の都合上、動的LCDバリア210は、総じて300で示される同様のマスク素子の5x5のアレイであり、1番目及び4番目の縦列且つ4番目及び5番目の横列にそれぞれ位置するマスク素子300-1-4、300-4-5を備える。
図示の例によれば、光を通す1つのマスク素子、例えばマスク素子300-1-4、を除くすべてのマスク素子が光を遮断する。
特定の実施形態によれば、あるマスク素子を透光状態に設定すると、他のすべてのマスク素子が遮光状態に設定される。例えば、図3に示す設定から、マスク素子300-2-3(2番目の縦列且つ3番目の横列に位置する)が透光状態に設定されると、マスク素子300-1-4は遮光状態に設定される。
図3に示すように、マイクロプリズムアレイ215の各マイクロプリズムは特定のマスク素子に対応している。説明の都合上、マイクロプリズム305-1-4はマスク素子300-1-4に対応して、マスク素子300-1-4を通過する光を図3に示す構成に対応する画像センサに導くものとする。
同様のマスク素子の5x5のアレイとマイクロプリズムの5x5のアレイであるとし、背景技術の項で論じた例(それによると画像センサ幅は3,400画素に等しくなる)を考慮すると、同様の結果を得るのに、画像センサ幅を680画素に減らすことができる。その結果、やはり3μmサイズの画素であるとしても、画像センサ幅は2mmに等しくなる(従来技術の10.2mmに対して)。
図4は、図4a及び図4bから成り、図2で説明した光学系のような光学系において、2つの異なるマスク素子が選択された様子を示している。
同図に示すように、マスク素子400を選択する(その結果、光がマスク素子400を通過する)と、位置405に位置する現実の対象の像が取得可能となり、一方、マスク素子410を選択する(その結果、光がマスク素子410を通過する)と、位置415に位置する現実の対象の像が取得可能となる。
したがって、光学系200は、解像度及び/又は視野を低減させることなく、画像センサを小型化することを可能にする。
図5は、図2で説明した画像センサのような画像センサから画像を取得する方法の手順を示すフローチャートである。
同図に示すように、最初のステップ(ステップ500)において、画像センサの光軸に対する各マスク素子の相対位置から生じる幾何変形を求める。
実施形態によれば、マスク素子は各々個別に考慮されて、対応するマスク素子が透光状態に設定された際に得られる画像における幾何変形が求められる。
求められた幾何変形は、次に、対応するマスク素子の位置から生じる該幾何変形を補正するために画像センサから取得した画像に適用する補正用の幾何変形を算出するのに使用される。
なお、微小な幾何変形は無視してよい。
例えば、特定の実施形態では、画像センサの光軸上に中心があるマスク素子とそのマスク素子に近接したマスク素子に関しては、補正用の幾何変形は算出されない。
算出された補正用の幾何変形は、後に画像取得の際に使用するために記憶される。
次に、どのマスク素子を選択して透光状態にするかを判別する(ステップ505)。マスク素子をどのように選択するかは主に用途次第である。
例えば、全高解像度画像を得る必要がある用途には、各マスク素子を循環的に選択するのが好ましい。
これに対して、凝視追跡の用途では、関心領域に対応する高解像度の部分画像(即ち、目を表す画像部分)だけが処理される。したがって、その部分高解像度画像に対応するマスク素子だけが(次から次に)選択される。そうした用途の例の実施例については、図6及び図7を用いて説明する。
次に、特定されたマスク素子が選択されて透光状態に設定され(ステップ510)、1つ又は数個の画像が取得される(ステップ515)。
画像が取得されると、取得された画像に幾何補正を施すか否かが判別される(ステップ520)。
取得した画像に幾何補正を施す場合には、選択されたマスク素子に対応する補正用の幾何変形を求め、取得した画像に適用する(ステップ525)。
一方、取得した画像に幾何補正を施さない場合、あるいは取得した画像に幾何補正が施された後には、他の画像を取り込むか否かを判別するためのテストを行う(ステップ530)。
他の画像を取り込む場合には、ここまでの6つのステップ(ステップ505〜530)を繰り返す。即ち、図示のようにアルゴリズムがステップ505にループしている。
ステップ505〜530の処理は、通常、図2で説明した光学系200の演算装置225で行われる。ステップ500の処理は、リモート・コンピュータ又はサーバーで行うことが可能である。
特定の実施形態によれば、本発明の光学系は、1つ又は数個のマスク素子を選ぶのに使用される関心領域(ROI)を決定するのに使用される、少なくとも1つの他の画像センサをさらに備える。
図6は、本発明の第2の実施形態に係る光学系の構成の一例を示すブロック図である。
図2で説明した光学系200と同様に、光学系600は、集光入射レンズ605、動的LCDバリア610、マイクロプリズムアレイ615、画像センサ620、及び演算装置625を備える。集光入射レンズ605、動的LCDバリア610、マイクロプリズムアレイ615、及び画像センサ620は光学的に一列に並んでいる。
画像センサ620と動的LCDバリア610とは演算装置625によって制御され、演算装置625は画像センサ620によって取得された画像を受け取る。演算装置625は、リモートサーバーと通信するためのネットワークインターフェースを備えていてもよい。
動的LCDバリア610は、やはり、通常、個別に制御されて光を遮るか又は通して「ピンホール」の役割を果たすマスク素子のアレイである。動的LCDバリア610は、例えば5x5又は10x10のマスク素子のアレイであり得る。勿論、横列のマスク素子の数は縦列のマスク素子の数とは異なっていてもよい。同様に、各マスク素子のサイズもまちまちでよい。
動作時には、光を通すマスク素子を除くすべてのマスク素子が光を遮断するのが好都合である。
マイクロプリズムアレイ615は、1つのマイクロプリズムが動的LCDバリアの各マスク素子と(又は、画像センサの光軸上に整合しているマスク素子に関してはマイクロプリズムを使う必要がないのでマスク素子の大部分と)対応するように配置された一組のマイクロプリズムから成るものでよい。
各マイクロプリズムは、対応するマスク素子を通過した光を画像センサへと導くことを目的としている。
特定の実施形態によれば、レンズがマイクロプリズムと組み合わせられていてもよい。これは、マスク素子のサイズが全てのマスク素子について同じではない場合に特に役立つ。
光学系600は、光学的に一列に並んでいる集光入射レンズ630と画像センサ635とをさらに備えている。集光入射レンズ630の視野は集光入射レンズ605の視野と略同一であるのが好ましい。
画像センサ635は、集光入射レンズ630の全視野を表す低解像度画像を取得するように構成するのが好ましい。
画像センサ620及び635並びに動的LCDバリア610は、演算装置625によって制御され、演算装置625は画像センサ620及び635によって取得された画像を受け取る。動的LCDバリア610におけるマスク素子の選択は、画像センサ635によって取得された画像の処理に基づいて行われるのが好都合である。
説明の都合上、凝視追跡の用途では、画像センサ635の使用により画像中の顔を検出することができ、したがって、目の像を含むと思われる画像部分を動的に選ぶことが可能となる。
なお、明快さのために、図6に示す光学装置にも、やはり、オートフォーカス装置が図示されていない。しかし、光学系には、標準でそのような装置が実装されてよい。両画像センサ間の視差は、追跡すべき対象(例えば、両目)の距離を推定するのに使用することができ、したがって、オートフォーカスの設定に使用できる。
特定の実施形態によれば、図5で説明したステップ505〜530の処理は演算装置625によって行うことができる。ステップ505の処理(マスク素子の特定)は図7で説明するステップを含むのが好都合である。
図7は、図5で説明したような画像センサなどの画像センサから画像を取得する方法においてマスク素子を特定するための方法の手順を示すフローチャートである。
同図に示すように、最初のステップでは、全低解像度画像を取得する(ステップ700)。このような画像は、図6で説明した光学系600の画像センサ635を用いて取得することができる。
次に、取得した画像を処理して、高解像度画像を得るためのシーンの一部に対応する関心領域(ROI)を特定する(ステップ705)。
説明の都合上、このようなステップは、標準的な特徴認識アルゴリズムに基づくことが可能である。
そして、関心領域を特定した後、特定された関心領域に対応する1つ又は複数のマスク素子、即ち当該関心領域を表す画像の取得を可能にするマスク素子を特定する(ステップ710)。
次に、図5で説明したステップ510〜530を実行することにより画像センサ620を用いて高解像度画像を得ることが可能になる。この画像は集光入射レンズ630の視野の一部を表す。
図2及び図6で説明した装置並びに図5で説明した方法により、現実のシーンの異なる部分を表す異なる画像を得ることが可能になり、その解像度が特に凝視追跡を可能にする。
図8は、本発明の1つ又は複数の実施形態を実現するための演算装置800、例えば、図2及び図6でそれぞれ説明した演算装置225又は演算装置625、の模式ブロック図である。
演算装置800は、通信バスを有し、当該通信バスは以下のものに接続されている:
・CPUと表記されている、マイクロコンピュータなどの中央演算処理装置805;
・RAMと表記されている、本発明の実施形態の方法の実行可能なコード並びに本発明の実施形態に応じて画像を取得する方法を実行するのに必要な変数やパラメータを記録するのに適合したレジスタを記憶し、そのメモリ容量が、例えば拡張ポートに接続されるオプションのRAMにより拡張可能であるランダムアクセスメモリ810;
・ROMと表記されている、本発明の実施形態を実施するためのコンピュータプログラムを記憶するリードオンリーメモリ815;及び
・デジタルデータ(特に設定データと取得した画像)が送受信可能な通信ネットワークに通常接続されるネットワークインターフェース820。ネットワークインターフェース820は、単一のネットワークインターフェースであること、又は、一組の異なるネットワークインターフェース(例えば、有線と無線のインターフェース、あるいは異なる種類の有線又は無線のインターフェース)から成ることが可能である。データパケットは、CPU805で動作するソフトウェアアプリケーションの制御下で、送信の際にはネットワークインターフェースに書き込まれ、受信の際にはネットワークインターフェースから読み取られる。
オプションとしては、演算装置800の通信バスは以下のものに接続されていてもよい:
・HDと表記されている、大容量記憶装置として使用されるハードディスク825;及び/又は
・ユーザからの入力を受け付け、ユーザに情報を表示し、そして/あるいは外部装置とのデータを送受信するのに使用可能なユーザインターフェース及び/又は入力/出力インターフェース830。
実行可能なコードはリードオンリーメモリ815、ハードディスク825、又は例えばディスクなどの着脱可能なデジタル媒体のいずれかに記憶されてよい。変形例としては、プログラムの実行可能なコードは、実行する前にハードディスク825などの演算装置800の記憶手段の1つに記憶するために、ネットワークインターフェース820を介して通信ネットワークにより受信可能である。
中央演算処理装置805は、本発明の実施形態に係る単一又は複数のプログラムの命令又はソフトウェアコードの一部の実行を制御し、指示するが、それらの命令は前述の記憶手段の1つに記憶される。電源投入後、CPU805は、ソフトウェアアプリケーションに関する命令が例えばROM815又はハードディスク825から展開された後で、当該指示をメインのRAMメモリ810から実行することができる。そのようなソフトウェアアプリケーションは、CPU805によって実行されると、本明細書に開示されたアルゴリズムの各ステップを実行させる。
ここに開示されたアルゴリズムのステップはいずれも、プログラム可能な計算機、例えばPC(パーソナルコンピュータ)、DSP(デジタルシグナルプロセッサ)、マイクロコントローラなどが一組の命令又はプログラムを実行することにより、ソフトウェアとして実現されてもよいし、機械又はFPGA(フィールドプログラマブルゲートアレイ)あるいはASIC
(特定用途向け集積回路)などの専用コンポーネントによりハードウェアとして実現されてもよい。
以上、具体的な実施形態を参照しながら本発明を説明したが、本発明はこれらの実施形態に限定されるものではなく、本発明の範囲を逸脱しない変更は、当業者には明らかであろう。
また、上記の説明のための実施形態を参照することにより、さらに多くの修正や変形が当該技術に通じたものには自ずと想起されるであろうが、上記実施形態はあくまで例として説明されたにすぎず、したがって本発明の範囲を制限するものではなく、本発明の範囲は添付された請求項によってのみ決定される。特に、異なる実施形態の異なる特徴は適宜入れ替えてもよい。
また、請求項における「〜を備える」という文言は、他の要素や工程を排除するものではなく、単数の要素の記述はそれが複数であることを排除するものではない。異なる特徴が互いに異なる従属項において列挙されているということだけで、それらの特徴の組み合わせが好都合に使用できないということを示しているものではない。

Claims (15)

  1. 画像センサ(220,620)と、所定の視野を有する集光入射レンズ(205,605)とを備えた光学装置(200,600)であって、当該光学装置は、少なくとも2つのマスク素子(300)を有する動的に設定可能な光バリア(210,610)をさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも1つを透光状態に設定できるように構成され、前記少なくとも2つのマスク素子は、前記少なくとも2つのマスク素子のうちの1つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも2つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成されることを特徴とする光学装置。
  2. 前記少なくとも2つのマスク素子は、前記画像センサ及び前記集光入射レンズの光軸と直交するように配置されたマスク素子のアレイとして構成されていることを特徴とする請求項1記載の光学装置。
  3. 前記動的に設定可能な光バリアを制御し、前記画像センサから画像を受け取る演算装置(225,625)をさらに備えることを特徴とする請求項1又は2記載の光学装置。
  4. 前記演算装置は、前記画像センサから受け取った画像に幾何学的歪みを加えるように構成されており、当該幾何学的歪みは、あらかじめ決定され、選択されたマスク素子の機能として特定されていることを特徴とする請求項3記載の光学装置。
  5. マイクロプリズムアレイ(215,615)をさらに備え、当該マイクロプリズムアレイの各マイクロプリズムは、異なるマスク素子に対応していることを特徴とする請求項1〜4のいずれか1項に記載の光学装置。
  6. 第2の集光入射レンズ(630)と第2の画像センサとをさらに備え、当該第2の画像センサによって取得された画像は前記所定の視野を表すことを特徴とする請求項1〜5のいずれか1項に記載の光学装置。
  7. 選択されるマスク素子は、前記第2の画像センサから取得した画像を処理する一機能として特定されることを特徴とする請求項3に従属する請求項6記載の光学装置。
  8. 前記動的に設定可能な光バリアはLCDタイプであることを特徴とする請求項1〜7のいずれか1項に記載の光学装置。
  9. 画像センサ(220,620)と、所定の視野を有する集光入射レンズ(205,605)とを備えた光学系において画像を取得する方法であって、光学装置は、少なくとも2つのマスク素子(300)を有する動的に設定可能な光バリア(210,610)をさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも1つを透光状態に設定できるように構成され、前記少なくとも2つのマスク素子は、前記少なくとも2つのマスク素子のうちの1つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも2つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成される方法において、
    マスク素子を特定し(505)、
    特定された前記マスク素子を選択して(510)、当該特定されたマスク素子を透光状態に設定し、そして
    前記画像センサから画像を取得する(515)
    工程を備えることを特徴とする方法。
  10. 補正用の幾何変形を求め、それを前記画像センサから取得した画像に適用する工程(525)をさらに備えることを特徴とする請求項9記載の方法。
  11. 前記補正用の幾何変形は、選択されたマスク素子の機能として得られることを特徴とする請求項10記載の方法。
  12. 前記所定の視野を表す画像を取得する工程(700)をさらに備え、前記マスク素子を特定する工程は、前記所定の視野を表す画像を処理する工程(705)を備えることを特徴とする請求項9〜11のいずれか1項に記載の方法。
  13. 前記所定の視野を表す画像を処理する工程(705)は、関心領域を特定する工程を備えることを特徴とする請求項12記載の方法。
  14. プログラム可能な装置のためのコンピュータプログラム製品であって、当該コンピュータプログラムは、前記プログラム可能な装置に展開され、当該装置によって実行されるときに、請求項9〜13のいずれか1項に係る方法の各工程を実行するための命令を備えるコンピュータプログラム。
  15. 請求項9〜13のいずれか1項に係る方法を実現するためのコンピュータプログラムの命令を記憶するコンピュータ読み取り可能な記憶媒体。
JP2016175730A 2015-09-11 2016-09-08 低解像度画像センサから高解像度画像を得るための光学装置及び方法 Active JP6738697B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306402.7 2015-09-11
EP15306402.7A EP3142347B1 (en) 2015-09-11 2015-09-11 Method and device for obtaining high resolution images from low resolution image sensors

Publications (2)

Publication Number Publication Date
JP2017055405A true JP2017055405A (ja) 2017-03-16
JP6738697B2 JP6738697B2 (ja) 2020-08-12

Family

ID=54207432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016175730A Active JP6738697B2 (ja) 2015-09-11 2016-09-08 低解像度画像センサから高解像度画像を得るための光学装置及び方法

Country Status (3)

Country Link
US (1) US10609311B2 (ja)
EP (1) EP3142347B1 (ja)
JP (1) JP6738697B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815759B (zh) * 2020-06-18 2021-04-02 广州建通测绘地理信息技术股份有限公司 一种可量测实景图片的生成方法、装置、计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093871A (ja) * 1996-06-28 1998-04-10 Matsushita Electric Ind Co Ltd 高解像度撮像方法及びその装置
JP2008167154A (ja) * 2006-12-28 2008-07-17 Sony Corp 撮像装置
JP2012253670A (ja) * 2011-06-06 2012-12-20 Fujifilm Corp 撮像装置
WO2013069050A1 (ja) * 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2015017730A1 (en) * 2013-07-31 2015-02-05 California Institute Of Technoloby Aperture scanning fourier ptychographic imaging
US20150049210A1 (en) * 2013-08-19 2015-02-19 Massachusetts Institute Of Technology Method And Apparatus For Motion Coded Imaging

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4589030A (en) * 1983-07-25 1986-05-13 Kley Victor B Solid state camera
JPH0682305A (ja) * 1992-08-31 1994-03-22 Shimadzu Corp 2次元検出器
JP2001189847A (ja) * 2000-01-04 2001-07-10 Minolta Co Ltd 画像傾き補正装置、画像傾き補正方法および画像傾き補正プログラムを記録した記録媒体
US20040114045A1 (en) * 2002-12-13 2004-06-17 Fujifilm Electronic Imaging Ltd. Digital camera
US7830561B2 (en) * 2005-03-16 2010-11-09 The Trustees Of Columbia University In The City Of New York Lensless imaging with controllable apertures
US7973838B2 (en) * 2006-07-07 2011-07-05 Immersive Media Company Active mask for electronic imaging system
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
US20120069209A1 (en) * 2010-09-22 2012-03-22 Qualcomm Mems Technologies, Inc. Lensless camera controlled via mems array
JP5979967B2 (ja) * 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
EP2881775B1 (en) * 2012-08-06 2018-03-07 FUJIFILM Corporation Imaging device
JP6170355B2 (ja) * 2013-06-26 2017-07-26 キヤノン株式会社 撮像装置及びその制御方法
CN105637320B (zh) * 2013-08-19 2018-12-14 巴斯夫欧洲公司 光学检测器
US9426383B1 (en) * 2014-06-20 2016-08-23 Amazon Technologies, Inc. Digital camera for capturing spectral and spatial information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093871A (ja) * 1996-06-28 1998-04-10 Matsushita Electric Ind Co Ltd 高解像度撮像方法及びその装置
JP2008167154A (ja) * 2006-12-28 2008-07-17 Sony Corp 撮像装置
JP2012253670A (ja) * 2011-06-06 2012-12-20 Fujifilm Corp 撮像装置
WO2013069050A1 (ja) * 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2015017730A1 (en) * 2013-07-31 2015-02-05 California Institute Of Technoloby Aperture scanning fourier ptychographic imaging
US20150049210A1 (en) * 2013-08-19 2015-02-19 Massachusetts Institute Of Technology Method And Apparatus For Motion Coded Imaging

Also Published As

Publication number Publication date
EP3142347A1 (en) 2017-03-15
US10609311B2 (en) 2020-03-31
JP6738697B2 (ja) 2020-08-12
EP3142347B1 (en) 2020-10-21
US20170078592A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
US9196027B2 (en) Automatic focus stacking of captured images
JP2014056065A5 (ja)
US20210068742A1 (en) Image processing system, imaging apparatus, electronic device, methods of controlling the system, and the apparatuses, and storage medium
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
CN103916659B (zh) 用于场深可视化的系统和方法
JP2014153890A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
CN103516976A (zh) 图像摄取装置及其控制方法
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
GB2609147A (en) Image processing system, imaging apparatus, image processing apparatus, electronic device, methods of controlling the system, the apparatuses, and the device,
JP2015188251A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6738697B2 (ja) 低解像度画像センサから高解像度画像を得るための光学装置及び方法
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP2020160853A (ja) 画像処理装置、画像処理方法、及びプログラム
US11475571B2 (en) Apparatus, image processing apparatus, and control method
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
JP2020181401A (ja) 画像処理装置、画像処理方法及びプログラム
US11857151B2 (en) Systems and methods for standalone endoscopic objective image analysis
JP5946785B2 (ja) 視覚効果評価装置、方法およびプログラム並びに画像撮像装置
US10409051B2 (en) Extraction of microscope zoom level using object tracking
EP3461393B1 (en) Method for guiding a user to obtain an eardrum standard image
CN101726963B (zh) 辨识被摄主体的维度形态的方法
JP2013162225A (ja) 追尾装置及び撮像装置、撮像装置に用いる追尾方法
WO2022044368A1 (ja) 機械学習装置、画像処理装置、機械学習方法、及び機械学習プログラム
RU2021111662A (ru) Устройство и способ для генерирования данных, характеризующих пиксельный пучок
JP5137219B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6738697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250