JP2010527457A - 移動物体を撮像するための撮像方法及び撮像装置 - Google Patents

Abstract

比較的速い移動物体が、周囲光に匹敵するか又はそれよりも暗いフラッシュ照明がなされた間に、ローリング電子シャッタを内蔵したセンサによって撮像される。これは、物体とセンサの間にフラッシュに同期した物理的シャッタを使用することによって実現される。その物理的シャッタはフラッシュの発光と同じ時間だけ開放するように動作するとよい。あるいは、フラッシュ光でぼけるときは、焦点が合った画像を作り出す光学機構を物体とセンサとの間に設けるとよい。さらに、フラッシュ光源の波長の光はＣＭＯＳセンサに対して透過するが、周囲光は減衰させるよう構成された光学フィルタを、物体とセンサとの間に配置してもよい。
【選択図】 図１

Description

この発明は電子画像の生成に関し、より詳しくは、ローリングシャッタを使用した移動物体の画像生成に関する。

電子イメージセンサの２つの周知のタイプとしてＣＭＯＳセンサと電荷結合素子（ＣＣＤ）がある。一般的に、ＣＭＯＳセンサは低コストであるとともに、他の多くの利点を持っている。 例えば、ＣＭＯＳ製造技術は、イメージセンサ自体の領域内に、タイミング回路、アナログ／デジタル変換回路、および他の機能的な回路を一緒に包含することができる。他方、ＣＣＤセンサの場合は、これらの機能を果す分離した回路を付随させなければならない。

ＣＣＤセンサはグローバルシャッタとして知られている電子シャッタ機構を内蔵するという利点を有する。このタイプの撮像素子（imager）は、露光（integration）（集光）前にセンサウェル（画素を規定する素子）内の全ての残留信号を除去するためにデバイス全体がリセットされる。その後、各画素は全画素同時に集光を開始及び終了して、所定の露光時間だけ電荷を蓄積する。露光時間の終りに、全ての電荷が同時にセンサの遮光領域へ移動され、読出し過程で電荷がさらに蓄積されるのを防ぐ。その後、各電荷はセンサの遮光領域から移動されて読み出される。その結果、グローバルシャッタを持つセンサでは、動きのぶれを避けるために十分短い露光時間内で移動物体の画像が「固定」される。グローバルシャッタでは、フラッシュ撮影時に、フラッシュの発光期間を短くすることによって動きのぶれを減少若しくは避け得ることが知られている。

ＣＭＯＳイメージセンサはローリングシャッタを用いるが、それはフォトダイオード（画素）が同時に集光しない点で動作が異なる。撮像素子の１行のすべての画素が正確に同じ時間だけ集光するが、集光の最初と最後の時間が各行ごとにわずかに異なる。撮像素子の最初の行が集光を最初に始めかつ最初に終わる。それに続く各行の集光の最初と最後は、わずかずつ大きくなりながら遅延する。各行の総集光時間は同じであり、各行間の遅延も一定である。リセットされる行と読み出される行の間の遅延時間が露光時間である。ある行をリセットする時とその行を読み出す時との間の時間量の変化によって、露光時間が制御される。露光過程がある程度長い時間に亘って画像上を移動するため、比較的遅い移動物体であっても、動きにぶれが現れる。フラッシュ発光によって動きのぶれを幾分低減できるかもしれないが、撮像素子の最後の行でも十分な集光を可能にするためには高輝度のフラッシュが必要となる。しかし、高輝度のフラッシュは高価であるとともに、無駄なエネルギー消費は望ましくない。

ＣＭＯＳ撮像素子がよく使用される撮像装置の１つのタイプとしてバーコードリーダがある。移動するコンベヤベルト上の物体のバーコードを走査するのは、特に難しい仕事である。バーコードは比較的小さいだけではなく、そのコードエレメントが非常に密接して配置されている。バーコードは正しくデコードされるために正確に撮像されなければならないが、画像のぼけはその過程を阻害する。したがって、比較的ゆっくり移動するバーコードであっても、形成される画像の品質の観点からは、速く移動する物体と同等であり得る。二次元バーコードが使用される場合には、バーコードに関する困難性がかなり増加することが認識されるであろう。

そのため、強いフラッシュ光に頼らずに、移動するバーコードを撮像できるようにすることが望まれている。

この発明によれば、比較的速く移動する物体が、周囲光に匹敵するかそれよりも暗いフラッシュ照明を使用して、ローリング電子シャッタを内蔵したセンサにより撮像される。これは、対象物体とセンサとの間に、フラッシュと同期する物理的シャッタを使用することによって実現される。その物理的シャッタは、フラッシュが発光している間は開放するように動作するのが望ましい。

好ましい実施例においてはフラッシュ発光されて画像がボケる時に、焦点が合った画像を作る光学機構が対象物体とセンサとの間に設けられる。

好ましい実施例においては、対象物体とセンサとの間に光学フィルタが配置され、そのフィルタはフラッシュ光源の波長の光をＣＭＯＳセンサに透過させ、周囲光は減衰させるように構成されている。

シャッタが開いている間、撮像のための十分なパワーを与えるために周囲光とフラッシュ光源とが併用される。周囲光とフラッシュ光源とを併用するため、露出時間を最小限にすることができる。露出時間が短いことによって歪みやぼけが最小限になるので、周囲光とフラッシュ光源とが所望の物体を撮像するために十分な投射パワーを作るために併用される。
前述の簡単な説明、更なる目的、特徴、および利点は、以下に詳述するこの発明の好ましい実施形態の記載を添付図面と共に参照することによって、より完全に理解されるであろう。

（Ａ）と（Ｂ）はＣＭＯＳ（ローリングシャッタ）撮像素子とＣＣＤ（グローバルシャッタ）撮像素子の動作をそれぞれ示すタイミング図である。 （Ａ）と（Ｂ）はそれぞれフラッシュ照明を備えたＣＭＯＳ（ローリングシャッタ）撮像素子とＣＣＤ（グローバルシャッタ）撮像素子の動作を示すタイミング図である。 物理的シャッタを備えたＣＭＯＳ（ローリングシャッタ）撮像素子の動作を示すタイミング図である。 この発明による撮像装置の第１実施例３０を示す機能ブロック図である。 この発明による撮像装置の第２実施例３０’を示す機能ブロック図である。 この発明による撮像装置の第３実施例３０’’を示す機能ブロック図である。

図面において、図１の（Ａ）と（Ｂ）はＣＭＯＳ（ローリングシャッタ）撮像素子とＣＣＤ（グローバルシャッタ）撮像素子の動作をそれぞれ示すタイミング図である。どちらの場合も、その撮像素子は各々複数個のセンサを含むＮラインを有している。ＣＭＯＳセンサは単純にフォトダイオードＰＤと表記され、ＣＣＤセンサも同様にフォトダイオードＰＤと表記される。
図１（Ｂ）のＣＣＤ撮像素子において、そのセンサは、１４でリセットされた後、１６で全てのゲートが同時に開いて撮像素子の全てのセルが同時に読み出し状態になるまでの露光時間Ｔintの間、光エネルギーを受けられる。その結果、全てのラインは正確に同時に受光を停止する停止動作効果を有する。

これに対して、図１（Ａ）のＣＭＯＳ撮像素子では、ライン０の各セルは１０で光エネルギーを受け始め、露光時間Ｔint 後の１２でそのライン全体が読み出される。同様に、それに続く各ラインは露光時間Ｔint を経過はするが、先行するラインより順次遅延して受光を開始する。静止している物体では違いは生じないが、十分なスピードで動いている物体の場合には、各ラインは、物体が前のラインからある量だけ動いた後にそれを捕らえる。その結果、ＣＭＯＳ撮像素子は台形のひずみや画像のぶれを示すことになる。

すなわち、直立した矩形の物体が台形状に傾斜した形になり、移動方向に傾いて見える。何故なら、撮像中に各ライン間で物体が少し移動するからである。これは、二次元バーコードを読み取る際に問題となる。また、撮像中に物体が動くために画像がぶれる。その画像のぶれを修正するのは極めて困難である。

図２の（Ａ）と（Ｂ）は、それぞれフラッシュ照明を備えたＣＭＯＳ（ローリングシャッタ）撮像素子とＣＣＤ（グローバルシャッタ）撮像素子の動作を示すタイミング図である。フラッシュ照明が、移動物体の画像を固定して「動き停止」を可能にすることは写真撮影においてよく知られている。ＣＣＤ撮像素子はすべてのセルが同時に読み出されるので、フラッシュ照明を使用するのは自然な流れである。図２（Ｂ）から分かるように、それは各セルが露光時間Ｔintの間に十分な照明を受けることを保証する問題にすぎない。

しかしながら、図２（Ａ）を参照すると、ＣＭＯＳ撮像素子の各ラインは、１８でのフラッシュ発生前に異なる量の照明を受けていることが分かる。フラッシュが撮像素子によって受光される光量を制御する場合にのみ、適切な露出が保証される。従って、周囲光よりはるかに明るいフラッシュを使用することが必要になる。その結果、通常の環境光の１０００倍も強い非常に明るいフラッシュを使用することを意図しない限りは、ＣＭＯＳ撮像装置を備えたフラッシュ照明を使用することはないであろう。

図３は物理的シャッタを備えた、ＣＭＯＳ（ローリングシャッタ）撮像素子の動作を示すタイミング図である。この発明の一つの特徴として、物理的シャッタ（図示のように必ずしも機械的である必要はない）は、図３に２０で示すように、好ましくは最後のラインのリセット後であって、最初のラインの読み出し前の時間にフラッシュ照明の開始に同期して開放する。そのシャッタはフラッシュの全発光期間に亘って開放するのが望ましい。これは要求される露出をするために必要な照明量だけの使用を可能にする。それは、各ラインが同量の周囲光を受光し、全ての各ラインの全露出量が同じになるからである。その結果、周囲光に匹敵するかあるいはそれより低い強度のフラッシュ照明を使用することが可能になる。

物理的シャッタを実現する１つの典型的な方法は、センサに当たる光のために周期的な開口がある回転円板や同様な部材を備えた装置を使用することである。このような場合に、フラッシュ照明とイメージセンサは、物理的シャッタの各開口が光の通過を可能にしている時間の間に反射光を取り込むために同期されなければならない。

図４は、この発明を実施した撮像装置の第１実施例３０を示す機能ブロック図である。この装置は、矢印Ａで示すように移動する物体Ｏを撮像する。物体Ｏは、図４において右に面して二次元バーコードのようなコードを含み、それが撮像素子（又はセンサアレイ）３２上に結像される。撮像素子３２はＣＭＯＳ撮像素子が好ましい。画像はレンズ３４を通して撮像素子３２上に形成され、電子シャッタや機械シャッタのような物理的シャッタ３６がレンズ３４と物体Ｏの間に設置される。物体Ｏはフラッシュ照明Ｆを発するフラッシュ装置３８によって照明される。コントローラ４０がフラッシュ装置３８とシャッタ３６とを制御して、フラッシュ照明Ｆの開始と同時にシャッタが開くようにする。コントローラ４０はフラッシュ照明Ｆの全期間に亘ってシャッタを開放に保持するのが好ましい。この方法で、図３に示した動作が達成される。

図５は、この発明を実施した撮像装置の第２実施例３０’を示す機能ブロック図である。この撮像装置３０’は、物理的シャッタ３６が光学機構３６’に置き換えられていること以外は、図４の撮像装置３０と同じである。光学機構３６’はコントローラ４０によって、フラッシュ照明Ｆがなされているときには物体Ｏの画像に焦点を合わせ、フラッシュ照明Ｆがないときには焦点がぼけるように制御される。光学機構３６′は、例えば電気的に制御可能な液体レンズであり得る。実施例３０’も先の実施例と同様に図３に示した動作を達成する。シャッタ３６と焦点調節可能な光学機構３６’の両方を同じ装置内に設けることもできる。

図６は、この発明を実施した撮像装置の第３実施例３０’’を示す機能ブロック図である。この実施例において、シャッタ３６又は光学機構３６’がフィルタ３６’’に置き換えられる。この実施例において、フラッシュ装置３８’は周囲光と相当異なる所定の周波数の光を供給するために使用される。フィルタ３６’’は、フラッシュ装置３８’の周波数の光を透過し、周囲光に含まれる周波数の光は遮蔽するように構成されている。その結果、撮像素子３２はフラッシュ照明Ｆによって照射された画像のみを受け取るであろう。

また、周囲光が十分に明るい時には、フラッシュ照明が必要ないかもしれないことは注目すべきである。有効な露光時間は、フラッシュを使用する際に入射光のパルス幅を変えるか、若しくはセンサアレイの電子シャッタ期間を変えることにより設定される。システム設計者あるいは光センサを含む装置が、周囲光が所定の閾値を超えているか否かに応じて、ＣＭＯＳやその他センサの有効な露光時間を制御するための方法を選択することができる。

この発明の好ましい実施例を開示してきたが、当業者であれば特許請求の範囲によって規定されるこの発明の範囲及び精神から逸脱することなく、種々の追加、変更、置き換えが可能であろう。

Claims (20)

1. ローリング電子シャッタを内蔵しかつ物体に対向する検知面を有する電子撮像素子上に移動物体の画像を形成するための撮像方法であって、
   フラッシュ照明を物体に向け、
   前記シャッタを動作させて、該シャッタの開放と同時に電荷の蓄積を開始し、該シャッタの開放後所定時間で電荷の蓄積を終了し、
   周囲光とフラッシュ照明とが組み合わされたとき、移動物体を撮像するために十分なパワーを与えるのに必要な時間だけ前記シャッタを開放することを特徴とする撮像方法。
2. フラッシュ照明のほぼ全期間中能動状態にするように前記物理機構を動作させる。
3. 請求項１又は２に記載の撮像方法において、
   前記物理的機構が物理的シャッタであり、前記能動状態は該物理的シャッタが開放している状態であることを特徴とする撮像方法。
4. 請求項３に記載の撮像方法において、
   前記物理的機構がさらに、前記物体と前記撮像素子との間に配置された自動的に焦点を制御可能なレンズを備え、該レンズの能動状態では前記物体に焦点が合っており、非能動状態では焦点が合っていないことを特徴とする撮像方法。
5. 請求項４に記載の撮像方法において、
   前記レンズが電気的に制御可能な液体レンズであることを特徴とする撮像方法。
6. 請求項１又は２に記載の撮像方法において、
   前記物理的機構が自動的に焦点を制御可能なレンズであり、能動状態では前記レンズの焦点が前記物体に合っており、非能動状態では焦点が合っていないことを特徴とする画像形成手法。
7. 請求項６に記載の撮像方法において、
   前記レンズが電気的に制御可能な液体レンズであることを特徴とする撮像方法。
8. 請求項１乃至７にいずれか一項に記載の撮像方法において、
   前記フラッシュ照明が周囲光と非常に異なる周波数を有し、
   前記物体と前記撮像素子との間に、前記フラッシュ照明の周波数の光は透過するが、周囲光の周波数の光は殆ど透過しないフィルタを配置することを特徴とする撮像方法。
9. 請求項１記載の撮像方法において、
   前記物理的機構が回転円板であることを特徴とする撮像方法。
10. ローリング電子シャッタを内蔵しかつ物体に対向する検知面を有する電子撮像素子上に移動物体の画像を形成するための撮像装置であって、
    周囲光とほぼ同等以下の強度の照明を物体に向けるフラッシュ照明の光源と、
    前記物体と前記検知面との間に配置された能動状態を有する物理的機構と、
    前記フラッシュ照明の最初の発生と同期して前記物理的機構を前記能動状態にさせるように構成された制御装置
    とを設けたことを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記制御装置が、前記フラッシュ照明のほぼ全期間に亘って前記物理的機構を前記能動状態にするように構成されていることを特徴とする撮像装置。
12. 請求項１０又は１１に記載の撮像装置において、
    前記物理的機構が物理的シャッタであり、前記能動状態が該シャッタが開いている状態であることを特徴とする撮像装置。
13. 請求項１２に記載の撮像装置において、
    前記物理的機構は、前記物体と前記撮像素子との間に配置された自動的に焦点を制御可能なレンズをさらに備え、該レンズの能動状態では前記物体に焦点が合っており、非能動状態では前記レンズの焦点が合っていないことを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置において、
    前記レンズが電気的に制御可能な液体レンズであることを特徴とする撮像装置。
15. 請求項１０又は１１に記載の撮像装置において、
    前記物理的機構が、前記物体と前記撮像素子との間に配置された自動的に焦点を制御可能なレンズであり、前記能動状態では該レンズの焦点が前記物体に合っており、非能動状態では前記レンズの焦点が合っていないことを特徴とする撮像装置。
16. 請求項１５記載の撮像装置において、
    前記レンズが電気的に制御可能な液体レンズであることを特徴とする撮像装置。
17. 請求項１０乃至１６のいずれか一項に記載の撮像装置において、
    前記フラッシュ照明の光源が、周囲光と非常に異なる周波数の照明をするように構成され、
    該撮像装置はさらに、前記物体と前記撮像素子との間に配置され、前記フラッシュ照明の周波数の光は透過するが、周囲光の周波数の光は殆ど透過しないフィルタを備えたことを特徴とする撮像装置。
18. 物体の画像を撮影するための撮像装置であって、
    電子シャッタを有するセンサアレイと、有効な露光時間と、パルス幅を持つ光源とを備え、前記有効な露光時間が前記シャッタに関連する期間又は前記パルス幅のいずれかに基いて選択的に設定されることを特徴とする撮像装置。
19. 請求項１８に記載の撮像装置において、
    前記有効な露光時間が手動で選択可能であることを特徴とする撮像装置。
20. 求項１９に記載の撮像装置において、
    前記有効な露光時間が手動で選択可能であることを特徴とする撮像装置。
    
    
    

Images