JP2014187550A

JP2014187550A - 撮像制御装置、撮像制御方法及びプログラム

Info

Publication number: JP2014187550A
Application number: JP2013061070A
Authority: JP
Inventors: Yoshisuke Nakamura; 善亮中村
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2013-03-22
Filing date: 2013-03-22
Publication date: 2014-10-02

Abstract

【課題】特に、ローリングシャッタ方式のイメージセンサを使って、移動する測定対象物を撮像した場合に、当該撮像された画像中の測定対象物の一部が欠損する事態を抑制すること。
【解決手段】撮像装置の撮像制御部１３０において、読出部１５２と、インパクト検出部と、読出制御部１５８と、が機能する。読出部１５２は、セルによって構成されるライン毎に順次信号を読み出す。インパクト検出部は、所定の状態を検出する。読出制御部１５８は、インパクト検出部による検出結果に基づいて、読出部１５２により信号を読み出すラインの順番を制御する。
【選択図】図１１

Description

本発明は、撮像素子を構成するライン毎に順次信号を読み出す撮像制御装置、撮像制御方法及びプログラムに関する。

従来より、野球、ゴルフ及びテニス等の競技中に、バットやゴルフクラブ等による打撃により運動を開始したボールをその運動方向と直交する方向から撮像し、その撮像によって得られた画像を用いて、ボールの打撃後の挙動を測定する技術が知られている（特許文献１参照）。
特許文献１に記載されたボールの運動測定装置では、ボールに打撃が加わったことがトリガセンサによって検出されると、制御演算が、カメラのメカニカルシャッタを連続して開閉させる。制御演算装置は、閃光装置をメカニカルシャッタの開閉に同期して連続して発光させ、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）型のイメージセンサを使った多重露光を行う。このような一連の動作により、特許文献１記載の技術では、複数のボールの像が撮像された１つのフレームが得られる。

このような特許文献１に記載の技術に適用されているＣＣＤ型のイメージセンサは、従来から広く普及している。
従来から広く普及している別のイメージセンサとしては、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子を有するものも存在する。ＣＭＯＳ型の撮像素子を有するイメージセンサを、以下、「ＣＭＯＳセンサ」と呼ぶ。

ＣＭＯＳセンサの画像の読み出し方式としては、例えば撮像素子が水平方向に配列された各ラインを上から下方向に順に走査することで、画素毎に蓄積された電荷をライン毎に順次電圧に変換して画像信号として出力する方式が採用されている。このような画像の読み出し方式を、本明細書では「ローリングシャッタ方式」と呼ぶ。なお、ローリングシャッタ方式における走査の方向、即ち、上述した例では上から下方向を、以下、「走査方向」と呼ぶ。

このようなローリングシャッタ方式のＣＭＯＳセンサは、撮像処理を高速に行うことができるという特徴がある。この特徴により、ローリングシャッタ方式のＣＭＯＳセンサは、ハイスピードカメラに適用されることが多い。

特開２００１−２６４０１６号公報

ローリングシャッタ方式が採用されたＣＭＯＳセンサでは、読み出される画像信号の出力タイミングは、ライン毎の時間差が生じている。このため、例えば、ゴルフスイングのインパクト前にＣＭＯＳセンサの走査方向に沿った動きをするゴルフクラブを測定対象物として撮像する一方で、当該インパクト後にＣＭＯＳセンサの走査方向に沿わないように移動するボールも測定対象物として撮像すると、撮像された画像においてボールの一部が欠損する場合があった。このような現象は、特に被写体が高速で移動している場合に顕著となる。

本発明は、このような状況に鑑みてなされたものであり、特に、ローリングシャッタ方式のイメージセンサを使って、移動する測定対象物を撮像した場合に、当該撮像された画像中の測定対象物の一部が欠損する事態を抑制することを目的とする。

上記目的を達成するため、本発明の一態様の撮像制御装置は、撮像素子を構成するライン毎に順次信号を読み出す読出手段と、所定の状態を検出する検出手段と、前記検出手段による検出結果に基づいて、前記読出手段により信号を読み出すラインの順番を制御する読出制御手段と、を備える。

本発明によれば、特に、ローリングシャッタ方式のイメージセンサを使って、移動する測定対象物を撮像した場合に、当該撮像された画像中の測定対象物の一部が欠損する事態を抑制することができる。

撮像装置の撮像範囲における測定対象物であるボールを模式的に示した図である。図１に示したボールを撮像した画像を示した図であって、撮像された画像中のボールの部分を拡大して示した図である。図１に示した撮像範囲における測定対象物であるボールを模式的に示した図である。図４に示したボールを撮像した画像を示した図であって、撮像された画像中のボールの部分を拡大して示した図である。実際に撮像装置で撮像されたボールの画像である。図５に示したボールの画像のローリングシャッタ歪みを補正した状態を示した図である。有効素子領域とＣＭＯＳセンサの走査方向との関係を示した図である。ボールの移動方向の主な成分をＣＭＯＳセンサの走査方向に合わせた状態を示す図である。ゴルフクラブがボールと衝突する際の、ゴルフクラブヘッドとボールとの関係を示した図である。本発明の一実施形態に係る撮像制御装置を含む撮像装置のハードウェアの構成を示すブロック図である。図１０に示したＣＭＯＳセンサを具体的に説明するための図である。図１１に示した下方向走査部の読み出し及び掃き出しの動作を説明するためのタイミングチャートである。図１０に示した撮像制御装置の機能的構成のうち、走査方向切替処理を実行するための機能的構成を示す機能ブロック図である。本発明の一実施形態で使用される、分離度フィルタを説明するための図である。図１３に示したインパクト検出部が実行するインパクト検出処理を説明するためのフローチャートである。図１３に示した行走査部が実行する走査方向切替処理を説明するためのフローチャートである。ゴルフクラブヘッドがボールに衝突した後、行走査部が下方向走査部による走査を、上方向走査部による走査に切り替えた状態を示す図である。本発明の一実施形態の撮像制御装置を備えた撮像装置によって撮像されたフレーム画像を示した図である。図１８に示したフレーム画像を補正処理部で補正した結果得られるフレーム画像を示した図である。

先ず、本発明の理解を容易なものとすべく本実施形態の説明に先立って、ローリングシャッタ方式により高速に移動する測定対象物が撮像された画像信号が欠損することについて説明する。
この説明では、ゴルフの練習施設等において、ユーザが練習を行うスペース（以下、「練習スペース」とも呼ぶ）に撮像装置が固定されているものとする。撮像装置は、画角の範囲（以下、「撮像範囲」とも呼ぶ）内においてゴルフクラブでボールを打つプレーヤーを、プレーヤーの正面から動画像として撮像する。
動画像の処理単位は、フレームやフィールド等のいわゆる「コマ」に相当する画像であり、以下、かかる画像を「単位画像」と呼ぶ。即ち、動画像は、複数の単位画像から構成される。本実施形態では、単位画像としてフレームが採用されているが、本明細書では、フレームを「フレーム画像」と適宜呼ぶ。

図１は、撮像装置の撮像範囲Ｒにおける測定対象物であるボールｂｒを模式的に示した図である。撮像範囲Ｒにおいて、ボールｂｒは、矢線Ｂが示す方向（即ち、図１中の左から右に向かう方向）に比較的高速度で移動する。このとき、撮像装置のＣＭＯＳセンサは、図中に示した矢線Ａが示す方向（即ち、図１中の上から下に向けて垂直に向かう方向）にライン毎に走査することで、ボールｂｒを撮像する。

図２は、図１に示したボールｂｒが撮像装置により撮像された場合における、ＣＭＯＳセンサから出力される画像信号に対応するＲＡＷ画像を示している。ただし、図２においては、ＲＡＷ画像全体のうち、ボールｂｒを含む領域が拡大されて示されている。ボールｂｒが移動中にＣＭＯＳセンサの複数ラインが順次走査されて、画像信号の出力タイミングが図１中下方のラインに行く程遅延していくので、即ちＣＭＯＳセンサのライン毎の画像信号の出力タイミングがばらつくので、図２に示したようなローリングシャッタ歪みが発生する。

図３は、撮像範囲Ｒにおける測定対象物であるボールｂｒを模式的に示した図である。撮像範囲Ｒにおいて、ボールｂｒは、矢線Ｃ（即ち、図１中の左から右斜め上に向かう方向）が示す方向に比較的高速度で移動する。このとき、撮像装置のＣＭＯＳセンサが、図中に示した矢線Ａが示す方向（即ち、図１中の上から下に向けて垂直に向かう方向）にライン毎に走査されて撮像を行っているものとする。

図４は、上記条件において、図３に示したボールｂｒを撮像した画像を示した図であって、撮像された画像中のボールｂｒの部分を拡大して示している。図３に示したように、ボールｂｒの移動方向にＣＭＯＳセンサの走査方向と反対方向の成分が含まれている場合、ボールｂｒのＣＭＯＳセンサの走査に対する相対的な速度が大きくなって画像情報の欠損が生じることにより、ボールｂｒの画像は、図４に示したように、ローリングシャッタ歪みによって上下に圧縮されたような形状になる、という現象が生じる。
このような現象は、ＣＭＯＳセンサにおいてラインの走査が行われている間にボールｂｒが移動してしまうことによって生じる。つまり、ボールｂｒが撮像されない間隔（ボールｂｒが撮像されていないフレームの数）は、ボールｂｒの移動速度が大きいほど大きくなり、失われる画像情報が大きくなる。このため、図４に示した現象は、ボールｂｒの移動速度が大きいほど顕著になる。

図５は、撮像装置で撮像された実際のボールの画像を示す図である。また、図６は、図５に示したボールｂｒの画像のローリングシャッタ歪みを補正した状態を示した図である。図５に示した画像は、画像情報が失われているため、縦方向に圧縮されたように歪んでいる。このような画像は、図６のように、画像の横方向の歪みを補正しても、縦方向に圧縮されたように生じた歪みをなくすことはできない。

また、ＣＭＯＳセンサを使ったハイスピードカメラには、撮像に関する処理を高速化するため、ＣＭＯＳセンサの複数のラインのうちの一部のラインのみから画像情報を読み出す（以下、「ラインを間引く」と呼ぶ）処理や、１ラインに含まれる複数のセルのうちの一部のセルのみから画像情報を読み出すものがある。
ラインを間引く、或いは各行に含まれるセルの一部のみから画像情報を読み出す処理（読出領域の行方向の縮小）によれば、ＣＭＯＳセンサに含まれる複数のセルのうちの一部だけが画像の撮像に使用されることになる。本明細書では、撮像に使用されるセルを「有効素子」、有効素子によって撮像される領域を「有効素子領域」と呼ぶ。

図７は、ラインを間引いたＣＭＯＳセンサの有効素子領域ＶとＣＭＯＳセンサの走査方向との関係を示した図である。図８は、矢線Ｄで示す移動方向にＣＭＯＳセンサの走査方向を合わせた例を示している。ボールｂｒの矢線Ｄで示す移動方向に応じたＣＭＯＳセンサの走査方向となるように、図７の状態から図８の状態にＣＭＯＳセンサの縦横の向きを変えることで、ローリングシャッタ歪みは抑制できると考えられる。しかしながら、図８に示すように、ＣＭＯＳセンサのラインを間引くと、有効素子領域Ｖが狭くなることから、移動するボールｂｒを撮像し難くなる。
以上のことから、ＣＭＯＳセンサを使ったハイスピードカメラは、ローリングシャッタ歪みが発生しやすいことものといえる。

また、ゴルフの練習スペースでは、ゴルフクラブヘッドの速度や軌跡と共に、ゴルフクラブヘッドが衝突したボールの速度や軌跡を測定することが要求される。
図９は、ゴルフクラブがボールｂｒと衝突する際の、ゴルフクラブヘッドＨとボールｂｒとの関係を示した図である。このように、ゴルフクラブヘッドＨとボールｂｒという、それぞれが異なる方向に移動する物体を解析する必要がある。このような解析について、画像処理を高速に行うために有効素子領域を狭めると、ＣＭＯＳセンサの走査方向と物体の移動方向とを合わせることが困難になり、ローリングシャッタ歪みを抑えることに不利である。

次に、本発明の一実施形態の撮像制御装置について具体的に説明する。本実施形態の撮像制御装置は、上記したニーズに応えるよう構成されたものである。
図１０は、本実施形態に係る撮像制御装置を含む撮像装置１００のハードウェアの構成を示すブロック図である。撮像装置１００は、例えばデジタルカメラにより構成することができる。

撮像装置１００は、光学レンズ装置１１１と、ＡＦ機構１１２と、シャッタ装置１１３と、アクチュエータ１１４と、ＣＭＯＳセンサ１１５と、前処理部１１６と、ＴＧ（ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）１１７と、信号処理部１１８と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１１９と、ＣＰＵ１２０と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１２１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２２と、表示制御部１２３と、表示部１２４と、操作部１２５及びメモリカード１２６を備える。これらのうち、ＣＭＯＳセンサ１１５、前処理部１１６、信号処理部１１８は撮像制御装置を構成している。

光学レンズ装置１１１は、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、ＣＭＯＳセンサ１１５の受光面に被写体像を結像させるためレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

ＡＦ機構１１２は、ＡＦ評価値に基づくＣＰＵ１２０の制御に従って、フォーカスレンズを移動させることで、ＡＦ枠内の被写体にフォーカス（焦点）を合わせる。なお、以下、このようなＣＰＵ１２０の制御を、「レンズ制御」と呼ぶ。

シャッタ装置１１３は、例えばシャッタ羽根等から構成される。シャッタ装置１１３は、ＣＭＯＳセンサ１１５へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置１１３はまた、ＣＭＯＳセンサ１１５へ入射する光束の光量を調節する絞りとしても機能する。

アクチュエータ１１４は、ＣＰＵ１２０の制御に従って、シャッタ装置１１３のシャッタ羽根を開閉させる。

ＣＭＯＳセンサ１１５には、光学レンズ装置１１１からシャッタ装置１１３を介して被写体像が入射される。そこで、ＣＭＯＳセンサ１１５は、ＴＧ１１７から供給されるクロックパルスに従って、一定時間毎に被写体像を光電変換（撮像）して画像信号を画素毎に蓄積し、蓄積した画像信号を出力する。即ち、ＣＭＯＳセンサ１１５は、ローリングシャッタ方式に従って、撮像画像の画像信号を、画素単位で走査方向の順番で順次出力する。

前処理部１１６は、ＴＧ１１７から供給されるクロックパルスに従って、ＣＭＯＳセンサ１１５から順次出力される画素単位の画像信号を、黒レベルの補正等の前処理を実行した上で、信号処理部１１８とＤＲＡＭ１１９とにそれぞれ出力する。

ＴＧ１１７は、ＣＰＵ１２０の制御に従って、一定時間毎にクロックパルスをＣＭＯＳセンサ１１５と前処理部１１６とにそれぞれ供給する。

信号処理部１１８は、例えばＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）等で構成され、ＣＰＵ１２０の制御に従って、前処理部１１６から供給された画像信号又はＤＲＡＭ１１９に記憶された画像信号に対して各種信号処理を実行する。例えば、信号処理部１１８は、ＡＦ検波を実行する。

ＤＲＡＭ１１９は、前処理部１１６から供給された画像信号、又は信号処理部１１８により信号処理が実行された画像信号を、フレーム単位で一時的に記憶する。

ＣＰＵ１２０は、撮像装置１００全体の動作を制御する。ＲＡＭ１２１は、ＣＰＵ１２０が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ１２２は、撮像装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。ＣＰＵ１２０は、ＲＡＭ１２１をワーキングエリアとして、ＲＯＭ１２２に記憶されているプログラムとの協働により各種処理を実行する。

表示制御部１２３は、ＣＰＵ１２０の制御に従って、ＤＲＡＭ１１９やメモリカード１２６に記憶されているフレーム画像のデータを読み出して、フレーム画像を表示部１２４に表示させる。

操作部１２５は、ユーザによる各種ボタンの操作を受け付ける。操作部１２５は、例えば電源釦、十字釦、決定釦、メニュー釦、レリーズ釦等を備える。操作部１２５は、受け付けた各種ボタンの操作に対応する信号を、ＣＰＵ１２０に供給する。ＣＰＵ１２０は、操作部１２５からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。

メモリカード１２６は、必要に応じて各種データを記録する。

上記した構成において、ＣＭＯＳセンサ１１５と、前処理部１１６と、信号処理部１１８と、が撮像制御部１３０として機能する。

図１１は、図１０に示したＣＭＯＳセンサ１１５の構成例を示すブロック図である。ＣＭＯＳセンサ１１５は、行列アドレス方式の固体撮像素子の一種である。
図１１に示したＣＭＯＳセンサ１１５は、半導体基板１５０上に形成された画素アレイ部１５１と、同じく半導体基板１５０上に形成された周辺回路とによって構成される。周辺回路のうち、読出部１５２と、定電流源部１５３と、列信号処理部１５４と、列走査部１１及び出力処理部１５６と、が図示されている。
読出部１５２は、行走査部１５７及び読出制御部１５８を含んでいる。また、行走査部１５７は、上方向走査部１５９及び下方向走査部１６０を含んでいる。

画素アレイ部１５１は、複数のＣＭＯＳ型セル（以下、単に「セル」と呼ぶ）が行方向と列方向とに２次元的に配置されて構成されている。なお、本実施形態の画素アレイ部１５１における行方向とは図１１における水平方向をいい、列方向とは図１１における垂直方向をいう。本実施形態の行方向と列方向とは、直交するものとする。
セルは、入射された光の光量に応じた電荷量の電荷を発生する。セルは、発生した電荷を内部に蓄積する光電変換素子である。各セルに蓄積された電荷の各々は画像を生成するための画像信号となり、各画像信号によって形成される画像の単位を画素と呼ぶ。

また、画素アレイ部１５１において、一方向に配置された各セルを、本明細書ではラインとも呼ぶ。ラインのうち、本明細書では、行方向に配置されている１ライン分のセルが存在する行をライン行、列方向に配置されている１ライン分のセルが存在する列をライン列とも呼ぶ。

ＣＭＯＳセンサ１１５には、ライン列の各々に対応し、対応するセル列と行走査部１５７とを接続する複数の信号線でなる信号線群１６１が設けられている。図１１においては、信号線と接続されるライン行のうちのｎ行目（ｎは１以上の整数値）のライン行をライン行ｎと呼ぶ。また、図１１においては、ライン行のうちのｎ＋１行目のライン行をライン行ｎ＋１と呼ぶ。更に、図１１においては、ライン行のうちのｎ−１行目のライン行をライン行ｎ−１と呼ぶ。
また、ＣＭＯＳセンサ１１５には、ライン列の各々に対応し、対応するライン列に含まれるセルから画像信号を読み出す複数の信号線でなる信号線群１６２が設けられている。
信号線群１６１、１６２に含まれる各信号線は、セルから信号を読み出すための駆動信号及び信号を掃き出すための信号を画素アレイ部１５１に伝送する。
なお、図１１においては、信号線を１本の線として示しているが、本実施形態の信号線はこのような例に限定されるものでなく、複数の線によって構成されるものであってもよい。

ライン行を選択する信号線の一端は、読出部１５２の行走査部１５７に接続されている。
行走査部１５７は、シフトレジスタやアドレスデコーダ等によって構成され、画素アレイ部１５１の各ラインを行単位で選択し、選択されたラインのセルを駆動する。本実施形態では、行走査部１５７の上方向走査部１５９が、画素アレイ部１５１のライン行を下から上に向かって順に選択する。また、下方向走査部１６０が、画素アレイ部１５１のライン行を上から下に向かって順に選択する。読出制御部１５８は、画素アレイ部１５１の走査に上方向走査部１５９が使われるか、下方向走査部１６０が使われるかを切り替える。
なお、上方向走査部１５９によって行われる画素アレイ部１５１のライン行を下から上に向かって順に選択する走査と、下方向走査部１６０によって行われる画素アレイ部１５１のライン行を上から下に向かって順に選択する走査とは、いずれも走査のパターンとなる。

なお、本実施形態では、画素アレイ部１５１に含まれるライン行の「上から下に向かう選択」と「下から上に向かう選択」とを、以下のように定める。
即ち、本実施形態では、各セルが行方向に一列に配置されてライン行を構成する。そして、ライン行が一行目のライン行から列方向（図中における下方）に複数配置されて画素アレイ部１５１を構成する。本実施形態でいう「上から下に向かう選択」とは、先に選択されたライン行を基準にして、列方向にあるライン行を選択することをいう。
また、本実施形態でいう「下から上に向かう選択」とは、先に選択されたライン行を基準にして、列方向と反対の方向にあるライン行を選択することをいう。

上方向走査部１５９と下方向走査部１６０とは、いずれも読出走査系と掃き出し走査系との２つの走査系を有している。読出走査系とは、撮像素子を構成する各セルから信号を読み出すためにラインを行単位で順に選択することをいう。なお、セルから読み出される画像信号は、アナログ信号である。
掃き出し走査系は、読出走査系によって読出走査が行われたライン行に対し、読出走査よりも撮像装置のシャッタスピードの時間分だけ先行して掃き出し走査を行う。掃き出し走査により、選択されたライン行のセルから不要な電荷が掃き出される。このような動作は、「リセット」とも呼ばれ、セルにリセット動作を行わせるための信号を「リセット信号」と」呼ぶ。リセット動作により、いわゆる電子シャッタの動作が行われる。

図１２は、上記した下方向走査部１６０の読み出し及び掃き出しの動作を説明するためのタイミングチャートであり、ライン行ｎ−１、ライン行ｎ、ライン行ｎ＋１の読み出し及び掃き出しの動作を例示している。
図１２では、信号線群１６１に含まれる複数の信号線の各々供給される、掃き出し走査を行うためのリセット信号及び読出走査を行うための読出信号についてのタイミングチャートが、対応するライン行の順番で上方から順にそれぞれ示されている。

ライン行ｎ−１に供給される信号では、時刻ｔ１においてリセット信号のパルスが立ち上がり、時刻ｔ２においてリセット信号のパルスが立ち下がる。このようなリセット信号により、電子シャッタ動作が行われ、ライン行ｎ−１に含まれるセルに蓄積されていた余剰の電荷が掃き出される。電荷の掃き出し後、信号線ｎ−１には読み出し信号が供給される。読出信号のパルスは、時刻ｔ５において立ち上がり、時刻ｔ６において立ち下がる。読出信号によってセルから読み出される信号は、直前に行われた読出動作又は直前に行われたリセット動作以降にセルに入射した光の光量に対応する。
セルでは、リセット信号の立ち下りから読み出し信号の立ち下がりまでの時間に電荷が蓄積される。リセット信号の立ち下りから読み出し信号の立ち下がりまでの時間を、蓄積時間（露光期間）と呼ぶ。

また、ライン行ｎに供給される信号では、時刻ｔ２においてリセット信号のパルスが立ち上がり、時刻ｔ３においてリセット信号のパルスが立ち下がる。また、ライン行ｎに供給される信号では、時刻ｔ６において読み出し信号のパルスが立ち上がり、時刻ｔ７において読み出し信号のパルスが立ち下がる。
更に、ライン行ｎ＋１に供給される信号では、時刻ｔ３においてリセット信号のパルスが立ち上がり、時刻ｔ４においてリセット信号のパルスが立ち下がる。そして、ライン行ｎ＋１に供給される信号では、時刻ｔ７において読み出し信号のパルスが立ち上がり、時刻ｔ８において読み出し信号のパルスが立ち下がる。
このような動作により、下方向走査部１６０は複数のライン行を上から下に向かって走査することができるようになる。

また、上方向走査部１５９は、図１２に示した動作とは反対に、例えばライン行ｎ＋１に対応する信号線にリセット信号と読出信号とを供給し、続いてライン行ｎに対応する信号線にリセット信号と読出信号とを供給し、続いてライン行ｎ−１に対応する信号線にリセット信号と読出信号とを供給する。つまり、上方向走査部１５９には、行番号が大きいものから順番にライン行にリセット信号と読出信号とが供給される。
このようにすれば、上方向走査部１５９は複数のライン行を下から上に向かって走査することができるようになる。

図１１に戻り、読出制御部１５８は、画素アレイ部１５１の各セルを、上方向走査部１５９を使って読み出すか、下方向走査部１６０を使って読み出すかを切り替える契機を示す契機信号を出力する。読出制御部１５８によって出力される契機信号については後述する。
読出制御部１５８は、半導体基板１５０の外部から与えられるクロック信号や動作を指示するデータ信号等を受け取ると共に、受け取った信号に基づいて各種のタイミングを示すタイミング信号を出力する図示しないタイミング生成部を有している。
タイミング信号は、行走査部１５７、列信号処理部１５４及び列走査部１５５といった周辺回路に入力されて周辺回路を制御する。

画素アレイ部１５１の各セルから読み出された信号は、ライン列毎に信号線を介して定電流源部１５３及び列信号処理部１５４に入力される。定電流源部１５３は、画素列毎の図示しない定電流源を有し、各セルに信号線を介してバイアス電流を供給する。
列信号処理部１５４は、行走査部１５７によって選択されたセルから出力された信号を画素アレイ部１５１のライン列毎に入力し、入力された信号に所定の処理をする。列信号処理部１５４によって行われる処理としては、例えば、ノイズの除去や信号の増幅及びＡ／Ｄ変換処理がある。

列走査部１５５は、シフトレジスタやアドレスデコーダによって構成され、列信号処理部１５４の図示しない単位回路を順次選択する。単位回路は、列信号処理部１５４内にライン列毎に設けられた複数の回路である。
単位回路の選択により、列信号処理部１５４は、単位回路毎に処理された信号を、信号線１６４を介して出力処理部１５６から順番に出力する。

出力処理部１５６は、列走査部１５５によって選択され、信号線１６３を介して信号が供給される。出力処理部１５６は、供給された信号に所定の処理を行って半導体基板１５０の外部に出力する。
出力処理部１５６によって行われる所定の処理とは、例えば、バッファリング、バッファリングに先立って行われる信号のレベル調整、画像信号のライン列毎のばらつきの補正等が挙げられる。

図１３は、このような撮像装置１００の機能的構成のうち、走査方向切替処理を実行するための機能的構成を示す機能ブロック図である。
走査方向切替処理とは、行走査部１５７が、画素アレイ部１５１の走査を上方向走査部１５９によって行われる走査（例えば第２読出パターンとする）と、下方向走査部１６０によって行われる走査（例えば第１読出パターンとする）とのうちの一方から他方へ切り替える契機を示す契機信号を入力し、画素アレイ部１５１の走査を行う行走査部を上方向走査部１５９及び下方向走査部１６０の一方から他方へ切り替えるまでの一連の処理をいう。

走査方向切替処理には、フレーム画像のデータからゴルフヘッドとボールとが接触し、ボールが移動を開始したことを検出する処理（以下、「インパクト検出処理」と呼ぶ）が含まれる。

前記したように、信号処理部１１８は、ＣＰＵ１２０の制御に従って、前処理部１１６から供給された画像信号又はＤＲＡＭ１１９に記憶された画像信号に対して各種信号処理を実行する。インパクト検出処理が制御される場合、信号処理部１１８においては、ＣＰＵ１２０により、インパクト検出部１６８が機能する。
また、信号処理部１１８は、ＣＭＯＳセンサ１１５の出力処理部１５６によって出力された信号によりフレーム画像のデータを生成する画像生成部１６９、画像生成部１６９によって生成されたフレーム画像のデータを補正する補正処理部１７０を備えている。
画像生成部１６９は、ＣＭＯＳセンサの出力処理部１５６からフレーム画像の信号を受け取り、フレーム画像のデータを生成する。フレーム画像のデータは、インパクト検出部１６８及び補正処理部１７０に入力される。

補正処理部１７０は、フレーム画像のデータにおける画素の位置を補正し、ローリングシャッタ歪みを補正する。ローリングシャッタ歪みの補正は、例えば、フレーム画像のデータにおける画素の位置をずらし、横方向の画像のずれを修正する処理によって行われる。

フレーム画像のデータから移動物体（ゴルフクラブヘッド及びボール）を検出する方法としては様々なものがある。本実施形態のインパクト検出部１６８によるインパクトの検出は、ゴルフクラブヘッドの形状に合わせた分離度フィルタと、ボールの形状に合わせた分離度フィルタとを使ってゴルフクラブヘッド及びボールの位置を検出し、両者が衝突したことを検出するものとする。

ここで、分離度フィルタについて簡単に説明する。
図１４は、分離度フィルタを説明するための図である。分離度とは、例えば図１４に示す局所領域ｒａの情報と局所領域ｒｂの情報との分離程度を表す量である。本実施形態では、検出すべき対象物がゴルフクラブヘッドとボールに限られているので、局所領域の形状を大凡特定することができる。このため、本実施形態は、２つの局所領域を、ゴルフクラブヘッドの輪郭の内側部分と外側部分とする分離フィルタ及びボールの輪郭の内側部分と外側部分とする分離フィルタを用いる。
分離度は、正規化された値であって、２つの局所領域の情報が完全に分離されていれば最大値１．０をとる。また、分離度は、２つの局所領域の情報が分離し難くなるほど最小値０．０に近い値をとる。分離度は、局所領域の輝度差に依存し難く、ノイズの影響を受け難いという利点がある。

以下に示した式１、式２、式３は、分離度フィルタの出力μを求めるための式である。
式１において、σｂは局所領域ｒａ、ｒｂのクラス間分散を示す。ｎ１は局所領域ｒａ内の画素数を示し、ｎ２は局所領域ｒｂ内の画素数を示す。Ｐｉは位置ｉにおける輝度値等の領域値を示し、Ｐ１にバーを付した記号は局所領域ｒａの平均領域値、Ｐ２にバーを付した記号は局所領域ｒｂの平均領域値を示す。また、Ｐｍにバーを付した記号は局所領域ｒａ、ｒｂの平均領域値を示す。更に、Ｎは、局所領域ｒａ、ｒｂの全画素数を示している。

ここでは、画像情報の輝度、色相、彩度を領域情報としているが、分離度は他の特徴量を用いて求めることもできる。分離度フィルタは、計算式が非常にシンプルであり、経験によって決定するパラメータが不要であるため、予め形状が概略分かっている物体を測定対象物とする場合の測定には好適である。
ただし、ゴルフクラブヘッドやボールは様々な方向に移動し得るため、他の方法によって位置を検出するものであってもよい。

インパクト検出部１６８は、分離度フィルタ等を用いてフレーム画像のデータからゴルフクラブヘッド及びボールの位置を特定する。そして、インパクト検出部１６８は、複数のフレーム画像のデータの中からゴルフクラブヘッドとボールとのインパクトを検出する。インパクト検出部１６８は、インパクトを示すフレーム画像のデータが検出されると、ＣＭＯＳセンサ１１５の読出制御部１５８に信号Ｓｉを出力する。読出制御部１５８は、信号Ｓｉが入力されたことによって行走査部１５７に契機信号Ｓｔを出力する。行走査部１５７は、契機信号の入力によって上方向走査部１５９及び下方向走査部１６０の一方を、他方に切り替える。

画像生成部１６９は、フレーム画像の信号に基づいてフレーム画像のデータを生成し、補正処理部１７０に出力する。補正処理部１７０は、フレーム画像のデータにおけるローリングシャッタ歪みを補正する。

次に、図１５、図１６を用い、上記したインパクト検出処理及び走査方向切替処理を説明する。図１５は、図１３に示したインパクト検出部１６８が実行するインパクト検出処理を説明するためのフローチャートである。
インパクト検出処理は、例えば、撮像装置１００の操作部１２５が操作されてインパクト検出処理の開始が指示されたことによって開始される。
インパクト検出処理が開始されると、ステップＳ１１において、ＣＭＯＳセンサ１１５の出力処理部１５６が、信号処理部１１８へフレーム画像の信号の入力を開始する。

ステップＳ１２において、インパクト検出部１６８は、フレーム画像のデータからゴルフクラブヘッド及びボールの位置を特定する。即ち、画像生成部１６９は、ＣＭＯＳセンサからフレーム画像の信号を受け取り、順次フレーム画像のデータを生成する。インパクト検出部１６８は、フレーム画像のデータを順次取得し、複数のフレーム画像のデータそれぞれにおいて分離度フィルタを用いてゴルフクラブヘッドの位置とボールの位置とを特定する。

ステップＳ１３において、インパクト検出部１６８は、フレーム画像のデータの中からゴルフクラブヘッドとボールとのインパクト（衝突）を検出する。そして、インパクト検出部１６８は、ゴルフクラブヘッドとボールとのインパクトが検出されたか否かを判定する。ここで、ゴルフクラブヘッドとボールとのインパクトは、フレーム画像においてゴルフクラブヘッドとボールとの少なくとも一部が接触した後、ボールが移動を開始した場合に検出される。
ゴルフクラブヘッドとボールとのインパクトが検出された場合には、ステップＳ１３においてＹＥＳであると判定されて、処理はステップＳ１４に進む。

ステップＳ１４において、インパクト検出部１６８は、読出制御部１５８に信号Ｓｉを出力する。
なお、ステップＳ１３において、ゴルフクラブヘッドとボールとのインパクトが検出されなかった場合には、ステップＳ１３においてＮＯであると判定され、処理はステップＳ１２に戻される。

図１６は、図１３に示した行走査部１５７が実行する走査方向切替処理を説明するためのフローチャートである。
走査方向切替処理は、読出制御部１５８から行走査部１５７に契機信号が出力されたことによって開始する。
ステップＳ２１において、行走査部１５７は、読出制御部１５８から契機信号が入力されたか否か判定する。契機信号が入力されると判定された場合、ステップＳ２１においてはＹＥＳと判定されて、処理はステップＳ２２に進む。
なお、ステップＳ２１において、契機信号が入力されないと判定された場合、ステップＳ２１においてはＮＯと判定されて、処理は終了する。

ステップＳ２２において、行走査部１５７は、契機信号の入力によって上方向走査部１５９及び下方向走査部１６０の一方を、他方に切り替える。なお、本実施形態では、ゴルフクラブヘッドを測定対象物とし、後にボールを測定対象物としていることから、下方向走査部１６０による走査を、上方向走査部１５９による走査に切り替えるものとする。

以上説明した本実施形態によれば、測定被写体となるボールの移動方向に画素アレイ部１５１の走査方向と反対方向の成分が含まれないようにすることができる。
図１７は、ゴルフクラブヘッドがボールｂｒに衝突した後、行走査部１５７が下方向走査部１６０による走査を、上方向走査部１５９による走査に切り替えた状態を示す図である。このような動作によれば、矢線Ｆで示すボールｂｒの移動方向の成分に矢線Ｅで示すＣＭＯＳセンサの移動方向と反対の成分が含まれることがなくなる。
このため、本実施形態によれば、ローリングシャッタ歪みが緩和され、図４に示したような画像情報の欠落を抑えることができる。

また、本実施形態は、ボールｂｒの移動方向を検出するために数フレーム分のフレーム画像が取得されるまでの時間を要するが、以降ボールｂｒの移動方向における上下方向の成分と反対方向に画素アレイ部１５１が走査されることはなく、撮像画像における被写体の一部の欠損を抑えることができる。

図１８は、本実施形態の撮像制御装置を備えた撮像装置１００によって撮像されたフレーム画像を示した図である。また、図１９は、図１８に示したフレーム画像を補正処理部で補正した結果得られるフレーム画像を示した図である。図１８に示したフレーム画像は、ボールｂｒの移動方向にボールｂｒの形状が変形するローリングシャッタ歪みを生じているものの、撮像画像における被写体の一部が欠損する現象が抑制されている。

即ち、図１８に示したフレーム画像を補正処理部１７０で補正した結果、図１９に示すフレーム画像が得られる。図１９に示したフレーム画像から、フレーム画像の情報量が図１８に示したフレーム画像よりも増えていることが分かる。

以上説明したように、上述の実施形態をとることが可能な撮像制御部１３０は、図１１、図１３等に示すように、読出部１５２と、インパクト検出部１６８と、読出制御部１５８と、を備えている。読出部１５２は、セルによって構成されるライン毎に順次信号を読み出す。インパクト検出部１６８は、所定の状態を検出する。読出制御部１５８は、インパクト検出部１６８による検出結果に基づいて、読出部１５２により信号を読み出すラインの順番を制御することができる。
これにより、インパクトが検出されたことに基づいて信号を読み出すラインの順番を制御することができる。このため、測定対象物の移動の方向に含まれる成分と反対の方向に画素アレイ部を走査することをなくし、ローリングシャッタ歪みによる画像情報の欠損を抑制することができる。

また、読出部１５２は、第１方向に並べられた複数のセルによって構成されるラインが第１方向と異なる第２方向に複数配置された画素アレイ部１５１から信号を読み出すことができる。
これにより、１つの画素アレイ部１５１を異なる方向に走査することができる。このため、測定対象物の移動の方向に含まれる成分と反対の方向に画素アレイ部を走査することをなくし、ローリングシャッタ歪みによる画像情報の欠損を防ぐことができる。

また、図１１等に示すように、撮像制御部１３０は、セルのラインを選択する行走査部１５７（ライン選択部）を更に備えている。読出部１５２は、セルによって構成される複数のラインのうち、行走査部１５７により先に選択されたラインを基準にして第２方向に配置されているラインを選択し、当該選択されたラインから信号を読み出す第１読出パターンと、複数のラインのうち、先に選択されたラインを基準にして第２方向と反対の方向に配置されているラインを選択し、当該選択されたラインから信号を読み出す第２読出パターンと、によって画素アレイ部から信号を読み出す。
これにより、画素アレイ部１５１の走査方向を切り替えることができる。

また、図１１、図１３等に示すように、読出部１５２は、インパクト検出部１６８により所定の状態が検出されると、行走査部１５７がラインを選択するパターンを、第１読出パターンと第２読出パターンとのうちの一方から他方へ切り替える契機を示す契機信号をライン選択手段に出力する読出制御部１５８を備える。
これにより、画素アレイ部１５１の走査方向を何らかの契機に基づいて切り替えることができる。

また、図１０、図１５、図１６に示すように、インパクト検出部１６８は画素アレイ部１５１によって撮像される画像中の少なくとも１つの被写体の移動を前記所定の状態として検出する。読出制御部１５８は、インパクト検出部１６８により所定の状態が検出されると、行走査部１５７に契機信号を出力する。
これにより、被写体の移動方向が変わったときに画素アレイ部１５１の走査方向を切り替えることができる。このため、被写体の移動方向が変化しても、測定対象物の移動の方向に含まれる成分と反対の方向に画素アレイ部を走査することをなくし、ローリングシャッタ歪みによる画像情報の欠損を防ぐことができる。

また、図１３、図１５、図１６に示すように、インパクト検出部１６８は、画素アレイ部１５１によって撮像される画像中の少なくとも１つの被写体の移動方向が変わったことを所定の状態として検出する。読出制御部１５８は、インパクト検出部１６８により所定の状態が検出されると、行走査部１５７に契機信号を出力する。
これにより、被写体の移動方向の変化を検出し、被写体の移動方向の変化を契機として画素アレイ部１５１の走査方向を切り替えることができる。

また、図１３、図１５、図１６に示すように、インパクト検出部１６８は、画素アレイ部１５１によって撮像される画像において、画像中の被写体の少なくとも１つが画像中の他の被写体の少なくとも１つと接触し、被写体の少なくとも１つが移動を開始したことを所定の状態として検出する。読出制御部１５８は、インパクト検出部１６８により所定の状態が検出されると、行走査部１５７に契機信号を出力する。
これにより、被写体同士の接触による被写体の移動方向の変化を検出し、被写体の移動方向の変化を契機として画素アレイ部１５１の走査方向を切り替えることができる。

また、インパクト検出部１６８は、画素アレイ部１５１によって撮像される被写体の少なくとも１つが他の被写体の少なくとも１つに衝突したことによって生じる音を所定の状態として検出する。読出制御部１５８は、インパクト検出部１６８により所定の状態が検出されると、行走査部１５７に契機信号を出力する。
これにより、被写体が衝突して発生する音によって被写体の移動方向の変化を検出し、被写体の移動方向の変化を契機として画素アレイ部１５１の走査方向を切り替えることができる。

また、インパクト検出部１６８は、実世界において予め定められている領域の光の照射状態を所定の状態として検出する。読出制御部１５８は、インパクト検出部１６８により所定の状態が検出されると、行走査部１５７に契機信号を出力する。
これにより、例えばボールを実世界において予め定められている領域において撮像装置で撮像し、ゴルフクラブヘッドがボールに衝突してボールが移動したことを検出することができる。そして、ボールの移動を契機として画素アレイ部１５１の走査方向を切り替えることができる。

また、読出部１５２は、画素アレイ部１５１を構成するライン行の少なくとも一部から第１読出パターンによって信号を読み出し、画素アレイ部１５１を構成するライン行の前記一部と異なる他の一部から第２読出パターンによって信号を読み出す。
これによれば、画素アレイ部１５１を異なる方向から同時に走査することができる。

更に、撮像制御部１３０は、図１３に示したように、信号処理部１１８を更に備えている。信号処理部１１８は、読出部１５２によって第１読出パターンで読み出された信号に基づいて第１画像を生成し、読出部１５２によって第２読出パターンで読み出された信号に基づいて第２画像を生成する。
これにより、被写体の移動方向が変わっても、画像情報の欠落がない被写体の画像を得ることができる。

また、上述の実施形態をとることが可能な撮像制御部１３０は、図１１、図１３等に示すように、読出部１５２を備えている。読出部１５２は、セルを構成する複数のラインのうち、所定のライン毎に所定の順番で順次信号を読み出す第１の読出手段及び撮像素子を構成する複数のラインのうち、所定のライン毎とは異なるライン毎に所定の順番とは異なる順番で順次信号を読み出す第２の読出手段として機能することができる。
これにより、信号を読み出すラインの順番を制御することができる。このため、測定対象物の移動の方向に合わせてラインから信号を読み出す順番を制御し、ローリングシャッタ歪みによる画像情報の欠損を防ぐことができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、契機信号の入力を契機として、行走査部１５７が上方向走査部１５９と下方向走査部１６０とを切り替えることにより、フレーム単位で走査方向を切り替えている。しかし、１フレーム内において、上から下へのライン行の走査と、下から上へのライン行の走査とを合わせて行うようにしてもよい。例えば、奇数行のライン行を上から下に一行おきに走査する処理と、偶数行のライン行を下から上に一行おきに走査する処理とを交互に実行してもよい。

このように構成した場合、信号処理部１１８は、上から下への走査によって読み出された画像信号のみで画像を生成し、また、下から上への走査によって読み出された画像信号のみで画像を生成するようにする。
例えば、ゴルフクラブによってボールをインパクトする場面を撮像する場合、下から上への走査によって読み出された画像信号のみで生成されたフレーム画像は、ローリングシャッタ歪みによる欠損が抑制されたボールの画像を含んでいる。また、上から下への走査によって読み出された画像信号のみで生成されたフレーム画像は、ローリングシャッタ歪みによる欠損が抑制されたゴルフクラブヘッドの画像を含んでいる。
このため、このような構成によれば、画素アレイ部１５１を走査する走査方向を切り替えることなく、ローリングシャッタ歪みによる欠損が抑制されたゴルフクラブヘッドのフレーム画像と、ローリングシャッタ歪みによる欠損が抑制されたボールのフレーム画像とを得ることができる。
また、上記の工夫は、奇数行の各ラインと偶数行の各ラインからそれぞれ異なる方向に走査させることに限られない。
つまり、例えば、３つのライン中の２つのラインだけ上から下へラインを走査させ、当該３つのライン中の１つのライン中だけ下から上に走査させるようにしてもよい。

また、本実施形態は、撮像素子の上下方向のどちらかからラインを走査させるかを所定の契機信号によるものとしたが、これに限られない。
例えば、複数の撮像モード（ゴルフモード、テニスモード等）から１つの撮像モードを選択することにより、当該撮像モードに対応するようにラインが走査するよう制御の仕方を変えてもよい。

また、本実施形態は、ＣＭＯＳセンサに行走査部１５７と列走査部１５５とを１つずつ設けている。しかし、本実施形態は、このような構成に限定されるものでなく、行走査部１５７と並列に列走査部を更に設置し、列走査部１５５と並列に行走査部を更に設置して、使用する行走査部及び列走査部を切り替えることで、ＣＭＯＳセンサ１１５の行と列とを入れ替え可能としてもよい。即ち、画素アレイ部１５１のライン列とライン行とにおいて、本実施形態のようにライン行を行走査部が走査する構成から、ライン列を行走査部が走査する構成に切り替え可能な構成とすることができる。
このような構成によれば、契機信号の入力によって画素アレイ部１５１のライン列とライン行とを入れ替え、画素アレイ部１５１の走査方向を測定対象物の移動方向に合わせることができる。このような構成とすることで、種々の方向に移動方向が変化する測定対象物（例えばビリヤードの球等）の測定をより適切に行うことができる。

また、上述の実施形態では、インパクト検出部１６８が、ゴルフクラブヘッドの形状に合わせた分離度フィルタと、ボールの形状に合わせた分離度フィルタとを使ってゴルフクラブヘッド及びボールの位置を検出し、ゴルフクラブヘッドとボールとのインパクト（測定対象物の移動方向の変化）を検出するものとした。しかし、本実施形態は、このような構成に限定されるものではなく、インパクトを検出できるものであれば、他の方法を用いてもよい。

インパクトを検出する他の方法としては、例えば、ボールの形状が初期状態（円形）から歪んだことを検出することが可能である。
また、上述の実施形態のように、ゴルフクラブヘッドとの衝突のみによって移動方向が変化するボールを測定対象物とする場合、インパクトを検出するために、ゴルフクラブヘッドとボールとが衝突したときに発生する音を図示しないマイクロフォン等によって検出するようにしてもよい。

また、インパクトを検出するために、ボールにレーザを照射し、打席に設置されたボールを挟んでレーザ光源と反対側に光センサを備えておき、光センサの受光状態の変化によって、ボールの存在の有無を検出してもよい。この場合、ゴルフクラブヘッドによってボールが打球されると、光センサがレーザ光を受光しない状態から受光する状態に変化するため、これにより、インパクトを検出することができる。なお、本実施形態におけるインパクト検出部１６８が実行するインパクトの検出と、上述の他の方法とを適宜組み合わせて、ゴルフクラブヘッドとボールとのインパクトを検出してもよい。

また、上述の実施形態では、撮像制御装置を図１０に示したＣＭＯＳセンサ１１５、前処理部１１６、信号処理部１１８によって構成したが、本実施形態はこのような構成に限定されるものではない。
例えば、図１１に示したＣＭＯＳセンサ１１５の周辺回路にマイクロコンピュータを設け、このマイクロコンピュータで行走査部１５７の上方向走査部１５９と下方向走査部１６０とを切り替えるようにしてもよい。

また、上述の実施形態では、本発明が適用される撮像装置１００は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、走査方向切替処理及びインパクト検出処理を含む撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図１３に示した機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１００に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ），ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１０のＲＯＭ１２２や、図示しない記憶部に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像素子を構成するライン毎に順次信号を読み出す読出手段と、
所定の状態を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記読出手段により信号を読み出すラインの順番を制御する読出制御手段と、
を備える撮像制御装置。
［付記２］
前記読出手段は、
第１方向に並べられた複数のセルによって構成されるラインが、前記第１方向と異なる第２方向に複数配置された画素アレイ部から信号を読み出す付記１に記載の撮像制御装置。
［付記３］
前記撮像素子のラインを選択するライン選択手段を更に備え、
前記読出手段は、
前記撮像素子を構成する複数のラインのうち、前記ライン選択手段により先に選択されたラインを基準にして前記第２方向に配置されている前記ラインを選択し、当該選択されたラインから信号を読み出す第１読出パターンと、複数の前記ラインのうち、先に選択された前記ラインを基準にして前記第２方向と反対の方向に配置されている前記ラインを選択し、当該選択されたラインから信号を読み出す第２読出パターンと、によって前記画素アレイ部から信号を読み出す付記２に記載の撮像制御装置。
［付記４］
前記読出手段は、
前記検出手段により所定の状態が検出されると、前記ライン選択手段が前記ラインを選択するパターンを、前記第１読出パターンと前記第２読出パターンとのうちの一方から他方へ切り替える契機を示す契機信号を前記ライン選択手段に出力する読出制御手段と、
を備える付記３に記載の撮像制御装置。
［付記５］
前記検出手段は、前記画素アレイ部によって撮像される画像中の少なくとも１つの被写体の移動を前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する付記４に記載の撮像制御装置。
［付記６］
前記検出手段は、前記画素アレイ部によって撮像される画像中の少なくとも１つの被写体の移動方向が変わったことを前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する付記４に記載の撮像制御装置。
［付記７］
前記検出手段は、前記画素アレイ部によって撮像される画像において、前記画像中の被写体の少なくとも１つが前記画像中の他の被写体の少なくとも１つと接触し、被写体の少なくとも１つが移動を開始したことを前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する付記４に記載の撮像制御装置。
［付記８］
前記検出手段は、画素アレイ部によって撮像される被写体の少なくとも１つが他の被写体の少なくとも１つに衝突したことによって生じる音を前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する付記４に記載の撮像制御装置。
［付記９］
前記検出手段は、
実世界において予め定められている領域の光の照射状態を前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する付記４に記載の撮像制御装置。
［付記１０］
前記読出手段は、
前記画素アレイ部を構成する前記ラインの少なくとも一部から前記第１読出パターンによって信号を読み出し、前記画素アレイ部を構成する前記ラインの前記一部と異なる他の一部から前記第２読出パターンによって信号を読み出す、付記３乃至９のいずれか１つに記載の撮像制御装置。
［付記１１］
前記読出手段によって前記第１読出パターンで読み出された信号に基づいて第１画像を生成し、前記読出手段によって前記第２読出パターンで読み出された信号に基づいて第２画像を生成する信号処理手段を更に備える、付記３乃至１０のいずれか１つに記載の撮像制御装置。
［付記１２］
撮像素子を構成する複数のラインのうち、所定のライン毎に所定の順番で順次信号を読み出す第１の読出手段と、
前記撮像素子を構成する複数のラインのうち、前記所定のライン毎とは異なるライン毎に前記所定の順番とは異なる順番で順次信号を読み出す第２の読出手段と、
を備える撮像制御装置。
［付記１３］
撮像制御装置が実行する撮像制御方法において、
所定の状態を検出する検出ステップと、
前記検出ステップにおける検出結果に基づいて、撮像素子からの信号を読み出すラインの順番を制御する読出制御ステップと、
を含むことを特徴とする撮像制御方法。
［付記１４］
コンピュータを、
所定の状態を検出する検出手段と、
前記検出手段による検出結果に基づいて、撮像素子からの信号を読み出すラインの順番を制御する読出制御手段、
として機能させることを特徴とするプログラム。

１００・・・撮像装置，１１１・・・光学レンズ装置，１１２・・・ＡＦ機構，１１３・・・シャッタ装置，１１４・・・アクチュエータ，１１５・・・ＣＭＯＳセンサ，１１６・・・前処理部，１１７・・・ＴＧ，１１８・・・信号処理部，１１９・・・ＤＲＡＭ，１２０・・・ＣＰＵ，１２１・・・ＲＡＭ，１２２・・・ＲＯＭ，１２３・・・表示制御部，１２４・・・表示部，１２５・・・操作部，１２６・・・メモリカード，１３０・・・撮像制御部（撮像制御装置），１５０・・・半導体基板，１５１・・・画素アレイ部，１５２・・・読出し部，１５３・・・定電流源部，１５４・・・列信号処理部，１５５・・・列走査部，１５６・・・出力処理部，１５７・・・行走査部，１５８・・・読出し制御部，１５９・・・上方向走査部，１６０・・・下方向走査部，１６１，１６２・・・駆動線群，１６８・・・インパクト検出部，１６９・・・画像生成部，１７０・・・補正処理部

Claims

撮像素子を構成するライン毎に順次信号を読み出す読出手段と、
所定の状態を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記読出手段により信号を読み出すラインの順番を制御する読出制御手段と、
を備える撮像制御装置。
前記読出手段は、
第１方向に並べられた複数のセルによって構成されるラインが、前記第１方向と異なる第２方向に複数配置された画素アレイ部から信号を読み出す請求項１に記載の撮像制御装置。
前記撮像素子のラインを選択するライン選択手段を更に備え、
前記読出手段は、
前記撮像素子を構成する複数のラインのうち、前記ライン選択手段により先に選択されたラインを基準にして前記第２方向に配置されている前記ラインを選択し、当該選択されたラインから信号を読み出す第１読出パターンと、複数の前記ラインのうち、先に選択された前記ラインを基準にして前記第２方向と反対の方向に配置されている前記ラインを選択し、当該選択されたラインから信号を読み出す第２読出パターンと、によって前記画素アレイ部から信号を読み出す請求項２に記載の撮像制御装置。
前記読出手段は、
前記検出手段により所定の状態が検出されると、前記ライン選択手段が前記ラインを選択するパターンを、前記第１読出パターンと前記第２読出パターンとのうちの一方から他方へ切り替える契機を示す契機信号を前記ライン選択手段に出力する読出制御手段と、
を備える請求項３に記載の撮像制御装置。
前記検出手段は、前記画素アレイ部によって撮像される画像中の少なくとも１つの被写体の移動を前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する請求項４に記載の撮像制御装置。
前記検出手段は、前記画素アレイ部によって撮像される画像中の少なくとも１つの被写体の移動方向が変わったことを前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する請求項４に記載の撮像制御装置。
前記検出手段は、前記画素アレイ部によって撮像される画像において、前記画像中の被写体の少なくとも１つが前記画像中の他の被写体の少なくとも１つと接触し、被写体の少なくとも１つが移動を開始したことを前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する請求項４に記載の撮像制御装置。
前記検出手段は、画素アレイ部によって撮像される被写体の少なくとも１つが他の被写体の少なくとも１つに衝突したことによって生じる音を前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する請求項４に記載の撮像制御装置。
前記検出手段は、
実世界において予め定められている領域の光の照射状態を前記所定の状態として検出し、
前記読出制御手段は
前記検出手段により前記所定の状態が検出されると、前記ライン選択手段に前記契機信号を出力する請求項４に記載の撮像制御装置。
前記読出手段は、
前記画素アレイ部を構成する前記ラインの少なくとも一部から前記第１読出パターンによって信号を読み出し、前記画素アレイ部を構成する前記ラインの前記一部と異なる他の一部から前記第２読出パターンによって信号を読み出す、請求項３乃至９のいずれか１項に記載の撮像制御装置。
前記読出手段によって前記第１読出パターンで読み出された信号に基づいて第１画像を生成し、前記読出手段によって前記第２読出パターンで読み出された信号に基づいて第２画像を生成する信号処理手段を更に備える、請求項３乃至１０のいずれか１項に記載の撮像制御装置。
撮像素子を構成する複数のラインのうち、所定のライン毎に所定の順番で順次信号を読み出す第１の読出手段と、
前記撮像素子を構成する複数のラインのうち、前記所定のライン毎とは異なるライン毎に前記所定の順番とは異なる順番で順次信号を読み出す第２の読出手段と、
を備える撮像制御装置。
撮像制御装置が実行する撮像制御方法において、
所定の状態を検出する検出ステップと、
前記検出ステップにおける検出結果に基づいて、撮像素子からの信号を読み出すラインの順番を制御する読出制御ステップと、
を含むことを特徴とする撮像制御方法。
コンピュータを、
所定の状態を検出する検出手段と、
前記検出手段による検出結果に基づいて、撮像素子からの信号を読み出すラインの順番を制御する読出制御手段、
として機能させることを特徴とするプログラム。