JP2014072779A - 撮像信号処理装置及び撮像信号処理方法 - Google Patents

Abstract

【課題】ローリングシャッター現象が生じた画像を確実に補正すること。
【解決手段】撮像信号処理装置１０において、画素アレイ部１１１は、各ラインが複数の第１画素と、それら複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成され、走査部１１２は、１フレーム内において、画素アレイ部１１１から第１画素の撮像信号を各ラインに沿って複数のラインにおいて最初のラインから最後のラインに向かう方向または最後のラインから最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、画素アレイ部１１１から第２画素の撮像信号を各ラインに沿って他方の方向に読み出す第２の走査とを交互に行う。
【選択図】図１

Description

本発明は、撮像信号処理装置及び撮像信号処理方法に関する。

近年、ＣＣＤイメージセンサ（Charge Coupled Device Image sensor）と比較して、製造工程が簡単で大量生産が可能なため安価であり、また、素子が小さいため消費電力が少ない等の特徴を持つＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）が注目されている。

ＣＭＯＳイメージセンサでは、一般的に、走査ラインごとに順次シャッターを切るローリングシャッター方式により撮像信号の読み出しが行われる。ローリングシャッター方式を用いて１フレーム内の全画素の撮像信号を読み出す場合、画素アレイの最上段のラインから画素アレイの最下段のラインに向かって１ラインごとに順に信号を読み出す。このため、読み出し開始時点と読み出し終了時点との間に時間差が生じ、画面の上部と下部とで露光タイミングが異なってしまう。この結果、ＣＭＯＳイメージセンサを搭載したカメラを用いて動いている被写体を撮影すると、撮影した画像において被写体が斜めに歪んでしまうローリングシャッター現象が発生する。ローリングシャッター現象は、フォーカルプレーン現象と呼ばれることもある。

ここで、連続して取得した２枚の画像を合成することにより、ローリングシャッター現象が生じた画像を補正する従来技術がある。この従来技術では、１枚目の画像と２枚目の画像との間で走査方向を互いに異ならせることにより歪みが生じる方向を互いに異ならせる。そして、歪みの方向が互いに異なる１枚目の画像と２枚目の画像とを合成することにより、撮影した画像において動いている被写体の歪みを補正する。

特開２０１１−００４０６８号公報 特開２０１０−１５４３９０号公報 特開２００６−１４８８６１号公報 特開２００６−０３３３８１号公報

上記従来技術では、歪みを補正するために、連続して取得した２枚の画像を使用する。しかし、使用する２枚の画像間には撮影タイミングの時間差がある。このため、２枚の画像間に歪みを補正しきれないほどの差が生じる可能性がある。よって、上記従来技術では、ローリングシャッター現象が生じた画像を補正することができない可能性がある。

開示の技術は、上記に鑑みてなされたものであって、ローリングシャッター現象が生じた画像を確実に補正することを目的とする。

開示の態様の撮像信号処理装置は、各ラインが複数の第１画素と、前記複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される画素アレイ部と、１フレーム内において、前記画素アレイ部から前記第１画素の撮像信号を前記各ラインに沿って前記複数のラインにおいて最初のラインから最後のラインに向かう方向または前記最後のラインから前記最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、前記画素アレイ部から前記第２画素の撮像信号を前記各ラインに沿って他方の方向に読み出す第２の走査とを交互に行う走査部と、読み出された前記第１画素の撮像信号と、読み出された前記第２画素の撮像信号とを合成する合成部と、を具備する。

開示の態様によれば、ローリングシャッター現象が生じた画像を確実に補正することができる。

図１は、実施例１の撮像信号処理装置の一例を示すブロック図である。 図２は、実施例１の走査部の処理の説明に供する図（奇数番目の画素）である。 図３は、実施例１の走査部の処理の説明に供する図（偶数番目の画素）である。 図４は、実施例１の走査部の処理のイメージ図である。 図５は、実施例１の撮像信号処理装置の動作の説明に供するフローチャートである。 図６は、実施例１の合成部の処理のイメージ図である。 図７は、実施例１の合成部の処理の説明に供するフローチャートである。 図８は、実施例１の合成部の処理の説明に供する図である。 図９は、実施例２の走査部の処理の説明に供する図（偶数番目の画素）である。 図１０は、実施例２の走査部の処理のイメージ図である。 図１１は、実施例２の撮像信号処理装置の動作の説明に供するフローチャートである。 図１２は、実施例２の合成部の処理のイメージ図である。 図１３は、実施例２の合成部の処理の説明に供する図である。

以下に、本願の開示する撮像信号処理装置及び撮像信号処理方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する撮像信号処理装置及び撮像信号処理方法が限定されるものではない。また、各実施例において同一の機能を有する構成には同一の符号を付し、重複する説明は省略される。また、各実施例において同一の処理には同一の符号を付し、重複する説明は省略される。

［実施例１］
＜撮像信号処理装置の構成＞
図１は、実施例１の撮像信号処理装置の一例を示すブロック図である。図１において、撮像信号処理装置１０は、撮像センサ１１と、制御部１２と、第１メモリ１３と、第２メモリ１４と、合成部１５と、第３メモリ１６とを有する。また、撮像センサ１１は、画素アレイ部１１１と、走査部１１２と、転送部１１３とを有する。また、画素アレイ部１１１は、２次元状（マトリクス状）に配置された複数の画素により構成される。図１では、一例として、画素アレイ部１１１が、２０画素×１５ラインの３００画素で構成される場合を示す。

走査部１１２は、制御部１２の制御に従って画素アレイ部１１１を走査し、画素アレイ部１１１の各画素の撮像信号を１ラインずつ並列に転送部１１３に読み出す。

転送部１１３は、画素アレイ部１１１から並列に読み出された撮像信号を直列に変換し、直列の撮像信号を第１メモリ１３または第２メモリ１４に転送する。また、転送部１１３は、１ライン毎の転送が完了する度に、転送が完了したことを示す信号（以下では「転送完了信号」と呼ばれることがある）を制御部１２に出力する。

第１メモリ１３及び第２メモリ１４はそれぞれ、転送部１１３から転送された撮像信号を記憶する。

制御部１２は、転送部１１３から転送完了信号が入力される度に、走査ラインを変更することを指示する信号（以下では「走査ライン制御信号」と呼ばれることがある）を走査部１１２に出力する。走査部１１２は、制御部１２から走査ライン制御信号が入力される度に、走査ラインを変更して画素アレイ部１１１から撮像信号を読み出す。

また、制御部１２は、画素アレイ部１１１の全ライン分の転送完了信号が転送部１１３から入力されたとき、すなわち、画素アレイ部１１１の全ラインの画素の撮像信号が第１メモリ１３及び第２メモリ１４に転送されたときに、合成画像の生成を指示する信号（以下では「合成指示信号」と呼ばれることがある）を合成部１５に出力する。

合成部１５は、制御部１２から入力される合成指示信号に従って第１メモリ１３及び第２メモリ１４から撮像信号を取得し、第１メモリ１３から取得した撮像信号と第２メモリ１４から取得した撮像信号とを合成して合成画像を生成する。合成部１５は、生成した合成画像を第３メモリ１６に出力する。

第３メモリ１６は、合成部１５から入力された合成画像を記憶する。

ここで、撮像センサ１１は、例えばＣＭＯＳイメージセンサにより実現される。また、制御部１２及び合成部１５は、例えばＩＳＰ（Imaging Signal Processor）により実現される。また、第１メモリ１３、第２メモリ１４、及び、第３メモリ１６は、例えば、ＳＤＲＡＭ等のＲＡＭ、ＲＯＭ、フラッシュメモリにより構成される。なお、図１では、第１メモリ１３と、第２メモリ１４と、第３メモリ１６とを物理的に異なる複数のメモリとして示した。しかし、第１メモリ１３と、第２メモリ１４と、第３メモリ１６とは１つのメモリにより実現されてもよい。１つのメモリにより複数のメモリを実現する場合、１つのメモリの領域を複数の領域に分割して用いればよい。

＜走査部の処理＞
図２は、実施例１の走査部の処理の説明に供する図（奇数番目の画素）である。図３は、実施例１の走査部の処理の説明に供する図（偶数番目の画素）である。図２及び図３では、一例として、画素アレイ部１１１が、２０画素×１５ラインの３００画素で構成される場合を示す。

図２及び図３に示すように、画素アレイ部１１１は、各ラインが奇数番目の１０個の画素と偶数番目の１０個の画素とを有するライン１〜１５の複数のラインで構成される。

まず、走査部１１２は、図２に示すように、画素アレイ部１１１のライン１に沿って１番目の画素から順に、すなわち、ライン１の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１の奇数番目の画素の撮像信号を第１メモリ１３に転送する。

次いで、走査部１１２は、図３に示すように、画素アレイ部１１１のライン１５に沿って２番目の画素から順に、すなわち、ライン１５の前方から後方に向かって、２番目の画素，４番目の画素，６番目の画素，８番目の画素，１０番目の画素，１２番目の画素，１４番目の画素，１６番目の画素，１８番目の画素，２０番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１５の偶数番目の画素の撮像信号を第２メモリ１４に転送する。

次いで、走査部１１２は、図２に示すように、画素アレイ部１１１のライン２に沿って１番目の画素から順に、すなわち、ライン２の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン２の奇数番目の画素の撮像信号を第１メモリ１３に転送する。

次いで、走査部１１２は、図３に示すように、画素アレイ部１１１のライン１４に沿って２番目の画素から順に、すなわち、ライン１４の前方から後方に向かって、２番目の画素，４番目の画素，６番目の画素，８番目の画素，１０番目の画素，１２番目の画素，１４番目の画素，１６番目の画素，１８番目の画素，２０番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１４の偶数番目の画素の撮像信号を第２メモリ１４に転送する。

以降、走査部１１２は、１フレーム内において、奇数番目の画素の撮像信号を各ラインに沿って読み出す走査（以下では「第１の走査」と呼ばれることがある）（図２）と、偶数番目の画素の撮像信号を各ラインに沿って読み出す走査（以下では「第２の走査」と呼ばれることがある）（図３）とを交互に繰り返す。

つまり、走査部１１２は、１フレーム内において、図２に示すようにライン１→ライン１５の順に奇数番目の画素の走査を行う一方で、図３に示すようにライン１５→ライン１の順に偶数番目の画素の走査を行う。また、走査部１１２は、１フレーム内において、奇数番目の画素の走査（図２）と、偶数番目の画素の走査（図３）とを交互に行う。

よって、第１メモリ１３には、奇数番目の画素の撮像信号がライン１→ライン１５の順に記憶される。一方で、第２メモリ１４には、偶数番目の画素の撮像信号がライン１５→ライン１の順に記憶される。

なお、上記説明では、第１の走査をライン１→ライン１５の順に行う一方で、第２の走査をライン１５→ライン１の順に行った。しかし、第１の走査をライン１５→ライン１の順に行う一方で、第２の走査をライン１→ライン１５の順に行ってもよい。また、上記説明では、第１の走査及び第２の走査を水平ライン毎に行った。しかし、第１の走査及び第２の走査を垂直ライン毎に行ってもよい。つまり、実施例１では、１フレーム内において、第１の走査及び第２の走査のうち、一方の走査を最初のラインから最後のラインに向かう方向に行う一方で、他方の走査を最後のラインから最初のラインに向かう方向に行う。

また、上記説明では、奇数番目の画素の撮像信号を各ラインに沿って読み出す走査を第１の走査とし、偶数番目の画素の撮像信号を各ラインに沿って読み出す走査を第２の走査とした。しかし、第１の走査は奇数番目の画素を対象としたものに限られない。同様に、第２の走査は偶数番目の画素を対象としたものに限られない。具体的には、例えば、第１の走査を、１番目の画素，２番目の画素，５番目の画素，６番目の画素，９番目の画素，１０番目の画素，１３番目の画素，１４番目の画素，１７番目の画素，１８番目の画素を対象にして行う一方で、第２の走査を、３番目の画素，４番目の画素，７番目の画素，８番目の画素，１１番目の画素，１２番目の画素，１５番目の画素，１６番目の画素，１９番目の画素，２０番目の画素を対象にして行ってもよい。つまり、第１の走査を１番目の画素から順に２画素おきに行う一方で、第２の走査を３番目の画素から順に２画素おきに行ってもよい。また、第１の走査及び第２の走査を行う画素の間隔は２画素に限定されず、３画素以上であってもよい。さらに、第１の走査の画素の間隔と、第２の走査の画素の間隔とは同一でなくてもよい。つまり、実施例１では、第１の走査の対象となる複数の画素に挟まれた画素が、第２の走査の対象となる画素に含まれていればよい。

但し、上記のように、第１の走査の対象となる画素を奇数番目の画素とし、第２の走査の対象となる画素を偶数番目の画素とすることにより、第１の走査と第２の走査との間において画素の間隔を最小にできるため、歪みの補正を精度良く行うことができる。

図４は、実施例１の走査部の処理のイメージ図である。

例えば撮像範囲３０内を左から右に向かって動いている被写体３０−１が撮影されると、走査部１１２は第１の走査をライン１→ライン１５の順に行うため、第１の走査により取得される画像３１は、歪んだ被写体の画像３１−１を含む画像となる。画像３１−１は、被写体３０−１に比べ、幅の広い画像となる。画像３１は、第１メモリ１３に記憶される。

一方で、走査部１１２は第２の走査をライン１５→ライン１の順に行うため、同一の被写体３０−１の撮影時に、第２の走査により取得される画像３２は、画像３０と上下が１８０°回転した画像となる。また、画像３２は、歪んだ被写体の画像３２−１を含む画像となる。画像３２−１は、被写体３０−１に比べ、幅の広い画像となる。画像３２は、第２メモリ１４に記憶される。

＜撮像信号処理装置の動作＞
図５は、実施例１の撮像信号処理装置の動作の説明に供するフローチャートである。図５では、画素アレイ部１１１が、１〜ｎのｎラインで構成される場合を示す。

まず、走査部１１２は、ｌ_ｏｄｄ＝１，ｌ_ｅｖｅｎ＝ｎにセットする（ステップＳ２１）。

次いで、走査部１１２は、ラインｌ_ｏｄｄの奇数番目の画素の撮像信号を、ラインｌ_ｏｄｄの左から順に、すなわち、ラインｌ_ｏｄｄの前方から後方に向かって、１ライン分転送部１１３に読み出す（ステップＳ２２）。

次いで、転送部１１３は、ラインｌ_ｏｄｄの奇数番目の画素の撮像信号を第１メモリ１３に転送して格納する（ステップＳ２３）。このとき、転送部１１３は、転送完了信号を制御部１２に出力する。

次いで、走査部１１２は、ラインｌ_ｅｖｅｎの偶数番目の画素の撮像信号を、ラインｌ_ｅｖｅｎの左から順に、すなわち、ラインｌ_ｅｖｅｎの前方から後方に向かって、１ライン分転送部１１３に読み出す（ステップＳ２４）。

次いで、転送部１１３は、ラインｌ_ｅｖｅｎの偶数番目の画素の撮像信号を第２メモリ１４に転送して格納する（ステップＳ２５）。このとき、転送部１１３は、転送完了信号を制御部１２に出力する。

次いで、制御部１２は、１フレーム内の全画素の撮像信号が読み出されたか否か判定する（ステップＳ２６）。制御部１２は、転送部１１３からの転送完了信号の入力回数がｎ×２回未満であるときは、全画素の読み出しが完了していないと判定し、走査ライン制御信号を走査部１１２に出力する（ステップＳ２６：Ｎｏ）。一方で、制御部１２は、転送部１１３からの転送完了信号の入力回数がｎ×２回に達したときは、全画素の読み出しが完了したと判定し、合成指示信号を合成部１５に出力する（ステップＳ２６：Ｙｅｓ）。

ステップＳ２６がＮｏのとき、走査部１１２は、制御部１２から入力される走査ライン制御信号に従って、ｌ_ｏｄｄ及びｌ_ｅｖｅｎをｌ_ｏｄｄ＝ｌ_ｏｄｄ＋１，ｌ_ｅｖｅｎ＝ｌ_ｅｖｅｎ−１に更新して（ステップＳ２７）、ステップＳ２２に戻る。

ステップＳ２６がＹｅｓのとき、合成部１５は、制御部１２から入力される合成指示信号に従って、画像の合成処理を行う（ステップＳ２８）。

＜合成部の処理＞
図６は、実施例１の合成部の処理のイメージ図である。

第１メモリ１３には画像３１が記憶されている。画像３１は、画素アレイ部１１１の各ラインの奇数番目の画素の撮像信号により構成される画像である。また、第２メモリ１４には画像３２が記憶されている。画像３２は、画素アレイ部１１１の各ラインの偶数番目の画素の撮像信号により構成される画像である。

合成部１５は、制御部１２から入力される合成指示信号に従って、第１メモリ１３から画像３１を取得し、第２メモリ１４から画像３２を取得する。合成部１５内に取得された画像３１に含まれる歪んだ画像３１−１を画像３１−２として示し、合成部１５内に取得された画像３２に含まれる歪んだ画像３２−１を１８０°回転させたものを画像３２−２として示す。

合成部１５は、画像３１−２と画像３２−２とを合成して合成画像３３−１を生成する。すなわち、合成部１５は、第１の走査により画素アレイ部１１１から読み出された奇数番目の画素の撮像信号と、第２の走査により画素アレイ部１１１から読み出された偶数番目の画素の撮像信号とを合成する。この結果、合成画像３３−１は、歪みが補正された画像となる。合成画像３３−１を含む画像３３は、第３メモリ１６に記憶される。

図７は、実施例１の合成部の処理の説明に供するフローチャートである。図７に示す一連の処理は、図５に示すステップＳ２８の合成処理に対応する。

合成部１５は、ステップＳ４２〜ステップＳ４８の処理を、ライン１の１番目の画素からライン１５の２０番目の画素まで、１画素ずつ順に、１フレーム内のすべての画素を対象として行う。

まず、合成部１５は、第２メモリ１４から取得した画像、すなわち、画像３２を１８０°回転させる（ステップＳ４１）。

次いで、合成部１５は、画像間での差分Ａを算出する（ステップＳ４２）。すなわち、合成部１５は、画像３１と画像３２を１８０°回転させた画像との間で、互いに同一位置にある画素同士を比較し、画素間の輝度の差分及び画素間の色度の差分からなる差分Ａを求める。例えば、合成部１５は、差分Ａを、輝度の差分と色度の差分の平均値として求める。

次いで、合成部１５は、差分Ａが閾値Ｔｈ_Ａ未満か否か判定する（ステップＳ４３）。

合成部１５は、差分Ａが閾値Ｔｈ_Ａ未満のとき（ステップＳ４３：Ｙｅｓ）、その位置の画素を静止部画素と判断し、その画素の位置に、静止部画素であることを示す判定フラグ＝０をセットする（ステップＳ４４）。

一方で、合成部１５は、差分Ａが閾値Ｔｈ_Ａ以上のとき（ステップＳ４３：Ｎｏ）、同一画像内での差分Ｂを算出する（ステップＳ４５）。すなわち、合成部１５は、画像３１内において、ステップＳ４２で比較対象となった画素と、その画素に隣接する上下左右４つの画素とを比較し、画素間の輝度の差分及び画素間の色度の差分からなる差分Ｂを求める。同様に、合成部１５は、画像３２を１８０°回転させた画像内において、ステップＳ４２で比較対象となった画素と、その画素に隣接する上下左右４つの画素とを比較し、画素間の輝度の差分及び画素間の色度の差分からなる差分Ｂを求める。例えば、合成部１５は、差分Ｂを、輝度の差分と色度の差分の平均値として求める。

次いで、合成部１５は、画像３１及び画像３２を１８０°回転させた画像それぞれでの差分Ｂが閾値Ｔｈ_Ｂ未満か否か判定する（ステップＳ４６）。

合成部１５は、差分Ｂが閾値Ｔｈ_Ｂ未満のとき（ステップＳ４６：Ｙｅｓ）、その位置の画素を静止部画素と判断し、その画素の位置に、静止部画素であることを示す判定フラグ＝０をセットする（ステップＳ４４）。

一方で、合成部１５は、差分Ｂが閾値Ｔｈ_Ｂ以上のとき（ステップＳ４６：Ｎｏ）、その位置の画素を動作部画素と判断し、その画素の位置に、動作部画素であることを示す判定フラグ＝１をセットする（ステップＳ４７）。

次いで、合成部１５は、１フレーム内の全画素を比較したか否か判定する（ステップＳ４８）。

１フレーム内の全画素の比較が完了していないときは（ステップＳ４８：Ｎｏ）、合成部１５の処理は、ステップＳ４２に戻る。

ステップＳ４２〜ステップＳ４８の一連の処理が１フレーム内の全画素に対して行われることにより、画像３１内において歪んだ画像３１−２が存在する位置、及び、画像３２を１８０°回転させた画像内において歪んだ画像３２−２が存在する位置にそれぞれ判定フラグ＝１がセットされる。また、判定フラグ＝１がセットされた位置以外の位置には、判定フラグ＝０がセットされる。

１フレーム内の全画素の比較が完了したときは（ステップＳ４８：Ｙｅｓ）、合成部１５は、画像３１内の動作部画素の撮像信号と画像３２を１８０°回転させた画像内の動作部画素の撮像信号とを合成して合成画像を生成する（ステップＳ４９）。

次いで、合成部１５は、合成画像を、画像３１内の背景画像または画像３２内の背景画像に配置する（ステップＳ５０）。背景画像は、静止部画素の撮像信号により構成される画像である。

次いで、合成部１５は、背景画像を補完する（ステップＳ５１）。

図８は、実施例１の合成部の処理の説明に供する図である。なお、図８では、判定フラグのセットに関し、判定フラグ＝１がセットされた画素のみを示し、判定フラグ＝０がセットされた画素の図示は省略する。

また、図８において、画像６１は図６の画像３１に対応し、画像６２は図６の画像３２を１８０°回転させた画像に対応する。また、画像６１において判定フラグ＝１がセットされた画素群６１１の撮像信号により構成される画像は図６の歪んだ画像３１−２に対応し、画像６２において判定フラグ＝１がセットされた画素群６２１の撮像信号により構成される画像は図６の歪んだ画像３２−２に対応する。また、判定フラグ＝０がセットされた画素群６１２，６２２の撮像信号により背景画像が構成される。また、図８における合成画像７００は、図６の合成画像３３−１に対応する。

合成部１５は、画素群６１１の画素と画素群６２１の画素との間において、同一色を選択して撮像信号を合成する。この結果、合成画像７００は、色調が保たれたまま歪みが補正された画像となる。これにより、合成画像７００を含む画像６３−１が生成される。

次いで、合成部１５は、画素群６１１の撮像信号により構成される画像を画像６１から削除した背景のみの画像、または、画素群６２１の撮像信号により構成される画像を画像６２から削除した背景のみの画像に、合成画像７００を配置する。このとき、合成部１５は、合成画像７００を、画素群６１１と画素群６２１との中心位置に配置する。これにより、合成画像７００、及び、合成画像７００の左右いずれか一方の背景画像を含む画像６３−２が生成される。

次いで、合成部１５は、画像６１の背景のみの画像に合成画像７００を配置したときは、画素群６２２の一部から構成される画像を背景画像６２３として画像６３−２に補完する。または、合成部１５は、画像６２の背景のみの画像に合成画像７００を配置したときは、画素群６１２の一部から構成される画像を背景画像６１３として画像６３−２に補完する。

以上のように実施例１によれば、撮像信号処理装置１０において、画素アレイ部１１１は、各ラインが複数の第１画素と、それら複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される。また、走査部１１２は、１フレーム内において、画素アレイ部１１１から第１画素の撮像信号を各ラインに沿って複数のラインにおいて最初のラインから最後のラインに向かう方向または最後のラインから最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、画素アレイ部１１１から第２画素の撮像信号を各ラインに沿って他方の方向に読み出す第２の走査を行う。さらに、走査部１１２は、第１の走査と第２の走査とを交互に行う。また、合成部１５は、読み出された第１画素の撮像信号と、読み出された第２画素の撮像信号とを合成する。このようにして、実施例１によれば、第１の走査により読み出される撮像信号と、第２の走査により読み出される撮像信号とを、同一フレーム内の撮像信号とすることができる。つまり、実施例１によれば、１枚の画像から、互いに歪みの方向が異なる２枚の画像を取得し、それら２枚の画像を合成して画像の歪みを補正することができる。これにより、実施例１によれば、歪みのある画像を１フレーム内で補正することができる。よって、実施例１によれば、ローリングシャッター現象が生じた画像を確実に補正することができる。

［実施例２］
実施例２は、１フレーム内において、第１の走査及び第２の走査のうち、一方の走査を最初のラインから最後のラインに向かう方向に行う一方で、他方の走査を最後のラインから最初のラインに向かう方向に行う点において実施例１と同一である。但し、実施例２は、第１の走査及び第２の走査のうち、一方の走査を各ラインの前方から後方に向かって行う一方で、他方の走査を各ラインの後方から前方に向かって行う点において実施例１と相違する。

＜走査部の処理＞
図９は、実施例２の走査部の処理の説明に供する図（偶数番目の画素）である。なお、奇数番目の画素に対する走査部の処理は実施例１と同一であるため、図２を援用して説明する。

まず、走査部１１２は、図２に示すように、画素アレイ部１１１のライン１に沿って１番目の画素から順に、すなわち、ライン１の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１の奇数番目の画素の撮像信号を第１メモリ１３に転送する。

次いで、走査部１１２は、図９に示すように、画素アレイ部１１１のライン１５に沿って２０番目の画素から順に、すなわち、ライン１５の後方から前方に向かって、２０番目の画素，１８番目の画素，１６番目の画素，１４番目の画素，１２番目の画素，１０番目の画素，８番目の画素，６番目の画素，４番目の画素，２番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１５の偶数番目の画素の撮像信号を第２メモリ１４に転送する。

次いで、走査部１１２は、図２に示すように、画素アレイ部１１１のライン２に沿って１番目の画素から順に、すなわち、ライン２の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン２の奇数番目の画素の撮像信号を第１メモリ１３に転送する。

次いで、走査部１１２は、図９に示すように、画素アレイ部１１１のライン１４に沿って２０番目の画素から順に、すなわち、ライン１４の後方から前方に向かって、２０番目の画素，１８番目の画素，１６番目の画素，１４番目の画素，１２番目の画素，１０番目の画素，８番目の画素，６番目の画素，４番目の画素，２番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１４の偶数番目の画素の撮像信号を第２メモリ１４に転送する。

以降、走査部１１２は、１フレーム内において、第１の走査（図２）と、第２の走査（図９）とを交互に繰り返す。

また、走査部１１２は、第１の走査を各ラインの前方から後方、すなわち、各ラインの左から右に向かって行う一方で、第２の走査を各ラインの後方から前方、すなわち、各ラインの右から左に向かって行う。

なお、上記説明では、第１の走査を各ラインの前方から後方に向かって行い、第２の走査を各ラインの後方から前方に向かって行った。しかし、第１の走査を各ラインの後方から前方に向かって行い、第２の走査を各ラインの前方から後方に向かって行ってもよい。つまり、実施例２では、第１の走査及び第２の走査のうち、一方の走査を各ラインの前方から後方に向かって行う一方で、他方の走査を各ラインの後方から前方に向かって行う。

図１０は、実施例２の走査部の処理のイメージ図である。

走査部１１２は第２の走査をライン１５→ライン１の順に行う。また、走査部１１２は第２の走査を各ラインの後方から前方に向かって行う。このため、被写体３０−１の撮影時に、第２の走査により取得される画像３４は、画像３０と上下が１８０°回転した画像となる。また、画像３４は、歪んだ被写体の画像３４−１を含む画像となる。また、画像３４−１は、被写体３０−１に比べ、幅の狭い画像となる。画像３４は、第２メモリ１４に記憶される。

＜撮像信号処理装置の動作＞
図１１は、実施例２の撮像信号処理装置の動作の説明に供するフローチャートである。図１１では、ステップＳ８１の処理のみが、実施例１の図５に示すフローチャートと相違する。

ステップＳ８１において、走査部１１２は、ラインｌ_ｅｖｅｎの偶数番目の画素の撮像信号を、ラインｌ_ｅｖｅｎの右から順に、すなわち、ラインｌ_ｅｖｅｎの後方から前方に向かって、１ライン分転送部１１３に読み出す。

＜合成部の処理＞
図１２は、実施例２の合成部の処理のイメージ図である。

第２メモリ１４には画像３４が記憶されている。画像３４は、画素アレイ部１１１の各ラインの偶数番目の画素の撮像信号により構成される画像である。

合成部１５は、制御部１２から入力される合成指示信号に従って、第１メモリ１３から画像３１を取得し、第２メモリ１４から画像３４を取得する。合成部１５内に取得された画像３１に含まれる歪んだ画像３１−１を画像３１−２として示し、合成部１５内に取得された画像３４に含まれる歪んだ画像３４−１を１８０°回転させたものを画像３４−２として示す。

合成部１５は、画像３１−２と画像３４−２とを合成して合成画像３５−１を生成する。すなわち、合成部１５は、第１の走査により画素アレイ部１１１から読み出された奇数番目の画素の撮像信号と、第２の走査により画素アレイ部１１１から読み出された偶数番目の画素の撮像信号とを合成する。この結果、合成画像３５−１は、歪みが補正された画像となる。また、画像３１−２は、被写体３０−１に比べ、幅の広い画像である一方で、画像３４−２は、被写体３０−１に比べ、幅の狭い画像である。よって、画像３１−２と画像３４−２とを合成することにより、幅も補正され、合成画像３５−１の幅は被写体３０−１の幅に等しくなる。合成画像３５−１を含む画像３５は、第３メモリ１６に記憶される。

図１３は、実施例２の合成部の処理の説明に供する図である。なお、図１３では、判定フラグのセットに関し、判定フラグ＝１がセットされた画素のみを示し、判定フラグ＝０がセットされた画素の図示は省略する。

また、図１３において、画像６４は図１２の画像３４を１８０°回転させた画像に対応する。また、画像６４において判定フラグ＝１がセットされた画素群６４１の撮像信号により構成される画像は図１２の歪んだ画像３４−２に対応する。また、判定フラグ＝０がセットされた画素群６４２の撮像信号により背景画像が構成される。また、図１３における合成画像８００は、図１２の合成画像３５−１に対応する。

合成部１５は、画素群６１１の画素と画素群６４１の画素との間において、同一色を選択して撮像信号を合成する。この結果、合成画像８００は、色調が保たれたまま歪みが補正された画像となる。また、合成部１５は、画素群６１１の画素と画素群６４１の画素との間において、１ライン毎に、縮小処理を行う。この縮小処理は、一般的な拡縮方法であるバイリニア法を用いて行われる。例えば、図１３に示すように、画素群６１１の１ラインが４画素で構成され、画素群６４１の１ラインが２画素で構成されるとき、合成部１５は、合成画像８００の１ライン分の画素数を３画素に決定する。これにより、合成画像８００を含む画像６５−１が生成される。

次いで、合成部１５は、画素群６１１の撮像信号により構成される画像を画像６１から削除した背景のみの画像、または、画素群６４１の撮像信号により構成される画像を画像６４から削除した背景のみの画像に、合成画像８００を配置する。このとき、合成部１５は、合成画像８００を、画素群６１１と画素群６４１との中心位置に配置する。これにより、合成画像８００、及び、合成画像８００の左右いずれか一方の背景画像を含む画像６５−２が生成される。

次いで、合成部１５は、画像６１の背景のみの画像に合成画像８００を配置したときは、画素群６４２の一部から構成される画像を背景画像６４３として画像６５−２に補完する。または、合成部１５は、画像６４の背景のみの画像に合成画像８００を配置したときは、画素群６１２の一部から構成される画像を背景画像６１３として画像６５−２に補完する。

以上のように実施例２によれば、撮像信号処理装置１０において、走査部１１２は、実施例１に対し、さらに、第１の走査及び第２の走査のうち、一方の走査を各ラインの前方から後方に向かって行う一方で、他方の走査を各ラインの後方から前方に向かって行う。これにより、合成画像の幅が被写体の幅に等しくなる。つまり、実施例２によれば、実施例１よりも、さらに精度良く画像の歪みを補正することができる。

１０ 撮像信号処理装置
１１ 撮像センサ
１２ 制御部
１３ 第１メモリ
１４ 第２メモリ
１５ 合成部
１６ 第３メモリ
１１１ 画素アレイ部
１１２ 走査部
１１３ 転送部

Claims (4)

1. 各ラインが複数の第１画素と、前記複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される画素アレイ部と、
   １フレーム内において、前記画素アレイ部から前記第１画素の撮像信号を前記各ラインに沿って前記複数のラインにおいて最初のラインから最後のラインに向かう方向または前記最後のラインから前記最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、前記画素アレイ部から前記第２画素の撮像信号を前記各ラインに沿って他方の方向に読み出す第２の走査とを交互に行う走査部と、
   読み出された前記第１画素の撮像信号と、読み出された前記第２画素の撮像信号とを合成する合成部と、
   を具備する撮像信号処理装置。
2. 前記複数の第１画素は各ラインにおける奇数番目の画素であり、前記複数の第２画素は各ラインにおける偶数番目の画素である、
   請求項１に記載の撮像信号処理装置。
3. 前記走査部は、さらに、前記第１の走査及び前記第２の走査のうち、一方の走査を前記各ラインの前方から後方に向かって行う一方で、他方の走査を前記各ラインの前記後方から前記前方に向かって行う、
   請求項１または２に記載の撮像信号処理装置。
4. １フレーム内において、各ラインが複数の第１画素と、前記複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される画素アレイ部から前記第１画素の撮像信号を前記各ラインに沿って前記複数のラインにおいて最初のラインから最後のラインに向かう方向または前記最後のラインから前記最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、前記画素アレイ部から前記第２画素の撮像信号を前記各ラインに沿って他方の方向に読み出す第２の走査とを交互に行い、
   読み出された前記第１画素の撮像信号と、読み出された前記第２画素の撮像信号とを合成する、
   撮像信号処理方法。

Images