JP6545013B2 - 画像形成方法、画像形成装置、および画像形成プログラム - Google Patents

Description

本発明は、画像形成方法、画像形成装置、および画像形成プログラムに関する。

従来より、複数の低解像度の画像に基づき、高解像度の画像を形成する方法が案出されている。例えば、特許文献１には、高解像度空間上において複数の低解像度画像の位置合わせを行い、位置合わせされた複数の低解像同画像の画素の位置を推定する方法が記載されている。この方法は、高解像度空間を複数の領域に分割し、領域の代表位置を、当該領域に存在するすべての画素の推定値とすることにより、処理の高速化を実現しようとしている。

特開２００６−１２７２４１号公報

しかしながら、特許文献１においては、低解像度の画像を元にズレ量を推定するため、精度に限界がある。また、ズレ量を推定するための演算が必要であるため、処理の時間が長くなり、装置の消費電力が増大してしまう。

本発明に係る画像形成方法は、それぞれが高解像度領域および低解像度領域を含む複数の画像を取得するステップと、前記複数の画像のそれぞれの前記高解像度領域の画素値を比較することにより、前記複数の画像の相違を検出するステップと、前記相違に基づき、前記比較された画像に付属する位置情報を調整するステップと、前記調整された位置情報を用いて前記複数の画像のそれぞれの前記低解像度領域の画素値を合成するステップとを有する。

さらに、本発明に係る画像形成装置は、それぞれが高解像度領域および低解像度領域を含む複数の画像を取得するステップと、前記複数の画像のそれぞれの前記高解像度領域の画素値を比較することにより、前記複数の画像の相違を検出する手段と、前記相違に基づき、前記比較された画像に付属する位置情報を調整する手段と、前記調整された位置情報を用いて前記複数の画像の前記低解像度領域の画素値を合成する手段とを有する。

本発明によれば、高解像度領域に基づき位置調整を行うことにより、画像を高精度に合成することができる。また、低解像度領域の画像を合成することにより、感度および飽和特性にすぐれた高精細画像を形成することができる。

第１実施形態に係る画像形成装置のブロック図である。 第１実施形態に係る撮像装置のブロック図である。 第１実施形態に係る画素アレイの回路図である。 第１実施形態に係る画素および列増幅回路の回路図である。 第１実施形態に係る画素形成方法を説明するための図である。 第１実施形態に係る画像形成方法のフローチャートである。 第２実施形態に係る画像形成方法を説明するための図である。 第３実施形態に係る画素アレイの回路図である。 第４実施形態に係る画素アレイの回路図である。

（第１実施形態）
本発明の第１実施形態に係る画像形成装置および画像形成方法を説明する。図１は本実施形態に係る画像形成装置の一例としてのデジタルスチルカメラのブロック図である。デジタルスチルカメラは、固体撮像素子である撮像装置１、被写体の光学像を撮像装置１に結像させるレンズ２ａ、レンズ２ａを通った光量を可変するための絞り２ｂ、メカニカルシャッタ２ｃ、アクチュエータ２ｄを備える。撮像システムはさらに信号処理部３、制御部４、タイミング発生部５、バッファメモリ６、外部Ｉ／Ｆ７、記録媒体Ｉ／Ｆ８、記録媒体９を備える。

撮像装置１はＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサにより構成され、レンズ２ａにより撮像面に結像された光学像を画像信号に変換する。アクチュエータ２ｄは例えば圧電素子を備えて構成され、撮像装置１を撮像面に対して水平方向または垂直方向に移動させることができる。信号処理部３は撮像装置１からの画像信号を処理し、複数の低解像度画像から高精細画像を形成する。すなわち、信号処理部３は本実施形態に係る画像形成プログラムを実行するためのコンピュータとして機能する。また、信号処理部３は、画像信号の各種補正、データ圧縮の処理を行うことも可能である。なお、撮像装置１の半導体基板に、アナログ信号をデジタル信号に変換するＡＤ変換部および信号処理部３の回路を形成しても良い。タイミング発生部５は撮像装置１および信号処理部３に各種タイミング信号を出力する。制御部４はデジタルスチルカメラ全体を制御し、バッファメモリ６は画像データを一時的に記憶するためのフレームメモリとして機能する。外部Ｉ／Ｆ７はコンピュータ等の外部機器と通信するためのインターフェースである。ここで、タイミング信号は画像形成システムの外部から入力されてもよい。記録媒体Ｉ／Ｆ８は記録媒体９とのインターフェースであって、記録媒体９における画像データの記録または読み出しを行う。記録媒体９は着脱可能な半導体メモリから構成され、画像データの記録または読み出しを行う。

図２は本実施形態に係る撮像装置１のブロック図である。撮像装置１は画素アレイ１０、垂直走査回路１２、列増幅回路１３、水平走査回路１４、出力回路１５を備える。画素アレイ１０は、ＸＹの行列状に配置された複数の画素を備え、中央部に配されるとともに画素ピッチ（間隔）の大きい低解像領域１０ａと、周辺部に配されるとともに画素ピッチの小さい高解像度領域１０ｂとを有する。一例として、低解像度領域１０ａを構成する画素（第１画素）１００ａは行列のそれぞれの方向に７．５μｍの間隔で配置され、高解像度領域１０ｂを構成する画素（第２画素）１００ｂは行列のそれぞれの方向に１．５μｍの間隔で配置されている。すなわち、高解像度領域１０ｂの画素ピッチは低解像度領域１０ａの画素ピッチの１／５である。画素ピッチはこの例に限定されることなく、領域１０ａ、１０ｂのそれぞれの画素ピッチの比を任意に定めても良く、また、ＸＹのそれぞれの方向の画素ピッチを変えても良い。なお、高解像度領域１０ｂに比べて、開口部の面積、隣接する開口部間のピッチ、隣接する画素間の配線ピッチを大きくすることにより、低解像度領域１０ａを形成しても良い。画素ピッチが小さいほど、画素に占める配線の面積が大きくなり、感度が低下し、ノイズが増大し易くなる。このため、感度および解像度のバランスを考慮し、画素ピッチを定めることが好ましい。

低解像度領域１０ａは主たる画像を得るために、例えば列方向に１９２０画素、行方向に１０８０画素の合計２０７３６００画素を備え得る。画素数は限定されず、より多い画素数、若しくはより少ない画素数でもよい。低解像度領域１０ａには、有効な画素以外に、オプティカルブラック画素、光電変換部を有さないダミー画素などのように画像を直接出力しない画素が含まれ得る。画素１００ａは１組以上のマイクロレンズおよびフォトダイオード（光電変換素子）を含み得る。また、画素１００ａには、分光感度特性を制御するカラーフィルタが配置されている。なお、感度、およびフォトダイオード内の蓄積電荷量を最大化するためには、画素１００ａの中心１０６近傍に１組のマイクロレンズおよびフォトダイオードを設けることが好ましい。

高解像度領域１０ｂは低解像度領域１０ａの外周に配置されている。すなわち、主たる画像を取得する低解像度領域１０ａが画素アレイ１０の中央に配置され、低解像度領域１０ａの外周に狭ピッチの高解像度領域１０ｂが配置されている。このような構成により、高解像度領域１０ｂの画像のトリミングおよび除去が容易となる。なお、高解像度領域１０ｂは必ずしも低解像度領域１０ａの周囲に配置されていなくても良く、例えば、低解像度領域１０ａの各辺の一部にのみ配置されても良い。

垂直走査回路１２は、画素１００ａ、１００ｂのトランジスタをオン（導通状態）またはオフ（非導通状態）に制御するための制御信号を供給する。画素１００ａ、１００ｂの各列には図示されていない垂直信号線が設けられており、画素１００ａ、１００ｂからの信号を列ごとに読み出す。列増幅回路１３は垂直信号線に出力された画素信号を増幅し、リセット時の信号および光電変換時の信号に基づく相関二重サンプリングを行う。水平走査回路１４は、列増幅回路１３の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力回路１５はバッファアンプ、差動増幅器などから構成され、列増幅回路１３からの画素信号を撮像装置１の外部の信号処理部３に出力する。なお、上述したように、ＡＤ変換部を撮像装置１に設け、デジタルの画像信号を信号処理部３に出力しても良い。

図３は本実施形態に係る画素アレイ１０の回路図である。図３（ｂ）に示された回路図は、図３（ａ）において破線で囲まれた画素アレイ１０の一部に対応し、低解像度領域１０ａの角部に位置する１つの画素１００ａと、当該画素１００ａに近接する高解像度領域１０ｂの複数の画素１００ｂとを示している。

画素１００ａ、１００ｂは同様の回路構成を備え、フォトダイオードＰＤ、電荷電圧変換部ＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を含む。なお、画素１００ａ、１００ｂは、複数のフォトダイオードＰＤが電荷電圧変換部ＦＤ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を共有する構成を備えていても良い。また、トランジスタＭ２〜Ｍ４はＮチャネルＭＯＳに限定されず、ＰチャネルＭＯＳによって構成されても良い。

フォトダイオードＰＤは照射された光を電子（電荷）に光電変換する。転送トランジスタＭ１のゲートには信号線ＴＸが接続され、信号線ＴＸがハイレベルになると、転送トランジスタＭ１はフォトダイオードＰＤに発生した電荷を電荷電圧変換部ＦＤに転送する。電荷電圧変換部ＦＤは、転送トランジスタＭ１を介してフォトダイオードＰＤから転送される電荷を保持する浮遊拡散容量である。リセットトランジスタＭ２のゲートには信号線ＲＥＳが供給され、信号線ＲＥＳがハイレベルになると、リセットトランジスタＭ２は電荷電圧変換部ＦＤの電圧をリセット電圧ＶＤＤにリセットする。転送トランジスタＭ１とリセットトランジスタＭ２を同時にオンにさせることにより、フォトダイオードＰＤの電子がリセットされる。増幅トランジスタＭ３のゲートは、電荷電圧変換部ＦＤに接続される。

増幅トランジスタＭ３のソースは、選択トランジスタＭ４を介して列ごとに共通の垂直信号線１６に電気的に接続され、ソースフォロアを構成する。選択トランジスタＭ４のゲートには信号線ＳＥＬ（未図示）が接続され、信号線ＳＥＬがハイレベルとなると、垂直信号線１６と増幅トランジスタＭ３が電気的に接続される。これにより、選択された画素１００ａから画素信号が読み出される。

信号線ＴＸ、ＲＥＳ、ＳＥＬは垂直走査回路１２から画素アレイ１０の各行に延在している。垂直走査回路１２はこれらの信号レベルを制御することによって、画素１００ａを行単位で走査する。低解像度領域１０ａの画素１００ａに接続される信号線ＴＸ、ＲＥＳ、ＳＥＬ、垂直信号線１６は高解像度領域１０ｂの画素１００ｂにおいても接続される。すなわち、画素１００ａの信号線ＴＸ、ＲＥＳ、ＳＥＬは同一行の画素１００ｂに接続され、画素１００ａの垂直信号線１６は同一列の画素１００ｂに接続されている。一方、高解像度領域１０ｂの他の画素１００ｂは、外周部から駆動される信号線ＴＸ、ＲＥＳ、ＳＥＬ、垂直信号線１６に接続されている。すなわち、これらの信号線は、低解像度領域１０ａを横切ることなく、高解像度領域１０ｂにのみ設けられている。本実施形態においては、高解像度領域１０ｂは低解像度領域１０ａの周囲に設けられているため、低解像度領域１０ａを横切る配線の本数を少なくすることができる。

一般に、電気抵抗の低減および加工上の限界を考慮し、信号線は一定以上の幅を必要とする。信号線の本数が多くなると、フォトダイオードＰＤの上部が覆われ、光に対する感度が低下してしまう。また、フォトダイオードＰＤの近傍に配線があることで、斜め方向から入射する光に対する感度が低下する場合がある。低解像度領域１０ａは主たる画像を得る領域であるため、高感度であることが好ましく、かつ斜め入射光に対する感度低下が少ないことが好ましい。従って、低解像度領域１０ａにおいては信号線の本数は少ないことが望まれる。一方、高解像度領域１０ｂはズレ量を検知できさえすれば、感度および斜入射特性は比較的低くても差支えない。以上のことから、本実施形態においては、高解像度領域１０ｂを低解像度領域１０ａの周囲に設け、高解像度領域１０ｂの信号線を外周から駆動することにより、低解像度領域１０ａの感度および斜入射特性の低下を防ぐことができる。また、高解像度領域１０ｂの画素ピッチをできるだけ小さくすることで、画像に付属する位置情報の相違、すなわちズレ量の検出を高精度に行うことが可能となる。

図４は本実施形態に係る画素１００ａ、列増幅回路１３の回路図である。ここでは、説明を容易にするため、列増幅回路１３のうちの１列分の回路と、１つの画素１００ａとが示されている。トランジスタＭ３のソースは、選択トランジスタＭ４を介して列ごとに共通の垂直信号線１６のノードＰＤＯＵＴに電気的に接続され、ソースフォロアを構成する。選択トランジスタＭ４がオンとなると、垂直信号線１６と増幅トランジスタＭ３が電気的に接続され、画素信号が読み出される。電流源１７は垂直信号線１６を介して画素１００ａに電流を供給し、垂直信号線１６は信号ＰＬによって駆動されるスイッチＳＷ０を介して列増幅回路１３に接続されている。

列増幅回路１３は、列増幅器１３０、入力容量Ｃ０、帰還容量Ｃ１、Ｃ２、スイッチＳＷ１〜ＳＷ７、容量ＣＴＮ、ＣＴＳを有する。列増幅器１３０は反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器１３０の反転入力ノードは入力容量Ｃ０を介して垂直信号線１６に電気的に接続され、非反転入力ノードには基準電圧ＶＲＥＦが印加されている。反転入力ノードと出力ノードとは並列接続された３つの帰還回路を介して互いに接続されている。第１の帰還回路は直列に接続されたスイッチＳＷ１および帰還容量Ｃ１から構成され、第２の帰還回路は直列に接続されたスイッチＳＷ２および帰還容量Ｃ２から構成され、第３の帰還回路はスイッチＳＷ３から構成されている。スイッチＳＷ１〜ＳＷ３のオン、オフを適宜制御することにより、列増幅器１３０の増幅率を変更することができる。すなわち、スイッチＳＷ１のみがオンとなると、増幅率はＣ０／Ｃ１となり、スイッチＳＷ２のみがオンとなると、増幅率はＣ０／Ｃ２となる。また、スイッチＳＷ１、ＳＷ２がオンとなると、増幅率はＣ０／（Ｃ１＋Ｃ２）となり、スイッチＳＷ３のみがオンとなると、列増幅器１３０はボルテージフォロアとして動作する。スイッチＳＷ１〜ＳＷ３は信号φＣ１〜φＣ３によってそれぞれ制御される。

列増幅器１３０の出力ノードは、信号φＣＴＮによって制御されるスイッチＳＷ４を介して容量ＣＴＮに接続されている。同様に、列増幅器１３０の出力ノードは、信号φＣＴＳによって制御されるスイッチＳＷ５を介して容量ＣＴＳに接続されている。電荷電圧変換部ＦＤのリセット時において、スイッチＳＷ４がオン、スイッチＳＷ５がオフとなり、リセット時の画素信号（Ｎ信号）が容量ＣＴＮにサンプルホールドされる。光電変換された電荷が電荷電圧変換部ＦＤに転送された後、スイッチＳＷ４がオフ、スイッチＳＷ５がオンとなり、光電変換された電荷に基づく画素信号（Ｓ信号）が容量ＣＴＳにサンプルホールドされる。

容量ＣＴＮはスイッチＳＷ６を介して出力回路１５の第１入力ノードに接続され、容量ＣＴＳはスイッチＳＷ７を介して出力回路１５の第２入力ノードに接続されている。水平走査回路１４が各列の信号φＨｎを順にハイレベルとすることにより、水平走査が行われる。すなわち、信号φＨｎがハイレベルとなると、スイッチＳＷ６は容量ＣＴＮに保持されたＮ信号を出力回路１５の第１入力ノードに出力し、スイッチＳＷ７は容量ＣＴＳに保持されたＳ信号を出力回路１５の第２入力ノードに出力する。

出力回路１５は差動増幅回路から構成されており、入力されたＳ信号、Ｎ信号の差分を増幅および出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。なお、Ｎ信号、Ｓ信号をアナログ／デジタル変換した後に、相関二重サンプリングを行っても良い。上述のように、撮像装置１に入力された光信号は、電気信号として読み出され、デジタルの画像信号が信号処理部３に出力される。

続いて、図５、図６を参照しながら本実施形態に係る画像形成方法を説明する。図５は本実施形態に係る画像形成方法を説明するための図であり、図６は画像形成方法のフローチャートである。図５において、画素アレイ１０の領域１０ａ、１０ｂのそれぞれから得られた画像データは画素ピッチに相当するデータ密度を有する。すなわち、低解像領域１０ａからの画像データは７．５μｍの画素ピッチに相当するデータ密度を持ち、高解像度領域１０ｂからの画像データは１．５μｍの画素ピッチに相当するデータ密度を持つ。以下、領域１０ａ、１０ｂのそれぞれの画素ピッチに相当する画像を「元画像」と称する。また、仮に無限に小さいピッチの画素で撮像された場合に得られる理想的な画像を「理想画像」と称する。本実施形態においては、被写体に対して撮像装置１をＸ方向、Ｙ方向へずらしながら複数の元画像を取得し、これらの元画像を重ね合わせる（合成する）ことで、元画像よりも高精細な画像を得る事ができる。このようにして得られた画像を「高精細画像」と称する。

図６において、信号処理部３は元画像の番号を示す変数ｎを１に設定し（ステップＳ５０１）、画素アレイ１０からの画像データを読み出す（ステップＳ５０２）。最初に取得する画像を「元画像１」と称する。元画像１は、図５に示された位置Ａ１における画素アレイ１０の画像である。元画像１の低解像領域１０ａの左上の座標を（０，０）とすると、Ｃ行Ｒ列の画素中心１０６の座標（Ｘｒ１，Ｙｃ１）は、式１のように表現される。
（Ｘｒ１，Ｙｃ１）＝（（Ｒ−１＋０．５）×７．５μｍ，
（Ｃ−１＋０．５）×７．５μｍ） …（式１）

元画像１の各画素の値をｆ（Ｘｒ１，Ｙｃ１）と表す。画素値ｆ（Ｘｒ１，Ｙｃ１）で表された元画像１はバッファメモリ６に保持される。信号処理部３は変数ｎをインクリメントし（ステップＳ５０３）、変数ｎが予め定められた値ｋを超えたか否かを判断する（ステップＳ５０４）。例えば、６個の元画像を合成する場合、ｋ＝６に設定される。このとき、変数ｎは２であるため（ステップＳ５０４でＮＯ）、制御部４はアクチュエータ２ｄを駆動し、画素アレイ１０を（ｘ２，ｙ２）μｍずらす（ステップＳ５０５）。図５において、画素アレイ１０を位置Ａ１からＸ、Ｙのそれぞれの方向に１．５μｍずらし、位置Ａ２まで移動させる。信号処理部３は、画素アレイ１０から画像データを元画像２として読み出す。ここで、元画像２におけるＣ行Ｒ列の画素中心１０６の座標（Ｘｒ２，Ｙｃ２）は、式２で表現される。
（Ｘｒ２，Ｙｃ２）＝（（Ｒ―１＋０．５）×７．５μｍ＋ｘ２，
（Ｃ―１＋０．５）×７．５μｍ＋ｙ２） …（式２）

元画像２の各画素値をｆ（Ｘｒ２，Ｙｃ２）とし、信号処理部３は画素値ｆで表された元画像２をバッファメモリ６に保存する。以後、変数ｎが予め定められた値ｋに達するまで（ステップＳ５０４でＹＥＳ）、信号処理部３はステップＳ５０２〜Ｓ５０５を繰り返し実行し、ｋ個の元画像を読み出す。ここで、元画像ｎの画素値はｆ（Ｘｒｎ，Ｙｃｎ）（ｎ＝１、２、３、・・・、ｋ）で表される。なお、後述する元画像の合成処理において高精細画像を得るためには、元画像１〜ｋは同一の露出において撮像されることが好ましい。露出が異なる場合は、元画像１〜ｋの画素値ｆ（Ｘｒｎ，Ｙｃｎ）に補正係数を乗じ、元画像１〜ｋの露出の差を打ち消す処理を行うことが望ましい。

続いて、信号処理部３は高解像度領域１０ｂにおいて元画像１に対する元画像２〜ｎのズレ量を算出する（ステップＳ５０６）。複数の元画像を重ね合わせて高精細画像を形成するためには、元画像１〜ｋのズレ量(ｘｎ，ｙｎ)（ｎ=１、２、３、・・・、ｋ)を正確に検出する必要がある。アクチュエータ２ｄの移動量を検出することにより、凡そのズレ量（ｘｎ，ｙｎ）を検出することは可能ではある。しかしながら、カメラの角度および位置がずれると、アクチュエータ２ｄの移動量を検出するだけでは元画像のズレ量を正確に把握することはできない。複数の元画像を撮像している間にカメラの角度や位置がずれ易く、特にカメラを手で保持する場合に、ズレは顕著となる。このように、カメラ自体のぶれを考慮すると、撮像された画像に基づきズレ量を検出することが望ましい。一方、ズレ量を高精度に検出するために画素アレイ１０の全体を高画素化すると、受光面積が低下し、信号対雑音比が悪化してしまう。本発明によれば、低解像度領域１０ａとは別に高解像度領域１０ｂを設け、高解像度領域１０ｂの画像に基づき元画像のズレ量を検出することにより、上述した様々な問題を解決することが可能となる。

以下、本実施形態におけるズレ量の算出方法（ステップＳ５０６）を詳述する。先ず、信号処理部３は、低解像度領域１０ａの左上を原点とするＸＹ座標上に、高解像度領域１０ｂの画素値を記録（マッピング）する。元画像１の高解像度領域１０ｂにおいて、座標（ｘ，ｙ）に中心を持つ画素の値をｇ１(ｘ，ｙ)とする。同様に、元画像２の高解像度領域１０ｂの画素値をｇ２（ｘ，ｙ）、元画像ｎの高解像度領域１０ｂの画素値をｇｎ（ｘ，ｙ）と表す。元画像１に対する元画像２のズレ量を（ｕ，ｖ）と仮定すると、元画像１に対する元画像２のズレ量の判定のための評価関数Ｉ２１（ｕ，ｖ）は式３で表される。なお、ズレ量は、類似する画像間における同一対象の位置の相違と言い換えることもできる。
Ｉ_２１（ｕ，ｖ）＝Σ｛ｇ１（ｘ，ｙ）―ｇ２（ｘ＋ｕ，ｙ＋ｖ）｝^２ …（式３）

なお、ｕ、ｖはそれぞれ高解像度領域１０ｂの画素ピッチの整数倍であることが好ましい。例えば最小値探索法を用いて評価関数Ｉ_２１（ｕ，ｖ）の値が最小となるｕ、ｖを求め、求められた（ｕ，ｖ）を元画像２の元画像１に対するズレ量（ｘ２，ｙ２)とする。なお、評価関数Ｉのｕ、ｖの探索は、高解像度領域１０ｂにおいて元画像１と元画像２とが重なる範囲で行われることが好ましい。同様の処理によって、元画像２〜ｎのそれぞれと元画像１とのズレ量を算出する。

続いて、信号処理部３は、算出されたズレ量を用いてＸＹ座標上において元画像１〜ｎの位置を合せる（ステップＳ５０７）。例えば、ＸＹ座標上における位置情報を元画像１〜ｎのそれぞれに付属させ、それぞれの位置情報を書き換えることにより、元画像１〜ｎのＸＹ座標上の位置を調整することができる。なお、位置情報は元画像１〜ｎのそれぞれに付随させても良く、バッファメモリ６に参照テーブルとして纏めて記録しても良い。すなわち、位置情報と元画像１〜ｎとが関連性を有する限り、位置情報が元画像１〜ｎに付属していると言える。ｋ個の元画像１〜ｋの画素値ｆ（Ｘｒｎ，Ｙｃｎ）を共通のＸＹ座標上にプロットし、低解像度領域１０ａから得られた元画像のｋ倍の画素数を有する画像を合成する（ステップＳ５０８）。図５には、画素毎に異なる６個の画素中心２０６を有する元画像１〜６が示されている。より多くの元画像を用いることで、高精細画像の分解能を理想画像の画素サイズによる移動平均と同程度まで向上させることが可能である。

以上、詳述したように、本実施形態によれば、高解像度領域１０ｂの画像に基づき元画像のズレ量を検出することにより、高精度の高精細画像を形成することができる。また、低解像度領域１０ａによって感度および飽和特性に優れた画像を得ながら、高解像度領域１０ｂによって高精度のズレ量の検出を行うことができる。さらに、高解像度領域１０ｂは低解像度領域１０ａの周囲に設けられているため、高精細画像を生成する際に不要な高解像度領域１０ｂを容易にトリミングすることができる。

（第２実施形態）
第１実施形態においては、それぞれ画素ピッチの異なる低解像度領域１０ａ、高解像度領域１０ｂを備える撮像装置を用いたが、画素ピッチが均一である撮像装置を用いることによっても本発明の効果を奏することができる。以下、第１実施形態と異なる点を中心に、第２実施形態に係る画像形成装置および画像形成方法を説明する。

本実施形態に係る撮像装置は画素ピッチが均一である画素アレイを備る。画素ピッチは第１実施形態に係る高解像度領域１０ｂの画素ピッチと同様に狭ピッチであることが望ましいが、これに限定されない。先ず、信号処理部３は撮像装置から高解像度の元画像１を読み出す。続いて、信号処理部３は、元画像１の周辺部を除く領域において複数画素を平均化（加算）し、低解像度領域を生成する。例えば、図７に示されるように、５×５画素の平均化処理を行うことにより、低解像度領域１０ｃを生成する。平均化された画素１００ｃは図示された位置における画素中心３０６を有している。平均化処理されない領域は高解像度領域１０ｄとして図示されている。低解像度領域１０ｃの画素１００ｃの画素ピッチは高解像度領域１０ｄの画素１００ｄの画素ピッチの５倍となる。このようにして生成された元画像１はバッファメモリ６に保存される。なお、平均化処理を行う前の高解像度の画像データをバッファメモリ６に保存した後、平均化処理によって低解像度領域１０ｃを生成しても良い。同様に、信号処理部３は元画像２〜ｋを平均化することにより生成し、元画像１と元画像２〜ｋとのズレ量を算出する。ズレ量は第１実施形態と同様に高解像度領域１０ｄの画像に基づき算出することができる。さらに、信号処理部３は算出されたズレ量に基づき元画像１〜ｋをＸＹ座標上に配置することにより、高精細画像を生成することができる。

本実施形態によれば、画素ピッチが均一な撮像装置を用いながら、第１実施形態と同様の効果を奏することが可能である。すなわち、低解像度領域１０ｃは複数画素を平均化処理することにより生成されるため、高解像度領域１０ｄに比べて低解像度領域１０ａの信号対雑音比および感度を高めることができる。従って、低解像度領域１０ｃによって高感度の画像を得ながら、高解像度領域１０ｄによって高精度のズレ量の検出を行うことができる。また、高解像度領域１０ｄは低解像度領域１０ｃの周囲に設けられているため、高精細画像を生成する際に不要な高解像度領域１０ｄを容易にトリミングすることができる。さらに、低解像度領域１０ｃは平均化処理されているため、バッファメモリ６におけるデータ容量を削減することができ、バッファメモリ６の利用効率を改善することができる。

また、本実施形態によれば、低解像度領域１０ｃは平均化処理によって生成されるため、ハードウェア構成を変更することなく、低解像度領域１０ｃおよび高解像度領域１０ｄのそれぞれの面積および位置を変更することができる。例えば、動きの大きな被写体のように、ズレ量が大きい場合には、高解像度領域１０ｄの面積を大きくしても良い。高解像度領域１０ｄの位置は低解像度領域１０ｃの外周に限定されず、外周の左右の対辺、上下の対辺、若しくは対角線上であっても良い。また、低解像度領域１０ｃを構成する画素１００ｃの画素ピッチを変更することも可能である。例えば、低照度の被写体において、低解像度領域１０ｃの平均化処理を行う画素の加算数を増やし、画素ピッチを大きくしても良い。

（第３実施形態）
本発明の第３の実施形態に係る画像形成装置および画像形成方法を説明する。図８は本実施形態に係る画素アレイの回路図である。図８（ｂ）に示された回路図は、図８（ａ）において破線で囲まれた画素アレイ１０の一部に対応し、低解像度領域１０ａの角部に位置する１つの画素１０１ａと、当該画素１０１ａに近接する高解像度領域１０ｂの複数の画素１００ｂとを示している。

本実施形態に係る画素アレイは、低解像度領域１０ａの画素１０１ａが２個の受光部を有する点において第１実施形態に係る画素アレイと異なっている。すなわち、画素１０１ａはフォトダイオードＰＤ１、ＰＤ２、転送トランジスタＭ１１、Ｍ１２が電荷電圧変換部ＦＤ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を共有している。転送トランジスタＭ１１は信号線ＴＸ１によって駆動され、転送トランジスタＭ１２は信号線ＴＸ２によって駆動される。本実施形態においては、転送トランジスタＭ１１、Ｍ１２の信号線の数は第１実施形態と比較して多いが、駆動の自由度が高くなるという利点がある。例えば、画素１０１ａの２個の受光部からの信号を用いて焦点検出の機能を実現することが可能となる。また、２個の受光部からの信号を加算することにより、高感度の画像を得ることもできる。

本実施形態においても第１実施形態と同様の効果を奏することが可能である。高解像度領域１０ｂの画像に基づき元画像のズレ量を検出することにより、高精度の高精細画像を形成することができる。また、低解像度領域１０ａによって高感度の画像を得ながら、高解像度領域１０ｂによって高精度のズレ量の検出を行うことができる。さらに、高精細画像を生成する際に不要な高解像度領域１０ｂを容易にトリミングすることができる。

（第４実施形態）
本発明の第４の実施形態に係る画像形成装置および画像形成方法を説明する。図９は本実施形態に係る画素アレイの回路図である。図９（ｂ）に示された回路図は、図９（ａ）において破線で囲まれた画素アレイ１０の一部に対応し、低解像度領域１０ａの角部に位置する１つの画素１０２ａと、当該画素１０２ａに近接する高解像度領域１０ｂの複数の画素１００ｂとを示している。

画素１０２ａはフォトダイオードＰＤ１、ＰＤ２、電荷電圧変換部ＦＤ１、ＦＤ２、転送トランジスタＭ１１、Ｍ１２、リセットトランジスタＭ２１、Ｍ２２、増幅トランジスタＭ３１、Ｍ３２、選択トランジスタＭ４１、Ｍ４２を含む。転送トランジスタＭ１１、Ｍ１２は共通の信号線ＴＸによって駆動され、リセットトランジスタＭ２１、Ｍ２２は共通の信号線ＲＥＳによって駆動される。増幅トランジスタＭ３１は選択トランジスタＭ４１を介して垂直信号線１６１に電気的に接続され、増幅トランジスタＭ３２は選択トランジスタＭ４２を介して垂直信号線１６２に電気的に接続される。

垂直信号線の数は第１実施形態に比べて多いが、駆動の自由度が増す利点がある。また、本実施形態においても、第１実施形態と同様の効果を奏することが可能である。

（第５実施形態）
本発明の第５の実施形態に係る画像形成装置および画像形成方法を説明する。本実施形態においては、元画像１〜ｋのそれぞれを異なる露出あるいは異なる増幅率で読み出し、これらの元画像１〜ｋを合成しても良い。図１において、制御部４が絞り２ｂを変えながら、信号処理部３は撮像装置１から元画像１〜ｋを順に読み出す。これにより、露出の異なる元画像１〜ｋを得ることができる。また、図４における列増幅器１３０のスイッチＳＷ１〜ＳＷ３を切り替え、帰還容量を変更することにより、増幅率の異なる元画像１〜ｋを得ることができる。さらに、画像信号をＡ／Ｄ変換し、デジタルデータにおいてビットシフトを行うことにより、元画像１〜ｋの増幅率を変更しても良い。

信号処理部３は高解像度領域１０ｂの画像に基づき元画像１〜ｋのズレ量を算出し、ズレ量に基づき元画像１〜ｋをＸＹ座標上において合成する。これにより、露出または増幅率の異なる元画像１〜ｋが合成され、ダイナミックレンジの拡大処理を施した高精細画像が生成される。また、本実施形態においても、第１実施形態と同様の効果を奏することが可能である。

（第６実施形態）
本発明の第６実施形態に係る画像形成装置および画像形成方法を説明する。本実施形態においては、元画像１〜ｋに含まれる特徴的な画素を抽出し、当該画素の位置に基づきズレ量の算出および合成処理を行っても良い。例えば、点光源のように高輝度の画素、明暗若しくは色相変化が著しい画素を抽出し、その位置のズレ量を算出することにより、元画像間のズレ量を得ることができる。例えば、元画像１の高解像度領域１０ｂにおいて最も輝度の高い画素の座標が（ｘ１、ｙ１）、元画像２の高解像度領域１０ｂにおいて最も輝度の高い画素の座標が（ｘ２、ｙ２）であったと仮定する。この場合、元画像１、２のズレ量は、（ｘ２−ｘ１、ｙ２−ｙ２）となる。このように、特徴的な画素のズレ量を求めることにより、高解像度領域１０ｂのすべての画素を用いて位置合わせを行うよりも少ない計算負荷で、元画像のズレ量の算出および合成を行うことができる。この結果、消費電力および計算時間を低減することも可能となる。さらに、本実施形態においても、第１実施形態と同様の効果を奏することが可能である。

（第７実施形態）
本発明の第７実施形態に係る画像形成装置および画像形成方法を説明する。本実施形態において、複数の元画像のズレ量を算出した後の元画像の加算（合成）処理において、いわゆる再構成型超解像処理を用いて高精細画像を生成しても良い。例えば、単純に移動平均画像を作る方法、ＭＬ（Maximum-Likelyhood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Covex Set）法、ＩＢＰ（Iterative Back Prohection）法などの既知の再構成型超解像処理を採り得る。例えば、ＭＬ法はこのように、元画像の加算処理演算を用いることにより、精細度をさらに高めることができる。

（他の実施形態）
上述の実施形態は本発明の例示に過ぎず、本発明の趣旨を逸脱しない範囲で変更実施が可能である。例えば、撮像装置は、ＣＭＯＳセンサに限定されることなく、ＣＣＤセンサにおいても適用可能である。グローバル電子シャッタを搭載したＣＭＯＳセンサを用いることにより、機械式シャッタよりも高速のシャッタを実現することができる。このため、複数の元画像を取得する際のタイムラグが小さくなり、被写体ぶれを抑制することができる。また、アクチュエータを用いて撮像装置を移動させる代わりに、手持ち撮影時のカメラのぶれを利用して、位置ずれを有する複数の元画像を読み出しても良い。

さらに、本発明に係る画像形成装置は撮像装置を備えない汎用のコンピュータ、画像処理装置であっても良く、入力された画像に基づき高精細画像を形成可能であれば、その種類を問わない。例えば、汎用のコンピュータ、スマートフォンを用いて、イメージセンサから出力された画像データ（ＲＡＷデータ）を処理することにより、本発明の画像形成方法を実行しても良い。画像形成方法を実行するためのプログラムは、予め画像形成装置に記録しておいても良く、記録媒体、ネットワークを介して画像形成装置に供給することも可能である。

１ 撮像装置
３ 信号処理部
４ 制御部
１０ 画素アレイ
１０ａ、１０ｃ 低解像度領域
１０ｂ、１０ｄ 高解像度領域
１００ａ 第１画素
１００ｂ 第２画素

Claims (11)

1. それぞれが高解像度領域および低解像度領域を含む複数の画像を取得するステップと、
   前記複数の画像のそれぞれの前記高解像度領域の画素値を比較することにより、前記複数の画像の相違を検出するステップと、
   前記相違に基づき、前記比較された画像に付属する位置情報を調整するステップと、
   前記調整された位置情報を用いて前記複数の画像のそれぞれの前記低解像度領域の画素値を合成するステップと、
   を有する画像形成方法。
2. 前記高解像度領域は前記低解像度領域の周囲に位置していることを特徴とする請求項１に記載の画像形成方法。
3. 前記合成するステップにおいて、再構成型超解像処理またはダイナミックレンジの拡大処理を行うことを特徴とする請求項１または２のいずれかに記載の画像形成方法。
4. 前記複数の画像を撮像装置によって生成するステップをさらに含むことを特徴とする請求項１〜３のいずれか１項に記載の画像形成方法。
5. 前記撮像装置において、前記高解像度領域に対応する画素と比較して、前記低解像度領域に対応する画素の加算数が多くなるように、前記複数の画像のそれぞれを読み出すことを特徴とする請求項４に記載の画像形成方法。
6. 前記撮像装置は、前記低解像度領域を形成するために撮像面の中央部に配された第１画素と、前記高解像度領域を形成するために撮像面の周辺部に配された第２画素とを備え、
   前記第１画素は、開口部の面積、隣接する開口部のピッチ、または隣接する画素間の配線ピッチの少なくとも１つにおいて、前記第２画素よりも大きいことを特徴とする請求項４または５のいずれかに記載の画像形成方法。
7. 前記撮像装置は均一な画素ピッチの撮像面を備え、
   前記撮像面の周辺部を除く領域において複数の画素を加算することにより、前記低解像度領域を形成することを特徴とする請求項４に記載の画像形成方法。
8. それぞれが高解像度領域および低解像度領域を含む複数の画像を記憶する手段と、
   前記複数の画像のそれぞれの前記高解像度領域の画素値を比較することにより、前記複数の画像の相違を検出する手段と、
   前記相違に基づき、前記比較された画像に付属する位置情報を調整する手段と、
   前記調整された位置情報を用いて前記複数の画像のそれぞれの前記低解像度領域の画素値を合成する手段と、
   を有する画像形成装置。
9. 前記高解像度領域は前記低解像度領域の周囲に形成されていることを特徴とする請求項８に記載の画像形成装置。
10. 前記低解像度領域を形成するために撮像面の中央部に配された第１画素と、前記高解像度領域を形成するために撮像面の周辺部に配された第２画素とをさらに備え、
    前記第１画素は、開口部の面積、隣接する開口部間のピッチ、または隣接する画素間の配線ピッチの少なくとも１つにおいて、前記第２画素よりも大きいことを特徴とする請求項８または９のいずれかに記載の画像形成装置。
11. それぞれが高解像度領域および低解像度領域を含む複数の画像を取得するステップ
    前記複数の画像のそれぞれの前記高解像度領域の画素値を比較することにより、前記複数の画像の相違を検出するステップと、
    前記相違に基づき、前記比較された画像に付属する位置情報を調整するステップと、
    前記調整された位置情報を用いて前記複数の画像のそれぞれの低解像度領域の画素値を合成するステップと、
    を実行させる画像形成プログラム。

Images