JP2006186441A - 画像処理装置 - Google Patents

Abstract

【課題】 撮像素子から出力された画像信号、特に高精細な画像信号を、回路規模を増大することなく、高フレームレートで圧縮することができる画像処理装置を提供する。
【解決手段】 ＣＭＯＳイメージャ１０は、被写体の像に基づいた第１の画像信号および第２の画像信号を出力する。圧縮パラメータ決定部１１は、第１の画像信号に基づいて、第２の画像信号の圧縮に用いられる圧縮パラメータを決定する。画像処理部１２は、圧縮パラメータ決定部１１の動作と並行して、第２の画像信号を処理する。ＪＰＥＧコーデック１３は、画像処理部１２によって処理された第２の画像信号を、圧縮パラメータに基づいて圧縮する。記録部１４は圧縮後の第２の画像信号を記録する。表示部１５は、圧縮後の第２の画像信号に基づいた画像を表示する。
【選択図】 図１

Description

本発明は、撮像素子から出力された画像信号を圧縮する機能を備えた画像処理装置に関する。

近年、ＣＭＯＳ等の撮像素子が高精細化されるに従い、画像信号を記録した際のデータ量が増大していく傾向となってきた。そのため、以下のように画像信号の圧縮が行われていた。従来技術においては、撮影操作が行われると、被写体の主画像信号がメモリに記録され、その主画像信号が初期圧縮率で圧縮され、圧縮後の主画像信号のサイズや初期圧縮率等に基づいて最適圧縮率が算出される。続いて、主画像信号が再度取り込まれ、その主画像信号に対して、最適圧縮率に基づいた圧縮が行われる。したがって、圧縮率を決定するため、および実際の圧縮を行うために、撮像素子からの画像信号の取得と圧縮処理とを２回続けて行うことが必要となり、撮影間隔が長くなっていた。

そこで、撮影間隔を短縮する技術が提案されている（例えば特許文献１参照）。この技術においては、イメージセンサの有効解像度と同じ解像度の撮影画像信号がメモリに書き込まれ、一旦メモリに格納された撮影画像信号に基づいて、表示画像用の信号が生成される。続いて、表示画像用の信号を目標サイズまで圧縮することが可能な最適圧縮率が特定される。その最適圧縮率を用いることにより、メモリに格納された撮影画像信号が最適な解像度で圧縮され、記録媒体に記録される。

この技術においては、イメージセンサの有効画像をメモリに書き込み、メモリに格納された撮影画像信号を用いて表示および記録用の画像データを生成して最適圧縮率を特定してから、メモリに格納された同じ撮影画像信号を最適圧縮率で圧縮するため、イメージセンサからの画像取得は１回のみであり、撮影間隔の短縮が実現されている。
特開２００４−４０５１９号公報

しかし、メモリに格納された撮影画像信号を読み出して最適な圧縮率を特定しているため、以下のような問題点がある。この技術によれば、画像取得は１回であるが、撮影間隔が短く、リアルタイム性が求められるスピードでの撮影の場合には、一度メモリに格納したデータを再度読み出して表示画像用の信号を生成し、最適圧縮率を特定するのに時間がかかり、撮影動作にリアルタイムに追従することができない。特に、動画像のように、画像処理の際の遅延量が最小となることが必要とされる場合に対応することができない。また、画像データ量が膨大となったことにより、メモリ容量の増量が必要となるので、回路規模の増大や処理時間の増大が問題である。

本発明は、上述した問題点に鑑みてなされたものであって、撮像素子から出力された画像信号、特に高精細な画像信号を、回路規模を増大することなく、高フレームレートで圧縮することができる画像処理装置を提供することを目的とする。

本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、被写体の像に基づいた第１の画像信号および第２の画像信号を出力する撮像素子と、前記第１の画像信号に基づいて、前記第２の画像信号の圧縮に用いられる圧縮パラメータを決定する圧縮パラメータ決定手段と、前記第２の画像信号を処理する画像処理手段と、前記画像処理手段によって処理された前記第２の画像信号を、前記圧縮パラメータに基づいて圧縮する圧縮手段と、圧縮後の前記第２の画像信号を記録する第１の記録手段、および圧縮後の前記第２の画像信号に基づいた画像を表示する第１の表示手段のうち少なくとも一方とを有することを特徴とする画像処理装置である。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記撮像素子は、複数の垂直走査回路と複数の水平走査回路とを有し、隣接する画素を異なる垂直走査回路で選択し、異なる水平走査回路で読み出すことを特徴とする。

請求項３に記載の発明は、請求項１に記載の画像処理装置において、前記撮像素子は、全画素の中の部分領域を占める画素の画像信号に基づいたエリア選択画像信号を前記第１の画像信号として出力することを特徴とする。

請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記撮像素子は、全画素の中から特定の画素を間引いて生成した間引き画像信号を前記第１の画像信号として出力することを特徴とする。

請求項５に記載の発明は、請求項１に記載の画像処理装置において、前記第１の画像信号を記録する第２の記録手段、および前記第１の画像信号に基づいた画像を表示する第２の表示手段のうち少なくとも一方を有することを特徴とする。

請求項６に記載の発明は、請求項１に記載の画像処理装置において、前記第１の画像信号に基づいた全体画像の中の部分画像に対応した画像信号を前記第１の画像信号から選択して前記圧縮パラメータ決定手段へ出力する選択手段を有し、前記圧縮パラメータ決定手段は、前記選択手段によって選択された前記画像信号に基づいて、前記圧縮パラメータを決定することを特徴とする。

請求項７に記載の発明は、請求項１に記載の画像処理装置において、前記圧縮パラメータ決定手段は、前記第１の画像信号のフレーム間の差異を検出することにより、前記第１の画像信号に含まれる前記被写体の動きを検出する動き検出手段と、前記動き検出手段によって検出された前記被写体の動きに基づいて前記圧縮パラメータを生成する生成手段とを有することを特徴とする。

請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記圧縮パラメータ決定手段はさらに、前記動き検出手段によって検出された前記第１の画像信号のフレーム間の差異に基づいて、次フレーム以後の前記被写体の動きを予測する動き予測手段を有し、前記生成手段は、前記動き予測手段によって予測された前記被写体の動きに基づいて前記圧縮パラメータを生成することを特徴とする。

請求項９に記載の発明は、請求項１に記載の画像処理装置において、前記圧縮パラメータ決定手段は、前記第１の画像信号のフレームレートを検出するフレームレート検出手段と、前記フレームレート検出手段によって検出された前記フレームレートに基づいて前記圧縮パラメータを生成する生成手段とを有することを特徴とする。

請求項１０に記載の発明は、請求項１に記載の画像処理装置において、前記圧縮パラメータ決定手段は、ユーザによって入力された、前記第２の画像信号の圧縮に係る設定を検出するユーザ入力検出手段と、前記ユーザ入力検出手段によって検出された前記設定に基づいて前記圧縮パラメータを生成する生成手段とを有することを特徴とする。

本発明によれば、撮像素子から出力された画像信号、特に高精細な画像信号を、回路規模を増大することなく、高フレームレートで圧縮することができるという効果が得られる。

以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。以下、図中の各構成について説明する。撮像素子であるＣＭＯＳイメージャ１０は、被写体の像に基づいた画像信号を生成し、出力する。このＣＭＯＳイメージャ１０は複数の出力系統を有しており、その複数の出力系統のうちの１つから出力された第１の画像信号は、圧縮パラメータ決定部１１に入力される。また、ＣＭＯＳイメージャ１０の他の出力系統から出力された第２の画像信号は、画像処理部１２に入力される。第１の画像信号と第２の画像信号は同一の画像信号であってもよいが、後述するように、第１の画像信号と第２の画像信号が異なる画像信号であることがより望ましい。

圧縮パラメータ決定部１１は、第１の画像信号に基づいて、圧縮処理に用いられる圧縮処理制御用の圧縮パラメータを生成し、ＪＰＥＧコーデック１３へ出力する。画像処理部１２は、ノイズリダクションやホワイトバランス、ゲインコントロール等の画像処理を第２の画像信号に施す。また、画像処理部１２は、記録部１４での記録や表示部１５での表示に適したデータとなるようにフォーマットを変換する等の処理を第２の画像信号に施す。画像処理部１２は、処理後の第２の画像信号をＪＰＥＧコーデック１３へ出力する。

ＪＰＥＧコーデック１３は、圧縮パラメータ決定部１１によって決定された圧縮パラメータを用いて、第２の画像信号を最適な圧縮状態で圧縮する。ＪＰＥＧコーデック１３による圧縮の方式は、例えばＪＰＥＧ２０００方式やＨ．２６４であるが、これらに限定されるわけではない。記録部１４は、第２の画像信号が格納されるＨＤＤレコーダ、半導体メモリ、または光メモリ等を備えている。表示部１５はモニタやビューファインダ等の表示装置を備えており、第２の画像信号に基づいた画像を表示する。また、この画像処理装置は、ユーザによって操作されるスイッチやボタン等が設けられた図示せぬ操作部等を備えている。

次に、本実施形態による画像処理装置の動作について説明する。ＣＭＯＳイメージャ１０は、撮像を行い、第１の画像信号および第２の画像信号を所定のフレームレートで出力する。圧縮パラメータ決定部１１は、第１の画像信号に基づいて、圧縮パラメータを生成し、ＪＰＥＧコーデック１３へ出力する。圧縮パラメータ決定部１１の動作と並行して、画像処理部１２は、第２の画像信号に対して、前述した画像処理を行い、第２の画像信号をＪＰＥＧコーデック１３へ出力する。ＪＰＥＧコーデック１３は、圧縮パラメータ決定部１１によって決定された圧縮パラメータを用いて、第２の画像信号を圧縮し、記録部１４および表示部１５へ第２の画像信号を出力する。記録部１４はＨＤＤレコーダ等に第２の画像信号を記録する。また、表示部１５は、第２の画像信号に基づいた画像を表示する。ここでは、第２の画像信号をＪＰＥＧコーデック１３でＪＰＥＧによる方式で圧縮しているが、ＪＰＥＧ以外のＭＰＥＧ等の圧縮方式による圧縮を行ってもよい。

上述したように、本実施形態においては、ＣＭＯＳイメージャ１０から複数の画像信号が出力されるようにし、その複数の画像信号の中の１つの画像信号である第１の画像信号を用いて圧縮パラメータ決定部１１が圧縮パラメータの決定を行いながら、第２の画像信号を用いて画像処理部１２が画像処理を行っている。第１の画像信号および第２の画像信号が同時に処理され、圧縮パラメータがリアルタイムにＪＰＥＧコーデック１３に渡されるので、所定の画像処理が施された第２の画像信号を圧縮するまでの処理速度を向上させることができる。したがって、高精細動画像も高速で圧縮することができるし、高フレームレートの動画像にも対応することができる。

特に、（圧縮パラメータ決定までの時間＜第２の画像信号の画像処理にかかる時間）の関係が保たれるならば、第２の画像信号を遅延なく圧縮することができ、リアルタイムに最適な圧縮率で圧縮することができる。また、従来技術のように、メモリ（例えばＤＰＲＭ、ＳＲＡＭ）に画像信号を記録する場合と比べると、読み出しのための回路を簡素化することができ、回路規模も大幅に小さくすることができる。

次に、ＣＭＯＳイメージャ１０からの画像信号の読み出しについて説明する。図２は、ＣＭＯＳイメージャ１０の内部構成を示すブロック図である。ＣＭＯＳイメージャ１０には、画素Ｐ１１〜Ｐ１４，Ｐ２１〜Ｐ２４，Ｐ３１〜Ｐ３４，Ｐ４１〜Ｐ４４がマトリクス状に配置されている。各画素には、垂直走査回路１０１および１０２が画素を選択するための垂直選択線Ｖ１〜Ｖ４と、水平走査回路１０３〜１０６へ信号を読み出すための垂直信号線Ｈ１〜Ｈ４とが接続されている。

垂直走査回路１０１および１０２は、これらの画素で発生する光電変換信号の読み出しを制御する。垂直走査回路１０１は、垂直選択線Ｖ１を介して画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４からの光電変換信号の読み出しを制御すると共に、垂直選択線Ｖ３を介して画素Ｐ３１，Ｐ３２，Ｐ３３，Ｐ３４からの光電変換信号の読み出しを制御する。また、垂直走査回路１０２は、垂直選択線Ｖ２を介して画素Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４からの光電変換信号の読み出しを制御すると共に、垂直選択線Ｖ４を介して画素Ｐ４１，Ｐ４２，Ｐ４３，Ｐ４４からの光電変換信号の読み出しを制御する。

水平走査回路１０３〜１０６は、垂直信号線Ｈ１〜Ｈ４を介して、各垂直信号線に接続された画素から電荷を取得するかどうかの制御を行う。水平走査回路１０３は、垂直信号線Ｈ１およびＨ３を介した画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３からの電荷の取得に係る制御を行う。水平走査回路１０４は、垂直信号線Ｈ２およびＨ４を介した画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４からの電荷の取得に係る制御を行う。水平走査回路１０５は、垂直信号線Ｈ１およびＨ３を介した画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４３からの電荷の取得に係る制御を行う。水平走査回路１０６は、垂直信号線Ｈ２およびＨ４を介した画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４からの電荷の取得に係る制御を行う。垂直走査制御回路１０７は垂直走査回路１０１および１０２を制御する。また、水平画素選択部１０８は水平走査回路１０３〜１０６を制御する。

図３は、ＣＭＯＳイメージャ１０からの画像信号の読み出しの例を示している。図３（ａ）は、全画素の中から特定の画素を間引いて生成した間引き画像信号を出力することにより、間引き出力画像を生成する例である。図３（ｂ）は、全画素の中の部分領域を占める画素の画像信号に基づいたエリア選択画像信号を出力することにより、エリア選択画像を生成する例である。図３（ｃ）および（ｄ）は、各画素が所定の色配列となっている場合に、特定色の画素のみの画像信号を出力する例である。

ＣＭＯＳイメージャ１０から画像信号は以下のように読み出される。例えば、図３（ｃ）のように、ＲＧＧＢが１つの画素群（画素Ｐ１１がＲ、画素Ｐ１２がＧ、画素Ｐ２１がＧ、画素Ｐ２２がＢ等）として構成されている場合、図４のタイミングチャートのように制御および読み出しが行われる。垂直走査回路１０１が、垂直選択線Ｖ１に信号を出力すると、画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４からそれぞれ垂直信号線Ｈ１，Ｈ２，Ｈ３，Ｈ４へ信号が送出される。画素Ｐ１１，Ｐ１３からの信号は、垂直信号線Ｈ１，Ｈ３をそれぞれ介して水平走査回路１０３へ転送され、画素Ｐ１２，Ｐ１４からの信号は、垂直信号線Ｈ２，Ｈ４をそれぞれ介して水平走査回路１０４へ転送される。

同様に、垂直走査回路１０２が、垂直選択線Ｖ２に信号を出力すると、画素Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４からそれぞれ垂直信号線Ｈ１，Ｈ２，Ｈ３，Ｈ４へ信号が送出される。画素Ｐ２１，Ｐ２３からの信号は、垂直信号線Ｈ１，Ｈ３をそれぞれ介して水平走査回路１０５へ転送され、画素Ｐ２２，Ｐ２４からの信号は、垂直信号線Ｈ２，Ｈ４をそれぞれ介して水平走査回路１０６へ転送される。続いて、垂直走査回路１０１が垂直選択線Ｖ３に信号を出力し、垂直走査回路１０２が垂直選択線Ｖ４に信号を出力すると、上記と同様にして、画素Ｐ３１，Ｐ３２，Ｐ３３，Ｐ３４，Ｐ４１，Ｐ４２，Ｐ４３，Ｐ４４から信号が転送される。

垂直走査回路１０１，１０２と水平走査回路１０３〜１０６とを組み合わせて制御することにより、所望の並びの画素の光電変換信号を読み出すことができる。例えば、１垂直選択線ごと、１水平走査回路ごとで制御すると、全画素に対して１／４の間引き画像信号を出力することができる。これらの複数の垂直走査回路と複数の水平走査回路を制御することと、撮像素子の非破壊読み出しとを併用することにより、図１の第１の画像信号として間引き画像信号またはエリア選択画像信号を出力し、第２の画像信号として全体画像信号を出力する等、異なる複数の画像信号を同時に出力することができる。

間引き画像信号やエリア選択信号等を出力する場合には、間引き率の指定や部分領域の選択等を、所定の設定に基づいて行ってもよいし、ユーザが行うようにしてもよい。上述したように、圧縮パラメータ決定部１１が圧縮パラメータの決定に用いる第１の画像信号として、ＣＭＯＳイメージャ１０が間引き画像信号やエリア選択画像信号等を選択して出力することにより、圧縮パラメータ決定部１１は、より圧縮に適した圧縮パラメータを決定することができる。

次に、本発明の第２の実施形態について説明する。図５は、本実施形態による画像処理装置の構成を示すブロック図である。本実施形態においては、圧縮パラメータ決定部１１に記録部２４および表示部２５が接続されている。圧縮パラメータ決定部１１は、第１の実施形態と同様に圧縮パラメータを決定すると共に、第１の画像信号をそのまま記録部２４および表示部２５へ出力する。記録部２４は記録部１４と同様の構成であり、表示部２５は表示部１５と同様の構成である。

これにより、圧縮パラメータの決定に用いられる第１の画像信号そのものを記録部１４に記録したり、第１の画像信号そのものに基づいた画像を表示部２５に表示したりすることができる。例えば、図６に示されるように、全体画像３０１に対してその間引き画像３０２を設定し、全体画像３０１が第２の画像信号として、間引き画像３０２が第１の画像信号としてＣＭＯＳイメージャ１０から出力されるようにしたとする。この間引き画像３０２が表示部２５に表示され、その画像信号が記録部２４に格納される。第２の画像信号として出力される記録用出力が８Ｍｐｉｘｅｌであるとすると、第１の画像信号としての出力は例えばその１／４の２Ｍｐｉｘｅｌとなる。

また、全体画像３０１に対してエリア選択画像３０３を設定し、全体画像３０１が第２の画像信号として、エリア選択画像３０３が第１の画像信号としてＣＭＯＳイメージャ１０から出力されるようにしたとする。この場合には、ユーザによって、例えば全体像のうち着目したい部分領域が第１の画像信号として出力されるように設定される。上記と同様に、エリア選択画像３０３は表示部２５に表示され、その画像信号が記録部２４に格納される。この場合には、全体像と同じ解像度の画像を取得することができ、縮小や間引きのない画像を確認することができる。なお、全体画素のうちの部分領域の画素について、さらに特定の画素を間引いて生成した画像信号を第１の画像信号としてＣＭＯＳイメージャ１０が出力するようにしてもよい。

上述した本実施形態によれば、第１の画像信号を記録部２４が記録する、または第１の画像信号に基づいた画像を表示部２５が表示するようにしたので、圧縮パラメータの決定に用いられる画像を確認することができる。したがって、接続する機器に応じた信号を表示することができ、画角の確認や明るさ等の撮影のための情報を、カメラマンが目視により確認することができる。また、記録部２４が第１の画像信号が記録する場合において、記録部２４が有する記録媒体の記録容量に制限があった場合に、記録したいエリアのみの画像や、最適なサイズの画像、第２の画像信号と異なる解像度の画像を第１の画像信号とすることにより、所望の画像のみを効率よく記録することができる。

次に、本発明の第３の実施形態について説明する。図７は、本実施形態による画像処理装置の構成を示すブロック図である。本実施形態においては、領域選択部３０が設けられており、第１の画像信号は領域選択部３０にも入力される。領域選択部３０は、所定の設定に基づいて、あるいはユーザによって入力された領域選択の情報に基づいて、第１の画像信号によって示される全体画像の中の部分画像に対応した部分画像信号を圧縮パラメータ決定部１１へ出力する。

圧縮パラメータ決定部１１は、第１の画像信号、または領域選択部３０から出力された部分画像信号に基づいて圧縮パラメータを決定する。圧縮パラメータ決定部１１が圧縮パラメータを決定する際に、第１の画像信号と部分画像信号のうちのどちらを用いるのかは、任意に設定可能である。なお、圧縮パラメータ決定部１１は第１の画像信号を記録部２４および表示部２５へ出力するが、設定により、第１の画像信号と部分画像信号のうちの一方を出力するようにしてもよい。部分画像信号を出力するように設定すれば、記録部２４および表示部２５へ所望の画角の画像の画像信号を出力することができる。

例えば、図８に示されるように、全体画像３０４に対してエリア選択画像３０５を設定し、全体画像３０４が第２の画像信号として、エリア選択画像３０５が第１の画像信号としてＣＭＯＳイメージャ１０から出力されるようにしたとする。この場合、領域選択部３０によって、例えば部分画像３０６が圧縮パラメータ決定用の画像として選択され、その画像に対応した画像信号が圧縮パラメータ決定部１１へ出力される。これにより、例えばエリア選択画像３０５を表示部２５に表示しながら、部分画像３０６に対応した部分画像信号を用いて圧縮パラメータの決定が行われる。

また、本実施形態においては、第１の画像信号と第２の画像信号のうちの一方が、設定に応じて画像処理部１２へ入力されるようになっており、どちらの画像信号が画像処理部１２へ入力されるのかは、任意に設定可能である。これにより、第１の画像信号（あるいは部分画像信号）を記録部２４および表示部２５へ出力しつつ、第１の画像信号または第２の画像信号を記録部１４および表示部１５へ出力することが可能となる。したがって、ＪＰＥＧコーデック後（圧縮後）の画像、圧縮率決定用の画像、および記録部２４／表示部２５の記録／表示用の画像としてそれぞれ異なった画像を用いることができ、それぞれの処理に適した画像信号を選択することができる。

本実施形態によれば、領域選択部３０を備えたことにより、入力された第１の画像信号に基づいた画像の中から所望の領域を選択・指定して圧縮パラメータの決定に用いることができる。領域選択部３０によって選択される領域は、例えば動画像のフレームの中でも重要度の高い領域であり、その領域の画像信号を用いて圧縮パラメータを決定することにより、画像の重要な部分に最適な圧縮パラメータを決定することができる。例えば、人物を撮影している場合には、領域選択部３０によって、人物の領域が選択されるようにすれば、人物に適合した圧縮パラメータを決定することができる。また、動きのあるものを撮影したい場合には、表示部２５に表示された画像の中で、動いているものの領域が選択されるようにすれば、動きのあるものに適合した圧縮パラメータを決定することができる。

次に、本発明の第４の実施形態について説明する。図９は、本実施形態による圧縮パラメータ決定部１１の構成を示すブロック図である。第１〜第３の実施形態においては、圧縮パラメータ決定部１１は、第１の画像信号またはその部分画像信号をそのまま用いて圧縮パラメータを決定するが、本実施形態の圧縮パラメータ決定部１１はさらに動き検出等を行い、その検出結果に基づいて圧縮パラメータを決定する。この圧縮パラメータ決定部１１は以下の構成を備えている。動き検出部１１１は、ＣＭＯＳイメージャ１０から入力された第１の画像信号のフレーム間の差異を検出することにより、第１の画像信号に含まれる被写体の動きを検出し、動き検出結果を生成する。生成された動き検出結果は動き予測部１１２または圧縮パラメータ生成部１１５へ出力される。

動き予測部１１２は、動き検出部１１１によって検出された、第１の画像信号のフレーム間の差異に基づく動き検出結果より、次フレーム以後の被写体の動きを予測し、動き予測結果を生成する。生成された動き予測結果は圧縮パラメータ生成部１１５へ出力される。フレームレート検知部１１３は、ＣＭＯＳイメージャ１０から入力されたフレーム信号に基づいて、第１の画像信号のフレームレートを検出し、検出結果を圧縮パラメータ生成部１１５へ出力する。

圧縮率マニュアル設定部１１４は、ユーザによる入力に基づいて図示せぬ操作部から出力された、圧縮率（＊＊分の１、＊＊％等）の指定を示す信号を検出し、その信号に基づいて、第２の画像信号の圧縮に係る設定の１つである圧縮率の設定結果を検出する。検出された圧縮率の設定結果は圧縮パラメータ生成部１１５へ出力される。

圧縮パラメータ生成部１１５は、上述した動き検出結果、動き予測結果、フレームレートの検出結果、および圧縮率の設定結果のうちのいずれかを用いて、あるいはそれらの結果を組み合わせて用いて、圧縮パラメータを生成し、ＪＰＥＧコーデック１３へ出力する。動き検出結果に基づいて圧縮パラメータを生成する場合には、以下のようになる。動き量が大きい場合に圧縮率を高くすると、斜めの線がガクガクしたり、ブロックノイズが発生したりする等、画質が劣化する。そこで、圧縮パラメータ生成部１１５は、圧縮率が高くならないように設定し（例えば圧縮率を所定値以下に設定し）、その圧縮率に基づいて圧縮パラメータを生成することにより、画質の劣化を抑える。一方、動き量が小さい場合には、圧縮率を高くしても劣化が少なく、良好な映像を取得することができるため、圧縮パラメータ生成部１１５は、例えば圧縮率を所定値以上に設定する。動き予測結果に基づいて圧縮パラメータを生成する場合も同様である。

フレームレートの検出結果に基づいて圧縮パラメータを生成する場合には、例えばＭＰＥＧコーデックを用いたとき、フレームレートの異なる映像を同じ圧縮率で圧縮したとすると、フレームレートが高い場合の方が記録容量が多くなる。高フレームレートの場合、記録容量が大量に必要となるため、画質を犠牲にして圧縮率を高くすることにより、記録時間を長くすることができる。一方、フレームレートが低い場合には、記録容量が小さくて済むので、圧縮率を低くすることにより、画質優先で高画質の映像を記録することができる。このように、フレームレートの高低に応じて、記録時間と画質とのバランスを考慮して、圧縮率をコントロールすることができる。

ユーザが圧縮率を指定し、指定された圧縮率に基づいて圧縮パラメータ生成部１１５が圧縮パラメータを決定する場合には、ユーザは、画質あるいは記録時間を優先して選択することができる。例えば、記録時間を最優先に考えた場合には、図示せぬ操作部を介して、圧縮率が高くなるように設定し、意図的に画像を劣化させることにより、記録時間を延ばすことができる。また、反対に、記録時間を犠牲にしても、画像の劣化を抑えるために、圧縮率を低めに設定することもできる。

また、圧縮パラメータ生成部１１５は、第１〜第３の実施形態と同様にして第１の画像信号そのものに基づいて圧縮パラメータを生成することができるように構成されている。第１の画像信号そのもの、動き検出結果、動き予測結果、フレームレートの検出結果、および圧縮率の設定結果のうちのいずれを用いて圧縮パラメータを生成するのかは、ユーザの指示により、適宜、設定可能である。なお、第３の実施形態における領域選択部３０を設け、部分画像信号の動き検出等を行うようにしてもよい。

上述した本実施形態によれば、被写体の動きやフレームレートの変化に応じて最適な圧縮パラメータを決定することができる。また、ユーザが手動で設定した圧縮率に基づいて圧縮パラメータを決定することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。 ＣＭＯＳイメージャ１０の内部構成を示すブロック図である。 ＣＭＯＳイメージャ１０からの画像信号の読み出しを説明するための参考図である。 ＣＭＯＳイメージャ１０から画像信号の読み出しを説明するためのタイミングチャートである。 本発明の第２の実施形態による画像処理装置の構成を示すブロック図である。 第１の画像信号の選択の例を説明するための参考図である。 本発明の第３の実施形態による画像処理装置の構成を示すブロック図である。 領域選択部３０による領域選択の例を説明するための参考図である。 本発明の第４の実施形態による圧縮パラメータ決定部１１の構成を示すブロック図である。

符号の説明

１０・・・ＣＭＯＳイメージャ（撮像素子）、１１・・・圧縮パラメータ決定部（圧縮パラメータ決定手段）、１２・・・画像処理部（画像処理手段）、１３・・・ＪＰＥＧコーデック（圧縮手段）、１４，２４・・・記録部（第１の記録手段、第２の記録手段）、１５，２５・・・表示部（第１の表示手段、第２の表示手段）、３０・・・領域選択部（選択手段）、１０１，１０２・・・垂直走査回路、１０３，１０４，１０５，１０６・・・水平走査回路、１０７・・・垂直走査制御回路、１０８・・・水平画素選択部、１１１・・・動き検出部（動き検出手段）、１１２・・・動き予測部（動き予測手段）、１１３・・・フレームレート検知部（フレームレート検出手段）、１１４・・・圧縮率マニュアル設定部（ユーザ入力検出手段）、１１５・・・圧縮パラメータ生成部（生成手段）。

Claims (10)

1. 被写体の像に基づいた第１の画像信号および第２の画像信号を出力する撮像素子と、
   前記第１の画像信号に基づいて、前記第２の画像信号の圧縮に用いられる圧縮パラメータを決定する圧縮パラメータ決定手段と、
   前記第２の画像信号を処理する画像処理手段と、
   前記画像処理手段によって処理された前記第２の画像信号を、前記圧縮パラメータに基づいて圧縮する圧縮手段と、
   圧縮後の前記第２の画像信号を記録する第１の記録手段、および圧縮後の前記第２の画像信号に基づいた画像を表示する第１の表示手段のうち少なくとも一方と、
   を有することを特徴とする画像処理装置。
2. 前記撮像素子は、複数の垂直走査回路と複数の水平走査回路とを有し、隣接する画素を異なる垂直走査回路で選択し、異なる水平走査回路で読み出すことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像素子は、全画素の中の部分領域を占める画素の画像信号に基づいたエリア選択画像信号を前記第１の画像信号として出力することを特徴とする請求項１に記載の画像処理装置。
4. 前記撮像素子は、全画素の中から特定の画素を間引いて生成した間引き画像信号を前記第１の画像信号として出力することを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の画像信号を記録する第２の記録手段、および前記第１の画像信号に基づいた画像を表示する第２の表示手段のうち少なくとも一方を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記第１の画像信号に基づいた全体画像の中の部分画像に対応した画像信号を前記第１の画像信号から選択して前記圧縮パラメータ決定手段へ出力する選択手段を有し、
   前記圧縮パラメータ決定手段は、前記選択手段によって選択された前記画像信号に基づいて、前記圧縮パラメータを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記圧縮パラメータ決定手段は、
   前記第１の画像信号のフレーム間の差異を検出することにより、前記第１の画像信号に含まれる前記被写体の動きを検出する動き検出手段と、
   前記動き検出手段によって検出された前記被写体の動きに基づいて前記圧縮パラメータを生成する生成手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
8. 前記圧縮パラメータ決定手段はさらに、前記動き検出手段によって検出された前記第１の画像信号のフレーム間の差異に基づいて、次フレーム以後の前記被写体の動きを予測する動き予測手段を有し、
   前記生成手段は、前記動き予測手段によって予測された前記被写体の動きに基づいて前記圧縮パラメータを生成する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記圧縮パラメータ決定手段は、
   前記第１の画像信号のフレームレートを検出するフレームレート検出手段と、
   前記フレームレート検出手段によって検出された前記フレームレートに基づいて前記圧縮パラメータを生成する生成手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
10. 前記圧縮パラメータ決定手段は、
    ユーザによって入力された、前記第２の画像信号の圧縮に係る設定を検出するユーザ入力検出手段と、
    前記ユーザ入力検出手段によって検出された前記設定に基づいて前記圧縮パラメータを生成する生成手段と、
    を有することを特徴とする請求項１に記載の画像処理装置。
    
    

Images