JP2005123810A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像データに対する処理時間を短縮することが可能な画像処理装置を提供する。
【解決手段】垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、画像データの垂直方向のサイズを変更する処理を行う垂直リサイズ処理部１０−４と、垂直リサイズ処理部１０−４で変更された画像データの水平方向のサイズを変更する処理を行う水平リサイズ処理部３０−１と、垂直サイズ及び水平サイズが変更された画像データを表示する表示部５０とを具備する。
【選択図】 図１

Description

本発明は画像処理装置及び画像処理方法に関するものである。

デジタルカメラ等の電子撮像装置においては、垂直方向及び水平方向に２次元配列された画素から構成されるＣＣＤ等の固体撮像素子により撮像した画像データを記憶あるいは表示するに先立って所定の画像処理が施される。図４は、このような画像処理を行う画像処理装置の概略構成を示す図であり、画像処理部１１０と、ＳＤＲＡＭ（記憶部）１２０と、画像データ出力部１３０とから構成される。

まず、被写体を撮像して得られた画像データをＪＰＥＧ圧縮して記憶する場合の手順を説明する。図示せぬＣＣＤにより撮像された画像データはまず、ＳＤＲＡＭ１２０の画像記憶部１２０−１に記憶される。この画像データは画像処理部１１０に読み出されてＹＣ生成部１１０−１によりＲＧＢからＹＣへの色変換処理が行われる。次に画像データは、サイズ変更部としてのリサイズ（Cubic）処理部１１０−２においてＪＰＥＧ処理に適した画角にするためにその水平方向及び垂直方向のサイズが変更（リサイズ）される。垂直方向のリサイズでは例えば間引きまたは挿入などの処理が行われる。また、水平方向のリサイズでは例えば２点補間または４点Cubic補間が用いられる。

圧縮データ生成部としてのＪＰＥＧ処理部１１０−３ではリサイズされた画像データに対してＪＰＥＧ圧縮処理を施す。ＪＰＥＧ圧縮された画像データは、ＳＤＲＡＭ１２０のＪＰＥＧ記憶部１２０−３に記憶される。

次に、被写体を撮像して得られた画像データを表示する場合の手順を説明する。図示せぬＣＣＤにより撮像された画像データは、まずＳＤＲＡＭ１２０の画像記憶部１２０−１に記憶される。この画像データは画像処理部１１０に読み出されてＹＣ生成部１１０−１によりＲＧＢからＹＣへの色変換処理が行われる。次に画像データはリサイズ処理部１１０−２において画像出力に適した画角にするためにその水平方向及び垂直方向のサイズが変更される。サイズが変更された画像データはＳＤＲＡＭ１２０のＹＣ記憶部１２０−２にいったん記憶される。

一方、ＣＰＵ１４０の制御のもとにカラーパレット１３０−２に適合するＯＳＤ（On Screen Display）データがＯＳＤ１〜３（１２０−４〜１２０−６）から選択されて読み出され、画像データ出力部１３０の重畳部（ＭＩＸ）１３０−３に送られる。重畳部１３０−３はＹＣ記憶部１２０−２から読み出した画像データにこのＯＳＤデータを重畳する処理を行う。ＯＳＤデータが重畳された画像データは画像データ出力部１３０から出力されて表示部１５０により表示される。表示部１５０の具体例としては液晶表示装置（ＬＣＤ）やＴＶ装置等が考えられる。

特開２００１−６１０５８号公報には上記したような画像処理を行う画像処理装置の一例を開示しており、ＤＲＡＭ２０から読み出された画像データを変倍回路３０，３２に供給し、変倍回路３０では圧縮記録用に画像サイズを変更し、変倍回路３２では表示用に画像サイズを変更している。
特開２００１−６１０５８号公報

上記したように従来の画像処理装置では、ＪＰＥＧ画像のためのサイズ変更処理と画像出力のためのサイズ変更処理との、２回に渡る画像処理（画像処理部を２周すること）が必要であり、処理時間が増大してしまう。このことは特に、例えばＭｏｔｉｏｎ−ＪＰＥＧ方式を採用したカメラによる撮影時のように短時間での処理が必要となる場合に問題となる。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、画像データに対する処理時間を短縮することが可能な画像処理装置を提供することにある。

上記の目的を達成するために、第１の発明は、垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、前記画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、前記垂直サイズ変更部で変更された画像データの水平方向のサイズを変更する処理を行う水平サイズ変更部と、前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部とを具備する。

また、第２の発明は、第１の発明に係る画像処理装置において、前記垂直サイズ変更部でのサイズ変更処理に先立って、前記画像データのサイズを変更する処理を行うサイズ変更部と、前記サイズ変更部により変更された画像データに対して圧縮処理を施して記憶用の圧縮データを生成する圧縮データ生成部とをさらに具備する。

また、第３の発明は、垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、前記画像データを記憶するための第１の記憶部と、前記第１の記憶部に記憶された画像データを読み出して所定の画像処理を行う画像処理部と、前記画像処理部からの画像データのサイズを変更する処理を行うサイズ変更部と、前記サイズ変更部からの画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、前記垂直サイズ変更部からの画像データを記憶する第２の記憶部と、前記第２の記憶部に記憶された画像データを読み出して該画像データの水平方向のサイズを変更する処理を行う水平サイズ変更部と、前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部とを具備する。

また、第４の発明は、垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、前記画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、前記垂直サイズ変更部により変更された画像データを記憶するための記憶部と、前記記憶部に記憶された画像データを読み出して該画像データの水平方向のサイズを変更する処理を行う水平サイズ変更部と、前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部とを具備する。

また、第５の発明は、垂直方向及び水平方向に２次元配列された画像データを処理する画像処理方法であって、前記画像データの垂直方向のサイズを変更する処理を行い、前記垂直方向のサイズが変更された画像データの水平方向のサイズを変更する処理を行い、前記垂直方向及び水平方向のサイズが変更された画像データを表示する。

また、第６の発明は、垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、前記画像データのサイズを変更する処理を行うサイズ変更部と、前記サイズ変更部により変更された画像データに対してＪＰＥＧ圧縮処理を施すＪＰＥＧ処理部と、前記ＪＰＥＧ処理部でのＪＰＥＧ圧縮処理と並行して、前記サイズ変更部により変更された画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、前記垂直サイズ変更部で変更された画像データの水平方向のサイズを変更する処理を行う処理を行う水平サイズ変更部と、前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部とを具備する。

また、第７の発明は、垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、前記画像データを、少なくとも画像処理を行う前に格納するとともに、画像処理を行った後にも格納し得る記憶部と、前記画像データの前記２次元配列におけるブロックを単位として、前記記憶部から前記ブロック内の画像データを行方向に読み出し、その後、該ブロック内の画像データを列方向に出力する第１のデータ順序変換部と、前記第１のデータ順序変換部から列方向に出力される画像データを入力して、該画像データのサイズを変更する処理を行った後に、該列方向に出力する画像処理部と、前記画像処理部から列方向に出力される画像データを、行方向の画像データに変換して出力する第２のデータ順序変換部と、前記第２のデータ順序変換部からの行方向の画像データに対してＪＰＥＧ圧縮処理を施すＪＰＥＧ処理部と、前記画像処理部からの列方向の画像データの垂直方向のサイズを変更する垂直サイズ変更部と、前記垂直サイズ変更部から列方向に出力される画像データを、行方向の画像データに変換して出力する第３のデータ順序変換部と、前記第３のデータ順序変換部からの行方向の画像データの水平方向のサイズを変更する水平サイズ変更部と、前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部と、を具備する。

また、第８の発明は、第１から４、６、７のいずれか１つの発明に係る画像処理装置において、前記画像データは動画データである。

また、第９の発明は、第１から４、６から８のいずれか１つの発明に係る画像処理装置において、前記画像データは被写体の撮影時に得られた画像データである。

また、第１０の発明は、第５の発明に係る画像処理方法において、前記画像データは動画データである。

また、第１１の発明は、第５の発明に係る画像処理方法において、前記画像データは被写体の撮影時に得られた画像データである。

本発明によれば、画像データの処理時間を短縮することが可能な画像処理装置を提供することができる。

（第１実施形態）
以下に、図面を参照して本発明の第１実施形態を詳細に説明する。図１は、本発明の第１の実施形態が適用される画像処理装置の概略構成を示すブロック図であり、画像処理部１０とＳＤＲＡＭ（記憶部）２０と、画像データ出力部３０とから構成される。本実施形態の画像処理部１０は、前記した図４の画像処理部１１０のＹＣ生成部１１０−１に相当するＹＣ生成部１０−１と、リサイズ処理部１１０−２に相当するリサイズ処理部１０−２と、ＪＰＥＧ処理部１１０−３に相当するＪＰＥＧ処理部１０−３に加えて、リサイズ処理部１０−２の後段に画像データの垂直方向のリサイズを行う垂直サイズ変更部としての垂直リサイズ処理部１０−４を有することを特徴とする。

また、本実施形態の画像データ出力部３０は、前記した図４の画像データ出力部１３０のカラーパレット１３０−２に相当するカラーパレット３０−２と、重畳部（ＭＩＸ）１３０−３に相当する重畳部（ＭＩＸ）３０−３に加えて、重畳部（ＭＩＸ）１３０−３の前段に、ＹＣ記憶部２０−２から読み出した画像データの水平方向のリサイズを行う水平サイズ変更部としての水平リサイズ処理部３０−１を有することを特徴とする。

垂直方向及び水平方向に２次元配列された画素から構成されるＣＣＤ（図示せず）により撮像された画像データはまず、ＳＤＲＡＭ２０の画像記憶部２０−１に記憶される。この画像データは画像処理部１０に読み出されてＹＣ生成部１０−１によりＲＧＢからＹＣへの色変換処理が行われる。次に画像データはリサイズ処理部１０−２においてＪＰＥＧ処理に適した画角にするためにその水平方向及び垂直方向のサイズが変更（リサイズ）される。垂直方向のリサイズでは例えば間引きまたは挿入などの処理が行われる。また、水平方向のリサイズでは例えば２点補間または４点Cubic補間が用いられる。

ＪＰＥＧ処理部１０−３ではサイズが変更された画像データに対してＪＰＥＧ圧縮処理を施す。ＪＰＥＧ圧縮された画像データは、ＳＤＲＡＭ２０のＪＰＥＧ記憶部２０−３に記憶される。

リサイズ処理部１０−２でリサイズされた画像データは ＪＰＥＧ処理部１０−３に送られると同時に垂直リサイズ処理部１０−４に送られて、当該画像データの垂直方向のサイズが変更されて画像出力に適した画角にされる。その後、画像データはＳＤＲＡＭ２０のＹＣ記憶部２０−２に記憶される。

表示時においてＹＣ記憶部２０−２に記憶された画像データは画像データ出力部３０に読み出されて水平リサイズ処理部３０−１により当該画像データの水平方向のサイズが変更されて画像出力に適した画角にされる。このようにして垂直方向及び水平方向についてリサイズされた画像データは重畳部（ＭＩＸ）３０−３に送られる。

このとき、ＣＰＵ４０の制御のもとにカラーパレット３０−２に適合するＯＳＤ（On Screen Display）データがＯＳＤ１〜３（２０−４〜２０−６）から選択されて読み出され、画像データ出力部３０の重畳部（ＭＩＸ）３０−３に送られる。重畳部３０−３はＹＣ記憶部２０−２から読み出した画像データにこのＯＳＤデータを重畳する処理を行う。ＯＳＤデータが重畳された画像データは画像データ出力部３０から出力されて表示部５０により表示される。表示部５０の具体例としては液晶表示装置（ＬＣＤ）やＴＶ装置等が考えられる。

上記したように第１実施形態では、画像処理部１０に垂直リサイズ処理部１０−４を設けるとともに、画像データ出力部３０に水平リサイズ処理部３０−１を設け、垂直リサイズ処理部１０−４では、ＪＰＥＧ処理に適した画角にされた画像データに対してさらに垂直方向のリサイズを行って画像出力に適した画角に変更し、水平リサイズ処理部３０−１では、ＪＰＥＧ処理に適した画角にされた画像データに対してさらに水平方向のリサイズを行って画像出力に適した画角に変更するようにしたので、１回の画像処理（画像処理部を１周すること）のみでＪＰＥＧ処理に適した画角と画像出力に適した画角とが得られ、処理時間を短縮することが可能になる。

また、垂直リサイズ処理部１０−４で画像データに対して垂直方向のリサイズを行った後、ＳＤＲＡＭ２０にいったん記憶し、その後、当該画像データをＳＤＲＡＭ２０から読み出して水平リサイズ処理部３０−１で水平方向のリサイズを行うようにしたので、メモリアクセスを効率的に行うことができる。

（第２実施形態）
図２は、本発明の第２実施形態に係る画像処理装置の概略構成を示すブロック図である。図３は、データ順序変換処理について説明するための図である。

第２実施形態の画像処理装置は、前記した図１の画像処理部１０の各要素に加えて、ＹＣ生成部１０−１の前段に第１のデータ順序変換部１０−５を設けるとともに、リサイズ処理部１０−２とＪＰＥＧ処理部１０−３の間に第２のデータ順序変換部１０−６を設け、さらに、垂直リサイズ処理部１０−４とＹＣ記憶部２０−２の間であって、画像処理部１０の内部に第３のデータ順序変換部１０−７を設けたことを特徴とする。

すなわち、第２実施形態では図３に示すように、ＹＣ生成処理及びリサイズ処理等の画像処理を行う前に第１のデータ順序変換部１０−５によりデータの順序を変換するとともに、リサイズ処理等の画像処理の後において第２のデータ順序変換部１０−６及び第３のデータ順序変換部１０−７によりデータの順序を変換するようにしている。

図３（ａ）はＳＤＲＡＭ２０に記憶されている１画面の画像データを表している。

まず、第１のデータ順序変換部１０−５の作用について説明する。ＳＤＲＡＭにおいては特性上高速に読み出すためにバースト転送読み出しが一般的に行われている。ここではこのバースト転送読み出しにより行方向に読み出したデータを列方向に並び替えて、ＹＣ生成部１０−１に入力させる必要がある。そのため図３（ｂ）に示すように、バースト長×基本単位の容量をもつ２つの小さなメモリａ、ｂ（ダブルバッファ）を用意し、ＳＤＲＡＭ２０から読み出したデータをメモリａとメモリｂに切り替えて書き込むようにし、一方のメモリａにデータを書き込んでいるときに、他方のメモリｂに書き込まれているデータを図示のように列方向に読み出し、ＹＣ生成部１０−１に入力する。次に、ＳＤＲＡＭ２０から読み出したデータをメモリｂに書き込み、その書き込み中にメモリａに書き込まれているデータを列方向に読み出し、ＹＣ生成部１０−１に入力する。以下、同様に２つのメモリａ，ｂの切り替え動作を行って、各行方向の処理データのＹＣ生成部１０−１への入力を行っている。

次に、第２のデータ順序変換部１０−６の作用について説明する。ここでの順序変換動作は図３（ｃ）に示すように、所定の容量を有する２つのメモリｃ及びメモリｄ（ダブルバッファ）を用い、リサイズ処理部１０−２から出力されたデータをメモリｃとメモリｄとで切り替えて交互に書き込むようにする。メモリｃ及びメモリｄには通常８×８または１６×１６構成のものが用いられる。リサイズ処理部１０−２から出力されるデータは列方向の並びとなっているのに対し、ＪＰＥＧ処理部１０−３で必要とする入力データは行方向の並びとなっているため、まず、メモリｃでリサイズ処理部１０−２からのデータを書き込んでいるとき、他方のメモリｄに書き込まれているデータを図示のように行方向に読み出し、ＪＰＥＧ処理部１０−３へ入力する。

なお、第３のデータ順序変換部１０−７の作用は、上記した第２のデータ順序変換部１０−６の作用と同一であるのでここでの詳細な説明は省略する。

上記した第２実施形態によれば、第１実施形態と同等の効果が得られる。

なお、上記した第１、第２実施形態では、本発明をデジタルカメラに適用した場合について説明したが、これに限定されず、カメラ付き携帯電話やＰＤＡなどのデジタル携帯機器にも適用可能であることは勿論である。

本発明の第１の実施形態が適用される画像処理装置の概略構成を示すブロック図である。 本発明の第２実施形態に係る画像処理装置の概略構成を示すブロック図である。 データ順序変換処理について説明するための図である。 従来の画像処理装置の概略構成を示すブロック図である。

符号の説明

１０…画像処理部、１０−１…ＹＣ生成部、１０−２…リサイズ処理部、１０−３…ＪＰＥＧ処理部、１０−４…垂直リサイズ処理部、１０−５…第１のデータ順序変換部、１０−６…第２のデータ順序変換部、１０−７…第３のデータ順序変換部、２０…ＳＤＲＡＭ、２０−１…画像記憶部、２０−２…ＹＣ記憶部、２０−３…ＪＰＥＧ記憶部、２０−４〜２０−６…ＯＳＤ１〜ＯＳＤ３、３０…画像データ出力部、３０−１…水平リサイズ処理部、３０−２…カラーパレット、３０−３…重畳部（ＭＩＸ）、４０…ＣＰＵ、５０…表示部。

Claims (11)

1. 垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、
   前記画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、
   前記垂直サイズ変更部で変更された画像データの水平方向のサイズを変更する処理を行う水平サイズ変更部と、
   前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部と、
   を具備することを特徴とする画像処理装置。
2. 前記垂直サイズ変更部でのサイズ変更処理に先立って、前記画像データのサイズを変更する処理を行うサイズ変更部と、
   前記サイズ変更部により変更された画像データに対して圧縮処理を施して記憶用の圧縮データを生成する圧縮データ生成部と、
   をさらに具備する請求項１記載の画像処理装置。
3. 垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、
   前記画像データを記憶するための第１の記憶部と、
   前記第１の記憶部に記憶された画像データを読み出して所定の画像処理を行う画像処理部と、
   前記画像処理部からの画像データのサイズを変更する処理を行うサイズ変更部と、
   前記サイズ変更部からの画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、
   前記垂直サイズ変更部からの画像データを記憶する第２の記憶部と、
   前記第２の記憶部に記憶された画像データを読み出して該画像データの水平方向のサイズを変更する処理を行う水平サイズ変更部と、
   前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部と、
   を具備することを特徴とする画像処理装置。
4. 垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、
   前記画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、
   前記垂直サイズ変更部により変更された画像データを記憶するための記憶部と、
   前記記憶部に記憶された画像データを読み出して該画像データの水平方向のサイズを変更する処理を行う水平サイズ変更部と、
   前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部と、
   を具備することを特徴とする画像処理装置。
5. 垂直方向及び水平方向に２次元配列された画像データを処理する画像処理方法であって、
   前記画像データの垂直方向のサイズを変更する処理を行い、
   前記垂直方向のサイズが変更された画像データの水平方向のサイズを変更する処理を行い、
   前記垂直方向及び水平方向のサイズが変更された画像データを表示する、
   ことを特徴とする画像処理方法。
6. 垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、
   前記画像データのサイズを変更する処理を行うサイズ変更部と、
   前記サイズ変更部により変更された画像データに対してＪＰＥＧ圧縮処理を施すＪＰＥＧ処理部と、
   前記ＪＰＥＧ処理部でのＪＰＥＧ圧縮処理と並行して、前記サイズ変更部により変更された画像データの垂直方向のサイズを変更する処理を行う垂直サイズ変更部と、
   前記垂直サイズ変更部で変更された画像データの水平方向のサイズを変更する処理を行う処理を行う水平サイズ変更部と、
   前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部と、
   を具備することを特徴とする画像処理装置。
7. 垂直方向及び水平方向に２次元配列された画像データを処理する画像処理装置であって、
   前記画像データを、少なくとも画像処理を行う前に格納するとともに、画像処理を行った後にも格納し得る記憶部と、
   前記画像データの前記２次元配列におけるブロックを単位として、前記記憶部から前記ブロック内の画像データを行方向に読み出し、その後、該ブロック内の画像データを列方向に出力する第１のデータ順序変換部と、
   前記第１のデータ順序変換部から列方向に出力される画像データを入力して、該画像データのサイズを変更する処理を行った後に、該列方向に出力する画像処理部と、
   前記画像処理部から列方向に出力される画像データを、行方向の画像データに変換して出力する第２のデータ順序変換部と、
   前記第２のデータ順序変換部からの行方向の画像データに対してＪＰＥＧ圧縮処理を施すＪＰＥＧ処理部と、
   前記画像処理部からの列方向の画像データの垂直方向のサイズを変更する垂直サイズ変更部と、
   前記垂直サイズ変更部から列方向に出力される画像データを、行方向の画像データに変換して出力する第３のデータ順序変換部と、
   前記第３のデータ順序変換部からの行方向の画像データの水平方向のサイズを変更する水平サイズ変更部と、
   前記垂直サイズ及び水平サイズが変更された画像データを表示する表示部と、
   を具備することを特徴とする画像処理装置。
8. 前記画像データは動画データであることを特徴とする請求項１から４、６、７のいずれか１つに記載の画像処理装置。
9. 前記画像データは被写体の撮影時に得られた画像データであることを特徴とする請求項１から４、６から８のいずれか１つに記載の画像処理装置。
10. 前記画像データは動画データであることを特徴とする請求項５に記載の画像処理方法。
11. 前記画像データは被写体の撮影時に得られた画像データであることを特徴とする請求項５に記載の画像処理方法。

Images