JP2011155693A - 画像処理装置および画像処理装置に接続される装置 - Google Patents

Abstract

【課題】装置構成を増大させることなく、低コストな構成で、かつ、ＶＡＬＩＤ信号やクロック信号に特別の制御を加えることなく、モジュール間でＪＰＥＧデータを転送する技術を提供することを課題とする。
【解決手段】圧縮処理部３２２により、時間方向で離散的なＪＰＥＧデータが出力されると、有効データがＦＩＦＯ３２４に蓄積される。所定サイズの有効データがＦＩＦＯ３２４に蓄積されると、カプセル化処理部３２３が、有効データＪＤの前後にマーカーＭＡ,ＭＢを付加し、ＪＰＥＧストリームデータをホスト制御モジュールに転送する。このストリームデータには、有効データＪＤをマーカーＭＡ,ＭＢでカプセル化したカプセル化データＣＤと無効データが含まれる。ホスト制御モジュールは、このストリームデータをそのままＳＤＲＡＭに格納する。そして、マーカーＭＡ,ＭＢをサーチすることで、有効データＪＤを取得し、ＪＰＥＧデータを再製する。
【選択図】図１

Description

本発明は、ＪＰＥＧやＪＰＥＧ２０００等の圧縮画像データのモジュール間転送技術に関する。

撮像装置の低価格化、縮小化に伴い、様々な電子機器にカメラ機能が付加されようになっている。たとえば、カメラ付携帯電話などである。図８は、従来のカメラ付携帯電話１００のブロック図である。カメラ付携帯電話１００は、ホスト制御モジュール１０１と画像処理モジュール１０２とを備えている。

ホスト制御モジュール１０１は、携帯電話の本来の機能である通話処理のほか、データ通信処理などを実行するモジュールである。画像処理モジュール１０２は、撮像素子（図示省略）から入力した画像データに各種の画像処理を実行するモジュールである。たとえば、色補間処理、色空間変換処理、ガンマ変換処理などを実行する。また、画像処理モジュール１０２は、画像データをＪＰＥＧやＪＰＥＧ２０００などで圧縮する機能を備えている。

このように、一般に、カメラ付携帯電話は、ホスト制御モジュールと画像処理モジュールとを備えている。つまり、携帯電話のメインの機能を処理するモジュールとは別に、撮像画像に画像処理を実行するモジュールを搭載するようにしている。このような構成がとられるのは、撮像素子や画像処理モジュールを製造する工程と、ホスト制御モジュールを製造する工程とを分離することが可能となるからである。たとえば、カメラメーカが撮像素子と画像処理モジュールとからなるカメラモジュールを製造し、携帯電話メーカがホスト制御モジュールを製造するという役割分担が可能となる。また、モジュールを分離することで、各モジュールに汎用性を持たせることが可能となる。

このように、カメラ付携帯電話では、画像処理モジュールとホスト制御モジュールとが別モジュールで構成されている。このため、画像処理モジュールにおいて処理された画像データをホスト制御モジュールに転送する仕組みが必要である。たとえば、カメラで撮影した画像データをメールで転送する場合には、まず、画像処理モジュールにおいてＪＰＥＧデータを生成し、そのＪＰＥＧデータをホスト制御モジュールに転送する必要が生じる。

ここで、従来のカメラ付携帯電話１００では、図８に示すように、画像処理モジュール１０２が、ＳＤＲＡＭ１０３にＪＰＥＧデータを記録し、ホスト制御モジュール１０１が、ＳＤＲＡＭ１０３に記録されたＪＰＥＧデータを読み出すようにしていた。あるいは、ホストＩ／Ｆを用いて画像処理モジュール１０２からホスト制御モジュール１０１にＪＰＥＧデータを転送するようにしていた。

別の方法を図９に示す。この従来のカメラ付携帯電話１１０は、画像処理モジュール１０２とホスト制御モジュール１０１間を接続するＹＵＶデータパス１０４を用いてＪＰＥＧデータを転送するようにしている。

ここで、画像処理モジュール１０２は、ＹＵＶ画像データをＪＰＥＧデータに変換するが、連続的に入力されるＹＵＶ画像データに対して、ＪＰＥＧデータは、時間方向で離散的に生成され、出力される。図１０は、ＪＰＥＧ圧縮処理部に入力されるＹＵＶ画像データの信号列を示している。ＹＵＶ画像データは、Ｙ→Ｕ→Ｙ→Ｖ→Ｙ→Ｕ→Ｙ→Ｖというように、１クロックごとに、Ｙ信号とＵ信号（またはＶ信号）が交互に繰り返されるデータである。このように、１クロックごとに、１画素分のＹＵＶ画像データがＪＰＥＧ圧縮処理部に供給されるのに対して、図１１および図１２に示すように、出力されるＪＰＥＧデータは、離散的である。図１１および図１２で示すDoutは、出力データを示しており、この中で網掛けした部分が、有効データ部分である。

このように、出力されるＪＰＥＧデータが時間方向で離散的となるのは、ＪＰＥＧ圧縮されることにより、ＹＵＶ画像データに比べてＪＰＥＧデータのデータサイズが小さくなるからである。また、圧縮比率は、画像の内容によって変化するため、データの出力されるタイミングや、データサイズは一定ではない。

画素数の少ない画像データであれば、圧縮済みの１フレーム分のＪＰＥＧデータを、一旦、外部メモリに格納してから（つまり、離散的なデータの有効データ部分のみを外部メモリに記録してから）、ＹＵＶデータパス１０４に連続的に出力するという方法をとることが可能である。しかし、画素数が多くなると、一画面のＪＰＥＧデータを外部メモリに格納することができない。あるいは、非常に大きな容量の外部メモリを使用するとなると、コストを高くするとともに、消費電力を増大させることになる。最近の撮像素子は、画素数が非常に多くなっているため、これは避けられない問題である。

このような問題を解決する１つの方法として、従来、時間方向で離散的に生成されたＪＰＥＧデータを、そのままホスト制御モジュール１０１に対して転送し、ＶＡＬＩＤ信号あるいは出力データクロックを利用して、ホスト制御モジュール側でＪＰＥＧデータを再製するようにしていた。

図１１は、ＶＡＬＩＤ信号を制御する方法を示す図である。図は、画像処理モジュール１０２からホスト制御モジュール１０１に対して転送されるピクセルクロック信号（PIXCLK）、フレームＶＡＬＩＤ信号（FRAME_VALID）、ラインＶＡＬＩＤ信号（LINE_VALID）、出力データ（Dout）を示す図である。この方法では、有効データ（ＪＰＥＧデータ）が出力されるタイミングに同期して、ラインＶＡＬＩＤ信号をHighレベルに制御している。ホスト制御モジュール１０１は、このラインＶＡＬＩＤ信号を読み取り、Highレベル状態にあるタイミングで出力データをメモリに格納するのである。これにより、ホスト制御モジュール１０１は、ストリームデータの中から有効なデータのみをメモリに格納し、ＪＰＥＧデータを再製するようにしている。

図１２は、ピクセルクロック信号を用いる方法を示す図である。この方法では、有効データ（ＪＰＥＧデータ）が出力されるタイミングに同期してピクセルクロック信号を出力し、有効データが出力されない期間、ピクセルクロック信号をゲーティングするようにしている。ホスト制御モジュール１０１は、このピクセルクロック信号を読み取り、ピクセルクロック信号を入力するタイミングで出力データをメモリに格納するのである。これにより、ホスト制御モジュール１０１は、ストリームデータの中から有効なデータのみをメモリに格納し、ＪＰＥＧデータを再製するようにしている。

上述したように、従来のカメラ付携帯電話１００は、ＳＤＲＡＭ１０３を用いてＪＰＥＧデータを転送するようにしていたが、外部メモリを接続する構成であるため、コスト高となっていた。また、消費電力が増大するとともに、装置構成が大きくなるため、基板スペースを圧迫するという問題もあった。

また、従来のカメラ付携帯電話機１１０は、ＹＵＶデータパス１０４を用いてＪＰＥＧデータを転送するようにしていたが、この方法を実現するためには、ホスト制御モジュール１０１に対応する構成が必要となる。

たとえば、図１１で示す方法であれば、ホスト制御モジュール１０１が、ＶＡＬＩＤ信号のレベルに応じて入力信号を取得、あるいは破棄するといった制御を行う回路を備えている必要がある。しかし、一般的には、そのような回路を備えていないホスト制御モジュールが多い。

また、ホスト制御モジュール１０１が、ピクセルクロックのゲーティングを許さない場合には、図１２で示す方法をとることができない。たとえば、ホスト制御モジュール１０１が、撮像装置からのピクセルクロックをＰＬＬに入力して逓倍クロックを作っている場合などは、ピクセルクロックを停止させることができない。

しかし、ホスト制御モジュール１０１が、離散的に出力されたＪＰＥＧデータを、そのままＹＵＶデータ同様にメモリに格納すると、有効データと無効データが混在した状態となるので、有効データだけを取り出してＪＰＥＧデータを再製することができない。

そこで、本発明は前記問題点に鑑み、装置構成を増大させることなく、低コストな構成で、かつ、ＶＡＬＩＤ信号やクロック信号に特別の制御を加えることなく、モジュール間でＪＰＥＧデータを転送する技術を提供することを目的とする。

請求項１記載の発明は、撮像装置より得られた画像信号に画像処理を行う装置であって、画像信号を圧縮し、圧縮データを出力する処理手段と、非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、を備え、前記処理手段は、時間方向で離散的に出力される圧縮データのデータ有効部分のみを記録するバッファと、前記バッファに格納されたデータ有効部分のまとまりに間隔情報を加えて、一定サイズのカプセル化データを生成する手段と、を含み、前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力し、前記間隔情報として、次のカプセル化データまでの情報が記録されていることを特徴とする。

請求項２記載の発明は、請求項１に記載の画像処理装置において、前記処理手段は、先頭のカプセル化データに、カプセル化データのデータサイズを埋め込むことを特徴とする。

請求項３記載の発明は、撮像装置より得られた画像信号に画像処理を行う装置であって、画像信号を圧縮し、圧縮データを出力する処理手段と、非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、を備え、前記処理手段は、時間方向で離散的に出力される圧縮データのデータ有効部分のみを記録するバッファと、前記バッファに格納されたデータ有効部分のまとまりに間隔情報を加えて、一定サイズのカプセル化データを生成する手段と、を含み、前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力し、前記間隔情報として、前のカプセル化データまでの情報が記録されていることを特徴とする。

請求項４記載の発明は、請求項３に記載の画像処理装置において、前記処理手段は、１フレームデータ領域のストリームデータの最後に、最終のカプセル化データまでの間隔情報を記録することを特徴とする。

請求項５記載の発明は、請求項３に記載の画像処理装置において、前記処理手段は、１フレームデータ領域のストリームデータの最後に、最終のカプセル化データを記録することを特徴とする。

請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記処理手段は、最終のカプセル化データに、最終カプセルのデータサイズを埋め込むことを特徴とする。

請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記処理手段は、最終のカプセル化データに、１フレームデータ全体のデータサイズを埋め込むことを特徴とする。

請求項８記載の発明は、請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記処理手段は、最終のカプセル化データの最後に、マーカーを付加することを特徴とする。

請求項９記載の発明は、請求項１ないし請求項８のいずれかに記載の画像処理装置において、前記処理手段は、最終のカプセル化データに、最終カプセルであることを示す情報を埋め込むことを特徴とする。

請求項１０記載の発明は、請求項１ないし請求項９のいずれかに記載の画像処理装置において、前記間隔情報は、カプセル化データの時間間隔情報またはメモリアドレス間隔情報、を含むことを特徴とする。

請求項１１記載の発明は、請求項１ないし請求項１０のいずれかに記載の画像処理装置において、前記画像処理装置における動作周波数と、前記出力インタフェースから出力するデータの転送周波数が異なる場合、前記転送周波数に合わせて前記バッファからのデータの読み出しを制御することを特徴とする。

請求項１２記載の発明は、請求項１ないし請求項１１のいずれかに記載の画像処理装置と接続される装置であって、非圧縮の画像信号を入力する入力インタフェースと、制御手段と、メモリと、を備え、前記画像処理装置の前記出力インタフェースから出力されたストリームデータを、前記入力インタフェースから入力し、入力したストリームデータが、前記メモリに格納され、前記制御手段は、前記カプセル化データに格納された前記間隔情報に基づいて、圧縮データを再製することを特徴とする。

本発明の画像処理装置は、時間方向で離散的に出力されるＪＰＥＧデータの有効データにマーカーを付加するので、無効データも含めたＪＰＥＧストリームデータをそのまま外部の装置に転送することができる。外部の装置は、マーカーをサーチしてＪＰＥＧデータを再製できるからである。これにより、画像処理装置は、容量の大きいメモリをＪＰＥＧデータの転送用に用意する必要がない。したがって、装置構成の縮小化と、低コスト化を図ることが可能である。

また、時間方向で離散的に出力されるＪＰＥＧデータの有効データに間隔情報を付加するので、無効データも含めたＪＰＥＧストリームデータをそのまま外部の装置に転送することができる。外部の装置は、間隔情報を利用してＪＰＥＧデータを再製できるからである。これにより、画像処理装置は、容量の大きいメモリをＪＰＥＧデータの転送用に用意する必要がない。したがって、装置構成の縮小化と、低コスト化を図ることが可能である。

実施の形態に係るカメラ付携帯電話のブロック図である。 ２バンクのＦＩＦＯを示す図である。 カプセル化データを含むＪＰＥＧストリームデータを示す図である。 ホスト制御モジュールのメモリに格納されたＪＰＥＧストリームデータのイメージ図である。 リサイズされた画像データを示す図である。 マーカーに埋め込まれた間隔情報を示す図である。 カプセル化データに埋め込まれた間隔情報とカプセルサイズを示す図である。 ＳＤＲＡＭを介在させてＪＰＥＧデータを転送する構成を示す図である。 ＹＵＶデータパスを用いてＪＰＥＧデータを転送する構成を示す図である。 ＹＵＶ画像データの信号列を示す図である。 ＶＡＬＩＤ信号を制御して、ＪＰＥＧデータを転送する方法を示す図である。 ピクセルクロック信号をゲーティングすることにより、ＪＰＥＧデータを転送する方法を示す図である。

｛第１の実施の形態｝
以下、図面を参照しつつ本発明の第１の実施の形態について説明する。図１は、実施の形態に係るカメラ付携帯電話１のブロック図である。カメラ付携帯電話１は、撮像装置２と、画像処理モジュール３と、ホスト制御モジュール４と、ＬＣＤ５と、ＳＤＲＡＭ６とを備えている。画像処理モジュール３は、本発明の画像処理装置の１つの実施の形態である。画像処理装置は、画像信号に圧縮処理を実行する機能を備えるものであるが、この実施の形態では、画像処理モジュール３は、圧縮処理機能として、ＪＰＥＧ圧縮機能を備えている場合を例に説明する。

撮像装置２は、ＣＣＤ、ＣＭＯＳなどの撮像素子２１と、撮像素子２１から出力されたアナログの画像データをデジタル変換するＡ／Ｄ変換器２２を備えている。撮像装置２から出力されたデジタルの画像データは、画像処理モジュール３に転送される。

画像処理モジュール３は、フィルタ処理部３１と、ＪＰＥＧ処理部３２と、２つのラインメモリ３３ａ,３３ｂと、セレクタ３４と、ＹＵＶインタフェース３５とを備えている。

フィルタ処理部３１は、撮像装置２から入力したデジタルの画像データに様々な画像処理を実行する。たとえば、画素補間処理やガンマ変換処理を実行する。また、撮像装置２から出力される画像データがＲＧＢデータである場合には、ＹＵＶ色空間データへの変換処理を行う。

フィルタ処理部３１において処理された画像データは、以下に示す２つの方法でホスト制御モジュール４に転送される。１つは、ライブビュー用のため、ＹＵＶ画像データとしてホスト制御モジュール４に転送される。もう１つは、記録用等のため、ＪＰＥＧデータとしてホスト制御モジュール４に転送される。

まず、ライブビュー処理について説明する。フィルタ処理部３１から出力されたＹＵＶ画像データは、２つのラインメモリ３３ａ,３３ｂを介して、セレクタ３４へと出力される。フィルタ処理部３１から出力されたＹＵＶ画像データは、ラインメモリ３３ａ,３３ｂの一方のラインメモリに蓄積される。そして、ＹＵＶ画像データが蓄積された一方のラインメモリからセレクタ３４にデータが転送されているタイミングで、他方のラインメモリがフィルタ処理部３１から出力されたＹＵＶ画像データを蓄積するのである。このように、ラインメモリ３３ａ,３３ｂが交互にＹＵＶ画像データの蓄積と出力を切替えることにより、フィルタ処理部３１から出力されたＹＵＶ画像データが連続的にセレクタ３４へ出力される。

セレクタ３４は、ライブビュー時には、ラインメモリ３３ａ,３３ｂから出力されるＹＵＶ画像データをＹＵＶインタフェース３５に出力するように制御されている。したがって、フィルタ処理部３１、ラインメモリ３３ａ,３３ｂを介して連続的に出力されたＹＵＶ画像データが、ＹＵＶインタフェース３５を介してホスト制御モジュール４に転送される。

ホスト制御モジュール４では、ＹＵＶインタフェース４２が、ライブビュー用のＹＵＶ画像データを入力する。そして、ＣＰＵ４１や図示せぬＬＣＤコントローラの制御により、連続的に入力するＹＵＶ画像データをＬＣＤ５に出力するのである。これにより、ユーザは、撮像素子２が撮像している画像をリアルタイムで参照することが可能である。

次に、本発明の特徴部分でもあるＪＰＥＧデータの転送方法について説明する。フィルタ処理部３１から出力されたＹＵＶ画像データは、圧縮処理部３２２においてＪＰＥＧ圧縮される。また、圧縮処理部３２２の前段には、２つのラインメモリ３２１ａ,３２１ｂが設けられている。ラインメモリ３２１ａ,３２１ｂは、それぞれ８ライン分のＹＵＶ画像データを保持することが可能であり、一方のラインメモリに８ライン分のＹＵＶ画像データが蓄積されているタイミングで、他方のラインメモリに蓄積されている８ライン分のＹＵＶ画像データが、圧縮処理部３２２に供給される。そして、圧縮処理部３２２は、８ライン分のＹＵＶ画像データを用いて、ＪＰＥＧ圧縮処理を実行するのである。ＪＰＥＧ圧縮処理は、８×８画素のブロック単位で処理が実行されるので、このように圧縮処理部３２２は、８ライン分のＹＵＶ画像データを保持可能なラインメモリ３２１ａ,３２１ｂのうち、いずれか一方のラインメモリから出力されたデータを用いてＪＰＥＧ圧縮処理を実行可能としているのである。つまり、ＪＰＥＧ処理部３２は、ＪＰＥＧ圧縮処理を実行するために、１画面分の全てのＹＵＶ画像データを保持しておく必要はない。

圧縮処理部３２２においてＪＰＥＧ圧縮処理が実行されると、圧縮後のＪＰＥＧデータが出力される。２つのラインメモリ３２１ａ,３２１ｂから交互に出力されるＹＵＶ画像データは、時間方向で連続的なデータである。これに対して、圧縮処理部３２２から出力されるＪＰＥＧデータは、時間方向で離散的なデータである。圧縮処理部３２２は、この離散的に出力されたＪＰＥＧデータを、ＦＩＦＯ３２４に格納する。

図２は、ＦＩＦＯ３２４のブロック図である。ＦＩＦＯ３２４は、２バンクのバッファ３２４ａ,３２４ｂで構成されている。圧縮処理部３２２から出力されたＪＰＥＧデータは、バッファ３２４ａ,３２４ｂのうち一方のバッファに蓄積される。そして、一方のバッファにＪＰＥＧデータが蓄積されているタイミングで、他方のバッファに蓄積されていたＪＰＥＧデータがセレクタ３４へと出力されるのである。

圧縮処理部３２２は、圧縮後のＪＰＥＧデータ、つまり、有効なデータ部分をバッファ３２４ａあるいはバッファ３２４ｂに格納する。そして、有効データが所定データ量蓄積された時点で、カプセル化処理部３２３が、バッファ３２４ａあるいはバッファ３２４ｂに格納されている有効データをカプセル化するのである。たとえば、カプセル化処理部３２３は、バッファ３２４ａあるいはバッファ３２４ｂに８バイト分のＪＰＥＧデータ（有効データ）が蓄積された時点で、有効データをカプセル化するのである。具体的には、カプセル化処理部３２３は、バッファ３２４ａあるいはバッファ３２４ｂからセレクタ３４に対して出力される有効データのまとまりの先頭部分にスタートマーカーＭＡを付加し、有効データのまとまりの最終にエンドマーカーＭＢを付加するのである。図３は、バッファ３２４ａあるいはバッファ３２４ｂから出力されるカプセル化データＣＤを含むストリームデータを示す図である。図に示すように、このストリームデータには、カプセル化データＣＤと、無効データ（図のNO DATAと表記した部分）が含まれている。そして、上記のようにカプセル化データＣＤは、スタートマーカーＭＡと、エンドマーカーＭＢと、これらマーカーＭＡ,ＭＢでカプセル化されたＪＰＥＧの有効データＪＤ（図のDATA部分）とからなる。

ＪＰＥＧデータの転送時、セレクタ３４は、バッファ３２４ａ,３２４ｂから入力した信号をＹＵＶインタフェース３５へと出力するよう制御される。したがって、図３で示すようなストリームデータがＹＵＶインタフェース３５を介してホスト制御モジュール４に転送される。このように、本実施の形態において、画像処理モジュール３からホスト制御モジュール４に転送されるＪＰＥＧデータは、時間方向で離散的なデータであるが、その有効データ部分の前後にマーカーＭＡ,ＭＢが付加されているのである。

ホスト制御モジュール４では、ＹＵＶインタフェース４２により、マーカー付のＪＰＥＧストリームデータを受け取る。そして、ＣＰＵ４１は、そのストリームデータを、そのままＳＤＲＡＭ６に格納する。図４は、ＳＤＲＡＭ６に格納されたストリームデータのイメージ図である。図に示すように、ＳＤＲＡＭ６には、カプセル化データＣＤが記録される領域と、無効データが記録される領域とが混在している。

そこで、ＣＰＵ４１は、ＳＤＲＡＭ６に格納されているデータのスタートマーカーＭＡあるいはエンドマーカーＭＢをサーチして、カプセル化データＣＤを特定し、このカプセル化データＣＤからマーカーＭＡ,ＭＢを取り除いて有効データＪＤを得るのである。そして、全てのカプセル化データＣＤをサーチして、同様の処理を繰り返すことで、全ての有効データＪＤを取得し、ＪＰＥＧデータを再製するのである。

このように、本実施の形態によれば、画像処理モジュール３は、時間方向で離散的に出力されるＪＰＥＧデータを、無効データも含めたストリームデータとして、ホスト制御モジュール４に転送する。したがって、画像処理モジュール３は、有効データ部分のみを集めてＪＰＥＧデータを生成する必要がないので、大きな容量のＳＤＲＡＭなどを備える必要はない。したがって、画像処理モジュール３のモジュール構成の縮小化と低コスト化を実現可能である。そして、転送される有効データＪＤは、マーカーＭＡ,ＭＢが付加されてカプセル化されるので、ホスト制御モジュール４は、受け取ったストリームデータをそのままＳＤＲＡＭ６に格納した後で、ＪＰＥＧデータを再製可能である。したがって、ＶＡＬＩＤ信号を制御したり、ピクセルクロック信号をゲーティングしたりすることなく、ＪＰＥＧデータを再製可能である。

なお、１フレーム分のＪＰＥＧストリームデータの中で、最終のカプセル化データＣＤには、最終のカプセル化データであることを示す情報を埋め込んでおくようにしてもよい。これにより、１フレームの最後のデータを明示的に示すことが可能であり、ホスト制御モジュール４における処理上、利便性がよい。

なお、画像処理モジュール３の動作周波数（処理クロック）と、ホスト制御モジュール４へのＹＵＶインタフェースを用いた転送周波数（転送クロック）が異なる場合には、ＦＩＦＯ３２４において、タイミングを調整できるため、モジュール間でクロックが異なる場合にも、本実施の形態は、適用可能である。つまり、ＦＩＦＯ３２４において、転送周波数に合わせるようにカプセル化データＣＤを出力するタイミングを制御すればよい。

また、上述したライブビュー時のＹＵＶ画像データの処理であるが、撮像素子２の画素数の増大とともに、ＹＵＶインタフェースの転送周波数が非常に高くなるという問題がある。転送周波数が高くなると、消費電力が増大するとともに、Ｓ／Ｎ比が低下するという問題が生じるからである。さらには、ホスト制御モジュール４のＹＵＶインタフェース４２が、撮像素子２における画素信号の出力周波数に適応できない場合がある。

このような問題を解決するために、ライブビュー時には、画像処理モジュール３において、図５に示すように、ＹＵＶ画像データをリサイズした上で、ホスト制御モジュール４に転送することとする。図中、Ｐ１は、撮像素子２から出力された画像であり、Ｐ２は、リサイズ後の画像を示している。そして、ホスト制御モジュール４に転送する１画面の画像データのサイズを小さくした上で、撮像素子２の画素信号の出力周波数よりも低い周波数で、ＹＵＶ画像データを転送するようにするのである。この方法をとることにより、ＹＵＶインタフェースの転送周波数を低くすることが可能である。

また、撮像素子２の動作周波数とＹＵＶインタフェースの動作周波数が異なる場合にも、ＹＵＶ画像データをリサイズすることによって、転送周波数を低くし、対応することが可能である。

｛第２の実施の形態｝
次に、本発明の第２の実施の形態について説明する。第２の実施の形態における画像処理モジュール３は、第１の実施の形態における画像処理モジュール３の機能に加えて、カプセル化データＣＤの中に、カプセル化データＣＤ間の間隔情報を記録する機能を備えている。ここで、間隔情報とは、ＪＰＥＧストリームデータ中におけるカプセル化データＣＤの間隔を示している。つまり、図３において、無効データ（NO DATA）が転送されている時間、あるいは、図４において、無効データ（NO DATA）が格納されているメモリアドレスの幅を示している。

間隔情報Ｄ１は、図６に示すように、スタートマーカーＭＡの中に埋め込まれる。あるいは、エンドマーカーＭＢの中に埋め込まれてもよい。間隔情報Ｄ１は、カプセル化データＣＤの中のいずれかの場所に格納すればよく、たとえば、スタートマーカーＭＡと有効データＪＤとの間に挿入してもよい。

この間隔情報Ｄ１には、次のカプセル化データＣＤまでの情報が記録されている。間隔情報Ｄ１は、上述したように、カプセル化データＣＤが転送される時間間隔、あるいはカプセル化データＣＤがメモリに格納される際のアドレス間隔の情報である。

このように、カプセル化データＣＤに間隔情報Ｄ１が記録されることにより、ホスト制御モジュール４において、ＪＰＥＧデータを再製する際の処理効率を向上させることが可能である。つまり、ＣＰＵ４１は、ＳＤＲＡＭ６に格納されている先頭のカプセル化データＣＤを取得した後は、この間隔情報Ｄ１の内容を読み取り、間隔情報Ｄ１に従って、次のカプセル化データＣＤを取得すればよいので、全てのアドレスに格納されたデータに対してマーカーをサーチする場合と比べて処理を高速化させることが可能である。

しかし、ＪＰＥＧ処理部３２において、出力されるＪＰＥＧデータのタイミングは、一定ではないことを前に説明した。したがって、全てのカプセル化データＣＤについて、次のカプセル化データＣＤまでの間隔を特定できるとは限らない。そこで、ある程度までは、カプセル化データＣＤの出力するタイミングを予測し、間隔情報Ｄ１を書き込むようにする。そして、予測が不可能となった際には、間隔情報Ｄ１として、間隔が不定であることを示す情報を記録するのである。ホスト制御モジュール４では、間隔情報Ｄ１として、次のカプセル化データＣＤまでの間隔を示す情報が記録されている場合には、この情報に従って、次のカプセル化データＣＤを取得すればよい。そして、間隔が不定であることを示す情報が含まれていた場合には、第１の実施の形態で説明したように、マーカーをサーチするようにすればよい。

また、ホスト制御モジュール４は、カプセル化データＣＤに埋め込まれた間隔情報Ｄ１を利用して、カプセル化データＣＤを取得するようにしてもよいし、第１の実施の形態と同様、マーカーＭＡ,ＭＢをサーチしてカプセル化データＣＤを取得するようにしてもよい。これらいずれの処理を実行するかを選択可能にしてもよい。

｛第３の実施の形態｝
次に、本発明の第３の実施の形態について説明する。第３の実施の形態における画像処理モジュール３は、第１の実施の形態における画像処理モジュール３の機能に加えて、カプセル化データＣＤの中に、カプセル化データＣＤ間の間隔情報を記録する機能を備えている。ただし、第２の実施の形態とは異なり、前のカプセル化データＣＤとの間の間隔情報が記録される。

間隔情報Ｄ１は、第２の実施の形態と同様、図６に示すように、スタートマーカーＭＡあるいはエンドマーカーＭＢに埋め込まれる。あるいは、カプセル化データＣＤ内のその他の部分に挿入されてもよい。

この間隔情報Ｄ１には、前のカプセル化データＣＤまでの間隔情報が記録されている。間隔情報としては、第２の実施の形態と同様、時間間隔あるいはアドレス間隔が指定されている。

このように、カプセル化データＣＤに間隔情報Ｄ１が記録されることにより、ホスト制御モジュール４において、ＪＰＥＧデータを再製する際の処理効率を向上させることが可能である。つまり、ＣＰＵ４１は、ＳＤＲＡＭ６に格納されている最終のカプセル化データＣＤを取得した後は、この間隔情報Ｄ１に従って、前のカプセル化データＣＤを取得すればよいので、全てのアドレスに格納されたデータに対してマーカーをサーチする場合と比べて処理を高速化させることが可能である。

そして、第２の実施の形態とは異なり、この実施の形態においては、全てのカプセル化データＣＤについて、間隔情報Ｄ１として、次のカプセル化データＣＤまでの間隔を指定した情報を記録することが可能である。つまり、次のカプセル化データＣＤまでの間隔は、予測不可能な場合が生じるが、前のカプセル化データＣＤまでの間隔は、必ず特定できるからである。

また、この実施の形態においては、最終のカプセル化データＣＤを最初に取得する必要性がある。そこで、次のような方法をとることで、最終カプセル化データの取得処理の効率化を図るようにしてもよい。

１つの方法としては、１フレームデータ領域のストリームデータの最後に、最終のカプセル化データＣＤまでの間隔情報を記録するという方法である。つまり、図３で示したように、ＪＰＥＧのストリームデータには、カプセル化データＣＤと無効データが含まれるが、このストリームデータの最後に、最終のカプセル化データＣＤまでの間隔情報を記録しておくのである。これにより、最終のカプセル化データＣＤについても、マーカーＭＡ,ＭＢをサーチすることなく、格納位置を特定することが可能である。なお、間隔情報とは、上記の間隔情報Ｄ１と同様、時間間隔あるいはアドレス間隔である。

また、別の方法としては、１フレームデータ領域のストリームデータの最後に、最終のカプセル化データＣＤを記録するという方法である。この方法であれば、１フレームデータの最終部分から即座に最終のカプセル化データＣＤを取得可能であり、やはり、最終のカプセル化データＣＤについても、マーカーＭＡ,ＭＢをサーチすることなく、格納位置を特定することが可能である。

ホスト制御モジュール４は、カプセル化データＣＤに埋め込まれた間隔情報Ｄ１を利用して、カプセル化データＣＤを取得するようにしてもよいし、第１の実施の形態と同様、マーカーＭＡ,ＭＢをサーチしてカプセル化データＣＤを取得するようにしてもよい。これらいずれの処理を実行するかを選択可能にしてもよい。

｛第４の実施の形態｝
第２および第３の実施の形態では、有効データＪＤにマーカーＭＡ,ＭＢを付加してカプセル化した上で、間隔情報Ｄ１を埋め込むようにした。これに対して、第４の実施の形態は、マーカーＭＡ,ＭＢを付加することなく、間隔情報Ｄ１のみを用いてカプセル化データＣＤを構成するものである。なお、有効データＪＤの前後にマーカーは付加されないが、有効データＪＤ（あるいは、そのまとまり）に間隔情報Ｄ１が付加されることで、カプセル化されたと表現することとする。

マーカーを利用することなく、間隔情報Ｄ１のみを用いるこの実施の形態では、あらかじめカプセル化データＣＤのカプセルサイズが定められている。そして、画像処理モジュール３およびホスト制御モジュール４は、定められたカプセルサイズに従って処理を実行する。あるいは、明示的に、画像処理モジュール３が、カプセル化データＣＤのカプセルサイズをホスト制御モジュール４に通知するようにする。そして、一定のデータサイズのカプセル化データＣＤを転送するのである。

カプセル化データＣＤのカプセルサイズを通知する方法としては、次の方法が挙げられる。間隔情報Ｄ１が、次のカプセル化データＣＤまでの間隔情報である場合には、先頭のカプセル化データＣＤにカプセルサイズを記録するようにする。図７は、カプセル化データＣＤ内に、間隔情報Ｄ１と、カプセルサイズＤ２が記録されているイメージを示す図である。これにより、ホスト制御モジュール４は、間隔情報Ｄ１によりカプセル化データＣＤの転送間隔を知ることができ、さらに、カプセルサイズを先頭のカプセル化データＣＤより得られるので、全てのカプセル化データＣＤを取得することができる。

間隔情報Ｄ１が、前のカプセル化データＣＤまでの間隔情報である場合には、最終のカプセル化データＣＤにカプセルサイズを記録するようにする。これにより、ホスト制御モジュール４は、間隔情報Ｄ１によりカプセル化データＣＤの転送間隔を知ることができ、さらに、カプセルサイズを最終のカプセル化データＣＤより得られるので、全てのカプセル化データＣＤを取得することができる。なお、第３の実施の形態で説明したように、１フレームデータ領域のストリームデータの最後に、最終のカプセル化データＣＤまでの間隔情報を記録するか、最終のカプセル化データＣＤを記録しておくことで、最終のカプセル化データＣＤは、取得可能である。

このような仕組みにより、ホスト制御モジュール４は、ＳＤＲＡＭ６に格納されているカプセル化データＣＤの間隔情報Ｄ１を参照しながら、ＪＰＥＧデータを再製するのである。さらに、具体的に説明すると、間隔情報Ｄ１として、次のカプセル化データＣＤまでの間隔情報が記録されている場合には、ホスト制御モジュール４は、最初のカプセル化データＣＤから、２番目のカプセル化データまでの間隔情報を得ることにより、２番目のカプセル化データＣＤの格納アドレスの開始位置を特定できる。そして、カプセル化データＣＤのデータサイズが決まっているので、そのデータサイズに従って、２番目のカプセル化データＣＤを特定することが可能である。このような処理を繰り返すことにより、全てのカプセル化データＣＤを取得可能である。ただし、この実施の形態においては、マーカーＭＡ,ＭＢが付加されていないので、この方法を取るためには、全てのカプセル化データＣＤについて、次のカプセル化データＣＤまでの間隔が特定できることが前提となる。

間隔情報Ｄ１として、前のカプセル化データＣＤまでの間隔情報が記録されている場合には、ホスト制御モジュール４は、最終のカプセル化データＣＤから、１つ前のカプセル化データまでの間隔情報を得ることにより、１つ前のカプセル化データＣＤの格納アドレスの開始位置を特定できる。そして、カプセル化データＣＤのデータサイズが決まっているので、そのデータサイズに従って、１つ前のカプセル化データＣＤを特定することが可能である。このような処理を繰り返すことにより、全てのカプセル化データＣＤを取得可能である。そして、上述したように、前のカプセル化データＣＤまでの間隔は、必ず特定することが可能であるので、カプセル化データＣＤのサイズを一定にすることで、間隔情報Ｄ１のみを用いてＪＰＥＧデータを再製可能である。

この実施の形態においては、マーカーを用いずに、ＪＰＥＧデータを再製可能とするため、カプセル化データＣＤのカプセルサイズを固定とした。しかし、最終のカプセル化データＣＤは、最後の端数のデータで構成されるため、設定されたカプセルサイズと異なる場合が生じる。そこで、最終カプセル化データＣＤには、最終カプセル化データＣＤのデータサイズを記録するようにしてもよい。あるいは、最終カプセル化データＣＤに、１フレームデータ全体のデータサイズを記録するようにしてもよい。あるいは、最終カプセル化データＣＤのデータサイズと、１フレームデータ全体のデータサイズ両方を、最終カプセル化データＣＤ内に記録するようにしてもよい。また、別の方法としては、最終カプセル化データＣＤのみ、そのカプセル化データの最後に、エンドマーカーＭＢを付加するようにしてもよい。これらの方法により、最終のカプセル化データＣＤのカプセルサイズが異なる場合であっても、ＪＰＥＧデータを再製可能である。

なお、第２〜第４の実施の形態においても、１フレーム分のＪＰＥＧストリームデータの中で、最終のカプセル化データＣＤには、最終のカプセル化データであることを示す情報を埋め込んでおくようにしてもよい。これにより、１フレームの最後のデータを明示的に示すことが可能であり、ホスト制御モジュール４における処理上、利便性がよい。

１ カメラ付携帯電話
３ 画像処理モジュール
４ ホスト制御モジュール
ＣＤ カプセル化データ
Ｄ１ 間隔情報
Ｄ２ カプセルサイズ
ＪＤ （ＪＰＥＧ）有効データ
ＭＡ スタートマーカー
ＭＢ エンドマーカー

Claims (12)

1. 撮像装置より得られた画像信号に画像処理を行う装置であって、
   画像信号を圧縮し、圧縮データを出力する処理手段と、
   非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、
   を備え、
   前記処理手段は、
   時間方向で離散的に出力される圧縮データのデータ有効部分のみを記録するバッファと、
   前記バッファに格納されたデータ有効部分のまとまりに間隔情報を加えて、一定サイズのカプセル化データを生成する手段と、
   を含み、
   前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力し、前記間隔情報として、次のカプセル化データまでの情報が記録されていることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記処理手段は、先頭のカプセル化データに、カプセル化データのデータサイズを埋め込むことを特徴とする画像処理装置。
3. 撮像装置より得られた画像信号に画像処理を行う装置であって、
   画像信号を圧縮し、圧縮データを出力する処理手段と、
   非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、
   を備え、
   前記処理手段は、
   時間方向で離散的に出力される圧縮データのデータ有効部分のみを記録するバッファと、
   前記バッファに格納されたデータ有効部分のまとまりに間隔情報を加えて、一定サイズのカプセル化データを生成する手段と、
   を含み、
   前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力し、前記間隔情報として、前のカプセル化データまでの情報が記録されていることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記処理手段は、１フレームデータ領域のストリームデータの最後に、最終のカプセル化データまでの間隔情報を記録することを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記処理手段は、１フレームデータ領域のストリームデータの最後に、最終のカプセル化データを記録することを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置において、
   前記処理手段は、最終のカプセル化データに、最終カプセルのデータサイズを埋め込むことを特徴とする画像処理装置。
7. 請求項１ないし請求項５のいずれかに記載の画像処理装置において、
   前記処理手段は、最終のカプセル化データに、１フレームデータ全体のデータサイズを埋め込むことを特徴とする画像処理装置。
8. 請求項１ないし請求項５のいずれかに記載の画像処理装置において、
   前記処理手段は、最終のカプセル化データの最後に、マーカーを付加することを特徴とする画像処理装置。
9. 請求項１ないし請求項８のいずれかに記載の画像処理装置において、
   前記処理手段は、最終のカプセル化データに、最終カプセルであることを示す情報を埋め込むことを特徴とする画像処理装置。
10. 請求項１ないし請求項９のいずれかに記載の画像処理装置において、
    前記間隔情報は、
    カプセル化データの時間間隔情報またはメモリアドレス間隔情報、
    を含むことを特徴とする画像処理装置。
11. 請求項１ないし請求項１０のいずれかに記載の画像処理装置において、
    前記画像処理装置における動作周波数と、前記出力インタフェースから出力するデータの転送周波数が異なる場合、前記転送周波数に合わせて前記バッファからのデータの読み出しを制御することを特徴とする画像処理装置。
12. 請求項１ないし請求項１１のいずれかに記載の画像処理装置と接続される装置であって、
    非圧縮の画像信号を入力する入力インタフェースと、
    制御手段と、
    メモリと、
    を備え、
    前記画像処理装置の前記出力インタフェースから出力されたストリームデータを、前記入力インタフェースから入力し、入力したストリームデータが、前記メモリに格納され、前記制御手段は、前記カプセル化データに格納された前記間隔情報に基づいて、圧縮データを再製することを特徴とする画像処理装置に接続される装置。

Images