JP2023008624A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 回路規模の大幅な増大を伴うことなく、異なる複数の動作モードにおける符号化／復号の要求性能を満たす技術を提供する。【解決手段】 撮像部、該撮像部で得た画像を符号化する符号化部、該符号化部で生成された符号化データを復号する復号部とを有する撮像装置であって、動作モードに従って、符号化部が生成する符号の符号長の上限値を決定し、符号化部に設定する制御部を更に有し、復号部は、符号化部からの符号の符号長が閾値以下である場合には、当該符号を１サイクルで復号し、符号化部からの符号の符号長が閾値を超える場合には、当該符号を複数のサイクルで復号する。【選択図】 図１

Description

本発明は、画像の符号化及び復号技術に関するものである。

近年、デジタルカメラなどの撮像装置は、高解像度化、高フレームレート化に伴って、システムで扱う単位時間当たりの画像データ量が著しく増加している。このため、装置内の画像メモリやバスインタフェース回路の高速化が要求されている。これに対し、画像メモリやバスインタフェースで伝送する際の前後で、対象となる画像の圧縮符号化を行うことが考えられる。すなわち、バスインタフェース上の単位時間当たりのデータ量を抑制することで、回路の高速化の要求度合いを緩和するものである。

この場合、圧縮符号化のための符号化方式は、回路規模及び符号化遅延の小さいことが望まれる。そのため、従来のＪＰＥＧやＭＰＥＧ２に代表されるＤＣＴベースの符号化方式は、演算量（特に乗算）が多いので不向きである。そこで、ＤＰＣＭ（Differential Pulse Code Modulation:差分パルス符号変調）ベースの予測符号化を用いて予測差分データを生成し、さらに可変長符号を用いて圧縮する符号化方式が提案されている（例えば特許文献１）。

こうした可変長符号を復号する復号器は、一般的にハードウェア実装上、回路規模の増大を抑えつつ処理の高速化を実現することが困難である。可変長符号を復号する復号器には、通常、連続する符号を逐次処理するために次の符号を頭出しするバレルシフタ回路が必要となる。一般的にこうしたバレルシフタ回路は、一度にシフト可能なシフト幅（以下、最大シフト幅）が大きければ大きいほど回路規模が増大化する。このため、省回路規模化の観点からすれば、最大シフト幅が小さいバレルシフタ回路を備える方が望ましい。

一方で、最大シフト幅が、使用する符号の最大符号長を下回る場合、当然、最大シフト幅を上回る符号長の符号を復号する際には、１サイクルで次の符号の頭出しが行うことはできない。つまり、最大シフト幅を超える符号については、複数サイクルかけて処理を行う必要がある。このため、サイクル当たりの処理性能の観点からすれば、最大シフト幅が大きいバレルシフタ回路を備える方が望ましい。

上述したように、最大符号長の符号でも１サイクルで処理できる復号器の構成（以下、速度優先構成と呼ぶ）を採る場合、サイクル当たりの処理性能は高くなるものの、回路規模は大きくなる。一方、最大シフト幅を上回る符号長の符号を復号する際には複数サイクルで処理し、そうでない場合は１サイクルで処理する復号器の構成（以下、省規模優先構成と呼ぶ）を採る場合、速度優先構成に比べ回路規模は小さくできるものの、サイクル当たりの処理性能は劣る。

また、例えば特許文献２で提案されているような、任意のシンボル系列から符号を生成する際に、その符号長の最大値を指定可能な符号生成技術を適用することで、速度優先構成の復号器であってもその回路規模を抑えることが可能となる。しかしながらこの場合は、符号長の最大値に制限を加えるため、圧縮率が低下する。このため、必要な圧縮率を達成するために画質を低下させる必要が生ずる場合がある。

一方で、デジタルカメラなどの撮像装置においては、その動作モードに応じて符号化器及び復号器に要求される単位時間当たりの処理性能や圧縮性能は異なる場合が多い。例えば、記録画像を処理する動作モードにおいては、処理性能よりも画質を損なわない圧縮性能が優先される（以下、画質優先モードと呼ぶ）。また、液晶モニタ等の表示装置で映像を見ながら撮影するユースケース等において、表示画像を扱う処理系で使われる動作モードでは、単位時間当たりの画像の表示枚数を多くするために画質よりも処理性能が優先される（以下、処理性能優先モードと呼ぶ）。このように異なる複数の動作モードにおける要求性能を満たすために、従来、画質を損なわないように符号長の最大値に制限を加えない一方で、処理性能を損なわないように復号器の実装構成として速度優先構成を採用することで回路規模を犠牲にしていた。

特開２０１６－２１３５２８号公報 特開平５－１１０４５０号公報

本発明は上記の問題点に鑑み、回路規模の大幅な増大を伴うことなく、異なる複数の動作モードにおける要求性能を満たす符号化、復号の技術を提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段、該撮像手段で得た画像を符号化する符号化手段、該符号化手段で生成された符号化データを復号する復号手段とを有する撮像装置であって、
動作モードに従って、前記符号化手段が生成する符号の符号長の上限値を決定し、前記符号化手段に設定する制御手段を更に有し、
前記復号手段は、
前記符号化手段からの符号の符号長が閾値以下である場合には、当該符号を１サイクルで復号し、
前記符号化手段からの符号の符号長が前記閾値を超える場合には、当該符号を複数のサイクルで復号する。

本発明によれば、回路規模の大幅な増大を伴うことなく、異なる複数の動作モードにおける要求性能を満たす画像処理装置を提供することができる。特に、速度優先構成の復号器を備えることなく、画質優先モードと処理性能優先モードいずれのモードにおいても、要求される画質及び復号器に要求される処理性能を満たす画像処理装置を提供することができる。

第１の実施形態にかかる画像処理装置の構成を示すブロック図。 第１の実施形態にかかる画像符号化部１０３のブロック構成図。 第１の実施形態にかかる画像符号化部１０３の処理フローを示すフローチャート。 第１の実施形態にかかる表示画像復号部１０５及び記録画像復号部１０９のブロック構成図。 第１の実施形態にかかる表示画像復号部１０５及び記録画像復号部１０９の動作タイミングチャート。 図５で示す例における各符号の有する符号長、シフト量、及び消費クロックサイクル数の関係図。 第１の実施形態にかかる画像処理装置の動作タイミングチャート。 第２の実施形態にかかる画像復号部のブロック構成図。 第２の実施形態にかかる画像復号部の動作タイミングチャート。 図９で示す例における各符号ペアが有する合計符号長、シフト量、及び消費クロックサイクル数の関係図。 第３の実施形態にかかる画像処理装置の構成を示すブロック図。 （ａ）ベイヤ配列の例を示し、（ｂ）は実施形態におけるＩ／Ｆ部の構成を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜画像処理装置の説明＞
図１は、第１の実施形態が適用する画像処理装置の構成を示すブロック図である。本装置は、撮像部１００、Ｉ／Ｆ部１０１、制御部１０２、画像符号化部１０３、メモリ１０４、表示画像復号部１０５、表示画像現像処理部１０６、表示画像処理部１０７、表示機器１０８、記録画像復号部１０９、記録画像現像処理部１１０、記録画像処理部１１１、記録媒体１１２、及び、操作部１１５を有する。

本画像処理装置の各ブロックの機能は、撮像部１００やメモリ１０４、表示機器１０８、記録媒体１１２のような物理的デバイスを除き、ソフトウェア及びハードウェアのいずれによって実装されていてもよい。例えば、各ブロックの機能は、専用のデバイス、ロジック回路、及びメモリなどのハードウェアにより実装されてもよい。或いは、各ブロックの機能は、メモリ、メモリに記憶されている処理プログラム、及び処理プログラムを実行するＣＰＵ等のコンピュータにより実装されてもよい。本画像処理装置は、例えばデジタルカメラとして実施することができるが、それ以外の装置として実施することもできる。例えば、本画像処理装置は、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末又は撮像装置として実施することができる。

撮像部１００は、撮像素子を備え光学系（図示せず）を介して撮像素子上に結像された光学像を光電変換し、得られたアナログ信号をＡ／Ｄ変換することでデジタル画像信号を出力する。実施形態における撮像素子は、Ｒ，Ｇ、Ｂの各色カラーフィルタがベイヤ配列となっているものとする。したがって、撮像部１００が出力するデジタル画像データ信号の画素の並びもベイヤ配列となり、現像処理前の画像である。したがって、このデジタル画像データは、ＲＡＷ画像データとも言う。

Ｉ／Ｆ部１０１は、撮像部１００から供給される画像データ（ＲＡＷ画像データ）を受け取り、画像符号化部１０３に出力する。図１２（ａ）はベイヤ配列の一例を示している。図示の如く、ベイヤ配列は、１個のＲ（赤）、１個のＢ（青）、２個のＧ（緑）の画素で構成される２×２画素の単位ブロックが、繰り返された配列となっている。撮像部１００で得た画像をラスタースキャン順に読み出すと、１ラインのＲＡＷ画像データは、ＲＧＲＧＲＧ…、もしくはＧＢＧＢＧＢ…と、２つの成分が交互に並んだものとなる。１ライン中の隣り合う２画素は色成分が異なるので、このままでは効率的な符号化を行うには都合が悪い。そこで、実施形態におけるＩ／Ｆ部１０１は、図１２（ｂ）に示す構成を備える。図示の通り、Ｉ／Ｆ部１０１は、スイッチ１２０１，出力部１２０２、バッファ１２０３、１２０４を有する。スイッチ１２０１は、撮像部１００からラスタースキャン順に入力した１ライン単位に出力先を変更する。例えば、スイッチ１２０１は、偶数番目のラインの出力先としてバッファ１２０３を、奇数番目のラインの出力先としてバッファ１２０４を交互に選択し、出力する。そして、出力部１２０２は、バッファ１２０３，１２０４のうち非書き込み中の１つから、画素配列の偶数番目の画素群の読み出しと出力を行い、次いで奇数番目の画素群の読み出しと出力を行う。例えば、撮像部１００からの奇数番目のラインデータがバッファ１２０４に書き込まれている間、出力部１２０２はバッファ１２０３に既に格納されている画素データ｛Ｐ０，Ｐ１，Ｐ２，Ｐ３,…｝のうち、偶数番目の画素群｛Ｐ０，Ｐ２…｝を画像符号化部１０３に出力し、次いで奇数番目の画素群｛Ｐ１，Ｐ３…｝を画像符号化部１０３に出力する。つまり、１ライン分のＲＡＷ画像データ（２種類の色成分が混在したデータ）から、それぞれが単一成分のラインデータを２つ生成することになる。同様に、撮像部１００からの偶数番目のラインデータがバッファ１２０３に書き込まれている間、出力部１２０２はバッファ１２０４に格納されている画素データのうち、偶数番目の画素群を出力し、次いで奇数番目の画素群を出力する。

制御部１０２は、操作部１１５を介してユーザからの各種操作を受け付け、装置全体の制御を司る。特に、実施形態の制御部１０２は、ユーザが設定（もしくは選択）した動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。なお、上限値の決定方法としては、例えば処理速度よりも画質を優先することが要求される画質優先モードが選択された場合には、上限値を大きくし、画質よりも高速に処理することが要求される速度優先モードが選択された場合には、上限値を小さくする。上限値が小さく設定されることでｒ、復号スピードが高くなる。なお、画質と速度感を２段階ではなく、多段階にして、上限値を決めてもよい。

画像符号化部１０３は、Ｉ／Ｆ部１０１から供給される画像信号（単一成分で構成されるラインデータ）を、所定の画素数で構成される画素ブロックに含まれる各画素を後述する符号化方法に従って符号化し、情報量を圧縮した符号化データを出力する。出力された符号化データは、メモリ１０４に記憶される。

メモリ１０４は、画像符号化部１０３から出力された符号化データを格納する。メモリ１０４は、バッファメモリとして機能し、画像符号化部１０３から出力された符号化データを記憶するために必要な記憶容量を有する。

表示画像復号部１０５は、メモリ１０４に保持された符号化データを読み出して復号し、ベイヤ配列の画像を復元し、後段へ出力する。

表示画像現像処理部１０６は、表示画像復号部１０５より出力された画像（ＲＡＷ画像データ）に対して表示画像向けの現像処理を実行し、表示画像データを生成する。より具体的には、表示画像現像処理部１０６は、ＲＡＷ画像データのデベイヤ（デモザイク）処理と呼ばれる色補間処理、色空間変換処理、キズ補正処理、光学的な歪補正、拡大・縮小処理等を実行し、表示画像データを生成する。表示画像処理部１０７は、表示画像現像処理部１０６から出力される表示画像データに対してガンマ変換処理、色空間変換処理、拡大・縮小処理、表示機器１０８のI/Fへの合わせ込み処理等の画像処理を実行し、表示機器１０８へと出力する。表示機器１０８は、撮像部１００から送出されてくる画像や、撮影した画像を確認するための表示機器であり、表示画像処理部１０７から出力された表示画像データを表示する。表示機器１０８は、電子ビューファインダーや、若しくは液晶モニタであってもよい。また、表示機器１０８は、更に各種処理メニュー等も表示する。

記録画像復号部１０９は、メモリ１０４に保持された符号化データを読み出して復号し、ベイヤ配列の画像を復元し、後段へ出力する。記録画像現像処理部１１０は、記録画像復号部１０９より出力された画像（ＲＡＷデータ）に対して記録画像向けの現像処理を実行し、記録画像データを生成する。より具体的には、記録画像現像処理部１１０は、デベイヤ（デモザイク）処理と呼ばれる色補間処理、色空間変換処理、ノイズ抑制処理、光学的な歪補正、拡大・縮小処理等を実行し、ＹＣｂＣｒ４：２：２等の輝度と色差で表される記録画像データを生成する。記録画像処理部１１１は、記録画像現像処理部１１０から出力される記録画像データに対して圧縮処理を行い、圧縮された記録画像データを記録媒体１１２ に格納する。例えば、記録画像データが静止画である場合、記録画像処理部１１１はＪＰＥＧ圧縮やＨＥＩＦ圧縮等を用いて記録画像データを圧縮する。記録画像データが動画である場合、記録画像処理部１１１はＭＰＥＧ－２、Ｈ．２６４、Ｈ．２６５等を用いて記録画像データを圧縮する。

なお、図１では、撮像部１００～記録媒体１１２までの計１３の構成要素の各々を独立して図示しているが、これらのブロックの全てが１チップに統合されていてもよいし、複数のチップに分割して構成されてもよい。例えば撮像部１００、Ｉ／Ｆ部１０１、及び、画像符号化部１０３が一つのセンサデバイスとして統合して構成され、その他のブロックは１つまたは複数のチップ内に置かれる構成としてもよい。また、撮像部１００が一つのセンサデバイスとして構成され、その他のブロックは１つまたは複数のチップ内に置かれる構成としてもよい。

＜画像符号化部１０３の説明＞
ここで、本実施形態にかかる画像符号化部１０３の構成及び処理フローについて、図２及び図３を用いて説明する。なお、先に説明したように、Ｉ／Ｆ部１０１から出力される画像データは単一成分（Ｒ，Ｇ，Ｂのいずれか）のラインデータとなるので、以下の説明では、その１つの色成分のラインデータに限って説明する。

図２は、実施形態における画像符号化部１０３のブロック構成図である。画像符号化部１０３は、ＤＰＣＭ部２００、量子化器２０１、可変長符号化器２０２、及び量子化パラメータ生成器２０３より構成される。

ＤＰＣＭ部２００は、入力画像から、予め定められたサイズのブロック単位に入力し、ブロック単位にＤＰＣＭ処理を行う。実施形態では、説明を単純化するため、１ブロックは水平方向に連続する６４画素とするが、複数ライン分のバッファを有することで、２×３２画素等、２次元のブロックとしても構わない。ＤＰＣＭ部２００は、入力されるブロックの画素毎に予測値との差分をとって予測差分値を生成し、量子化器２０１へと出力する。予測値は、符号化対象画素の周辺画素の既に符号化済みの画素のローカルデコード値を用いて生成してもよく、符号化対象画素の左に隣接する画素値や真上に隣接する画素値のローカルデコード値を予測値としてもよい。また、符号化対象画素の複数の周辺画素、例えば左、左上、真上にそれぞれ隣接する画素値のローカルデコード値のいずれかを随時選択して予測値としてもよい。また、符号化対象画素の複数の周辺画素のローカルデコード値のメディアン値（中間値）をとって予測値としてもよい。また、いずれの予測値生成方法においても、本発明においてはこれらに限定されるものではない。

量子化部２０１は、ＤＰＣＭ部２００から１ブロック分の予測差分値（実施形態では、６４画素分の予測誤差値）を入力し、それらを、量子化パラメータ生成器２０３より与えられた量子化パラメータＱＰを用いて量子化する。そして、量子化部２０１は、１ブロック分の量子化予測差分値を、可変長符号化器２０２へ出力する。

本実施形態において、量子化器２０１は、ＱＰが小さいほど量子化ステップを小さく（細かく）し、ＱＰが大きいほど量子化ステップを大きく（粗く）する。具体的には、量子化データは式（１）で表される演算により生成される。
Ｑｕａｎｔ＝ Ｄａｔａ ＞＞ ＱＰ …（１）
ここで、Ｑｕａｎｔは量子化予測差分値、Ｄａｔａは入力予測差分値、ＱＰは量子化パラメータである。また、＞＞は右シフト演算を示している。例えば、Ｄａｔａ＝１５６、ＱＰ＝３である場合、量子化予測差分値Ｑｕａｎｔは“１９”となる。なお、「Ｘ＞＞３」は「Ｘを２³（=８）で除算する」ことを表しているのは、当業者であれば明らかである。

上述したように本実施形態においては、量子化パラメータＱＰ分右シフトすることで量子化する構成としているが、これに限定されるものではなく、例えば除算を使用する構成としてもよい。

可変長符号化器２０２は、量子化器２０１より出力された１ブロック分の量子化予測差分値をエントロピー符号化して符号データを生成する。このとき、可変長符号化器２０２は、利用された量子化パラメータを示す情報を、符号化データの適当な位置（例えば先頭）に付加する。また、可変長符号化器２０２は、１ブロック分の符号化データのうち、最大符号長を量子化パラメータ生成器２０３へ出力する。

本実施形態において、量子化パラメータ生成器２０３は、エントロピー符号としてゴロム符号を用いるものとするが、これに限定されるものではなく他のエントロピー符号、例えばハフマン符号や算術符号を用いるのでも構わない。また、符号は、入力値（量子化予測差分値）が０の場合に最も短い符号長の符号が割り当てられ、入力値の絶対値が大きくなるほど長い符号長の符号が割り当てられる。

量子化パラメータ生成器２０３は、制御部１０２から出力される符号長制御信号、および可変長符号化器２０２から出力される符号長を元に、着目しているブロックに対する、量子化パラメータＱＰを生成して量子化器２０１へと出力する。符号長制御信号は、可変長符号化器２０２において使用する符号の符号長の上限値を指定する信号である。この上限値は、操作部１１５からの設定に従うものである。もし可変長符号化器２０２から出力される符号長が、符号長制御信号で指定される符号長上限値を上回る場合は、量子化パラメータ生成器２０３は、量子化パラメータＱＰ値を増加させて、着目ブロックの量子化、エントロピー符号化を再度実行させる。また、可変長符号化器２０２から出力される符号長が上限値以下であった場合、量子化パラメータ生成器２０３は、可変長符号化器２０２に出力許可を与える。これを受け、可変長符号化器２０２は、生成された１ブロック分の符号化データ（利用した量子化パラメータを示す情報も含まれる）に出力する。

次に、画像符号化部１０３の処理フローを、図３を用いて説明する。図３は、画像符号化部１０３で行う、１ブロック（１×６４画素）分の処理をフローチャートで表した図である。

処理が開始されると、Ｓ３００にて、量子化パラメータ生成器２０３は量子化パラメータＱＰの初期化を行う。具体的には、設定した圧縮率に応じて量子化パラメータＱＰの初期値が生成される。すなわち、要求される圧縮率が高いほどＱＰの値を大きく、低いほどＱＰの値が小さくなるように初期値を生成する。

続いてＳ３０１にて、ＤＰＣＭ部２００は、入力した１ブロック内の画素についてＤＰＣＭ処理を行い、各画素の予測差分値を生成する。

次に、Ｓ３０２にて、量子化器２０１は、量子化パラメータＱＰを用いて、１ブロック分の予測差分値に対する量子化処理を行い、量子化予測差分値を生成する。

次に、Ｓ３０３にて、可変長符号化器２０２が１ブロック分の量子化予測差分値について符号化を行い、その中の最大符号長を求める。なお、符号化を行わず、量子化予測差分値と符号長との関係を示すテーブルを用いて、最大符号長を求めるようにしても良い。

次に、Ｓ３０４にて、量子化パラメータ２０３は、制御部１０２から設定された符号長制御信号で示される上限値と、可変長符号化器２０２から出力される符号長を比較する。符号長が上限値を超える場合、量子化パラメータ２０３は、Ｓ３０５に処理を進め、量子化パラメータＱＰを“１”増加させ、更新する。そして、量子化パラメータ２０３は、処理をＳ３０２に進める。この結果、更新後の量子化パラメータＱＰに基づく、着目ブロックに対する量子化器２０１による量子化、可変長符号化器２０２による符号化を再度実行させる。そして、着目ブロック内の最大符号長が上限値以下なるまで、Ｓ３０２～Ｓ３０５の処理が、繰り返されることになる。

さて、Ｓ３０４にて、量子化パラメータ２０３が、着目ブロックにおける最大符号長が上限値以下となったと判定した場合、処理をＳ３０６に進める。このＳ３０６にて、可変長符号化器２０２は、着目ブロックのエントロピー符号化を行い、量子化パラメータを付加した符号化データを出力する。

以上説明したごとく、画像符号化部１０３は制御部１０２から出力される符号長制御信号に応じて、指示された符号長の上限値を超える符号が発生した場合は量子化パラメータＱＰ値を増加させて、符号長が当該上限値を超えないように符号化処理を行う。量子化パラメータＱＰの値が大きいほど符号化前の情報が多く削られるため、復号後の画像の画質劣化は大きくなる傾向にある。このため、符号長制御信号において符号長の上限値を大きく設定するほど、復号後の画像の画質劣化は小さく、符号長の上限値を小さく設定するほど、画質劣化は大きくなる。

また、本実施形態においては量子化パラメータＱＰをブロック単位に割り当てる構成として説明した。この際のブロックは、実施形態では水平方向に並ぶ６４画素としたが、画像符号化部１０３内に、複数ライン分のバッファを設けることで、２次元的なブロック（例えば１６×４画素等）としても良いし、１ブロックを構成する画素数も特に６４画素に限定されるものでもない。

＜画像復号部の説明＞
次に、表示画像復号部１０５及び記録画像復号部１０９の構成について、図４を用いて説明する。

図４は、表示画像復号部１０５（記録画像復号部１０９も同様）のブロック構成図である。なお、図示では、ベイヤ配列の画像に戻す構成については省略している。

表示画像復号部１０５は、選択器４００、符号バッファ４０１、可変長復号器４０２、シフト量演算器４０３、シフタ４０４、逆量子化器４０５、逆ＤＰＣＭ部４０６、量子化パラメータ復号器４０７を有する。以下、同図を参照して、１ブロック（実施形態では１×６４画素）の復号処理を説明する。

量子化パラメータ復号器４０７は、復号対象の着目ブロック分の符号化データに含まれる量子化パラメータに関する情報を復号し、量子化パラメータＱＰを決定し、それを逆量子化器４０５に設定する。

選択器４００は、符号取り込み指示信号に基づき、着目ブロックの符号化データから所定単位分の符号入力、若しくはシフタ４０４の出力のいずれかを選択して符号バッファ４０１へ出力する。符号取り込み指示信号は、所定の単位数の符号入力を取り込むタイミングを指示するもので、本実施形態にかかる画像処理装置が備えるＣＰＵ等の制御手段（図示しない）等から出力されてもよい。また、符号入力の所定の単位数は１つであってもよいし、複数であってもよい。

符号バッファ４０１は、選択器４００からの出力を格納するバッファであり、符号入力をクロック入力（図示しない）に同期して取り込んで出力する。また、符号バッファ４０１は、符号入力を前記所定の単位数分全て保持できる容量を有する。符号バッファ４０１からの出力は、可変長復号器４０２及びシフタ４０４へと、それぞれ接続される。

可変長復号器４０２は、シフト量演算器４０３より出力されるデータ無効指示信号に基づき、符号バッファ４０１より出力される符号データの先頭に位置する符号を可変長復号して量子化予測差分値を取り出し、逆量子化器４０５へと出力する。また、可変長復号器４０２は、符号バッファ４０１より出力される符号データの先頭に位置する符号の符号長を算出して、シフト量演算器４０３へと出力する。

シフト量演算器４０３は、可変長復号器４０２より出力される符号長を元に、シフタ４０４へ指示するシフト量を算出してシフタ４０４へと出力し、また、データ無効指示信号を生成して可変長復号器４０２へと出力する。シフト量演算器４０３は、シフタ４０４が一度に（１クロックサイクル期間に）シフトできる最大のシフト幅（以下、ＳＷ＿ｍａｘ）を鑑み、符号長がＳＷ＿ｍａｘを超える場合はこれを複数のシフト量に分けて算出し、これらを複数回に分けて出力する。また、シフト量演算器４０３は、符号長がＳＷ＿ｍａｘを超える場合は、後続する符号部分を入力するための複数回のシフトを行い、最終回の出力時にデータ無効指示信号として無効でないことを示す「Ｌ」を、それ以外の下位の出力時は無効であることを示す「Ｈ」を出力する。また、符号長がＳＷ＿ｍａｘを超えない場合は、シフト量演算器４０３は、シフト量を複数に分けずに１回で出力し、かつ、その際のデータ無効指示信号として「Ｌ」を出力する。

本実施形態においては、シフタ４０４の最大シフト幅ＳＷ＿ｍａｘは「１６」であるとものとするが、これに限定されるものではない。例えば、入力された符号長が「８」であった場合はＳＷ＿ｍａｘ以下であるため、シフト量演算器４０３はシフト量として「８」を１回出力し、データ無効指示信号として「Ｌ」を出力する。また、例えば、入力された符号長が「２０」であった場合はＳＷ＿ｍａｘを超えるため、シフト量演算器４０３はシフト量として「１６」及び「４」に分け、それぞれ２回に分けて出力する。また、その際シフト量演算器４０３は、１回目のシフト量「１６」出力時にデータ無効指示信号として「Ｈ」を出力し、２回目のシフト量「４」出力時にデータ無効指示信号として「Ｌ」を出力する。

シフタ４０４は、符号バッファ４０１より出力される符号データに対して、シフト量演算器４０３より出力されるシフト量分シフトして選択器４００へと出力する。

可変長復号器４０２は、シフト量演算器４０３からデータ無効指示信号が「Ｌ」になった場合、１つの完成された符号が揃ったと判定し、復号し、量子化予測差分値を生成する。

逆量子化器４０５は、可変長復号器４０２より出力される量子化予測差分値に対して、量子化パラメータＱＰを用いて逆量子化処理を行って逆量子化予測差分値（符号化側の「予測差分値」に対応）を生成し、逆ＤＰＣＭ部４０６へと出力する。

逆ＤＰＣＭ部４０６は、逆量子化器４０５より出力される逆量子化予測差分値に、対応する予測値を加算して、画素値を復元して出力する。予測値は、ＤＰＣＭ部２００における予測値の生成方法と同等の方法を用いて得ることができる。

次に、表示画像復号部１０５（記録画像復号部１０９も同様である）の動作を、図５及び図６を用いて説明する。

図５は、表示画像復号部１０５及び記録画像復号部１０９の動作をタイミングチャートで表した図である。図５で示す例においては、符号＃１～４の４つの符号が、順に処理されていく状態を示している。また図６は、図５で示す例におけるこれらの符号＃１～４の有する符号長、シフト量演算器４０３より出力される対応するシフト量、及び対応する消費クロックサイクル数の関係を表す。

図５において、期間５０１～期間５０６はそれぞれ、１クロックサイクルの期間を有する。

期間５０１の先頭において、所定単位分の符号が選択器４００へと入力される。本実施形態においては、当該所定単位を４とするが、これに限定されるものではない。当該所定単位分の符号は、符号＃１～４がそれぞれ先頭から番号順に隙間なく配置されている。

また、同じく期間５０１において選択器４００は、符号取り込み指示信号が「Ｈ」レベル（符号入力取り込み指示を意味する）を示しているため、符号入力を選択してこれを出力する。

符号バッファ４０１は期間５０１における選択器４００の出力（すなわち、符号入力）を取り込んで記憶し、期間５０２の先頭においてこれを出力する。

期間５０２の先頭において符号バッファ４０１より出力されたデータは、所定単位分の符号のうち最初の符号である符号＃１がデータの先頭に配置された状態となっており、可変長復号器４０２へと渡される。

次に、期間５０２において可変長復号器４０２は、符号バッファ４０１より出力されたデータを入力として、データの先頭に配置されている符号＃１の符号長「１５」を算出してシフト量演算器４０３へと出力する。また、期間５０２において可変長復号器４０２は、符号＃１を可変長復号して復号データ（量子化予測差分値）＃１を取り出し、逆量子化器４０５へと出力する。

次に、期間５０２においてシフト量演算器４０３は、符号＃１に対応するシフト量「１５」を算出して、シフタ４０４へと出力する。符号＃１の符号長は「１５」であり、ＳＷ＿ｍａｘである「１６」以下であるため、符号＃１に対応するシフト量は「１５」となる。また同時にシフト量演算器４０３は、データ無効指示信号として「Ｌ」を出力する。

次に、期間５０２においてシフタ４０４は、符号バッファ４０１より出力されたデータをシフト量「１５」分シフトして、シフト後のデータを選択器４００へと出力する。なおシフト量「１５」は符号＃１の符号長と等しく、符号＃１は全てシフトアウトされるため、シフト後のデータは次の符号＃２が先頭に頭出しされた状態となる。

次に、期間５０２において選択器４００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ４０４の出力を選択してこれを出力する。

また、期間５０２において逆量子化器４０５は、可変長復号器４０２より出力された復号データ（量子化予測差分値）＃１を逆量子化し、ＩＱデータ（逆量子化予測差分値）＃１を生成して、逆ＤＰＣＭ部４０６へと出力する。

また、期間５０２において逆ＤＰＣＭ部４０６は、逆量子化器４０５より出力されたＩＱデータ（逆量子化予測差分値）＃１に、対応する予測値を加算して復号された画素データ＃１を出力する。

次に、符号バッファ４０１は期間５０２における選択器４００の出力（すなわち、シフタ４０４出力）を取り込んで記憶し、期間５０３の先頭においてこれを出力する。

期間５０３の先頭において符号バッファ４０１より出力されたデータは、符号＃２がデータの先頭に頭出しされた状態となっており、可変長復号器４０２へと渡される。

次に、期間５０３において可変長復号器４０２は、符号バッファ４０１より出力されたデータを入力として、データの先頭に頭出しされている符号＃２の符号長「２８」を算出してシフト量演算器４０３へと出力する。また、期間５０３において可変長復号器４０２は、符号＃２を可変長復号して復号データ（量子化予測差分値）＃２を取り出し、逆量子化器４０５へと出力する。

次に、期間５０３においてシフト量演算器４０３は、符号＃２に対応する１回目のシフト量「１６」を算出して、シフタ４０４へと出力する。符号＃２の符号長は「２８」であり、ＳＷ＿ｍａｘである「１６」より大きい値であるため、符号＃２に対応するシフト量は２回に分割され、一回目がＳＷ＿ｍａｘと等しい「１６」、二回目が残りの「１２」となる。また同時にシフト量演算器４０３は、符号＃２が２回に分けて処理されるため、一回目のデータ無効指示信号としてデータ無効を意味する「Ｈ」を出力する。

次に、期間５０３においてシフタ４０４は、符号バッファ４０１より出力されたデータをシフト量「１６」分シフトして、シフト後のデータを選択器４００へと出力する。なおシフト量「１６」は符号＃２の符号長より小さく、本期間において符号＃２は全てシフトアウトされないため、シフト後のデータはまだ次の符号＃３が先頭に頭出しされた状態になっていない（すなわち、復号対象データとして無効状態）。

次に、期間５０３において選択器４００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ４０４出力を選択してこれを出力する。

また、期間５０３において逆量子化器４０５は、可変長復号器４０２より出力された復号データ（量子化予測差分値）＃２を逆量子化し、ＩＱデータ（逆量子化予測差分値）＃２を生成して、逆ＤＰＣＭ部４０６へと出力する。

また、期間５０３において逆ＤＰＣＭ部４０６は、逆量子化器４０５より出力されたＩＱデータ（逆量子化予測差分値）＃２に、対応する予測値を加算して復号された画素データ＃２を出力する。

次に、符号バッファ４０１は期間５０３における選択器４００の出力（すなわち、シフタ４０４出力）を取り込んで記憶し、期間５０４の先頭においてこれを出力する。

期間５０４の先頭において符号バッファ４０１より出力されたデータは、符号＃２の一回目のシフトがなされた状態となっており、可変長復号器４０２へと渡される。

次に、期間５０４において可変長復号器４０２は、期間５０３におけるデータ無効指示信号が「Ｈ」、すなわちデータ無効を示していたのを受け、符号長及び復号データの出力を行わない。

次に、期間５０４においてシフト量演算器４０３は、符号＃２に対応する２回目のシフト量「１２」を算出して、シフタ４０４へと出力する。また同時にシフト量演算器４０３は、２回に分けて処理される符号＃２の２回目のデータ無効指示信号として、データ有効を意味する「Ｌ」を出力する。

次に、期間５０４においてシフタ４０４は、符号バッファ４０１より出力されたデータをシフト量「１２」分シフトして、シフト後のデータを選択器４００へと出力する。なおシフト量「１２」は符号＃２の２回目のシフト量であり、本期間において符号＃２は全てシフトアウトされるため、シフト後のデータは次の符号＃３が先頭に頭出しされた状態になっている。

次に、期間５０４において選択器４００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ４０４出力を選択してこれを出力する。

また、期間５０４において逆量子化器４０５は、可変長復号器４０２より復号データが出力されないため、逆ＤＰＣＭ部４０６への出力は行われない。

また、期間５０４において逆ＤＰＣＭ部４０６は、逆量子化器４０５よりＩＱデータ（逆量子化予測差分値）が出力されないため、復号された画素データの出力は行われない。

次に、符号バッファ４０１は期間５０４における選択器４００の出力（すなわち、シフタ４０４出力）を取り込んで記憶し、期間５０５の先頭においてこれを出力する。

期間５０５の先頭において符号バッファ４０１より出力されたデータは、符号＃３がデータの先頭に頭出しされた状態となっており、可変長復号器４０２へと渡される。

次に、期間５０５において可変長復号器４０２は、符号バッファ４０１より出力されたデータを入力として、データの先頭に頭出しされている符号＃３の符号長「６」を算出してシフト量演算器４０３へと出力する。また、期間５０５において可変長復号器４０２は、符号＃３を可変長復号して復号データ（量子化予測差分値）＃３を取り出し、逆量子化器４０５へと出力する。

次に、期間５０５においてシフト量演算器４０３は、符号＃３に対応するシフト量「６」を算出して、シフタ４０４へと出力する。符号＃３の符号長は「６」であり、ＳＷ＿ｍａｘである「１６」以下であるため、符号＃３に対応するシフト量は「６」となる。また同時にシフト量演算器４０３は、データ無効指示信号として「Ｌ」を出力する。

次に、期間５０５においてシフタ４０４は、符号バッファ４０１より出力されたデータをシフト量「６」分シフトして、シフト後のデータを選択器４００へと出力する。なおシフト量「６」は符号＃３の符号長と等しく、符号＃３は全てシフトアウトされるため、シフト後のデータは次の符号＃４が先頭に頭出しされた状態となる。

次に、期間５０５において選択器４００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ４０４出力を選択してこれを出力する。

また、期間５０５において逆量子化器４０５は、可変長復号器４０２より出力された復号データ（量子化予測差分値）＃３を逆量子化し、ＩＱデータ（逆量子化予測差分値）＃３を生成して、逆ＤＰＣＭ部４０６へと出力する。

また、期間５０５において逆ＤＰＣＭ部４０６は、逆量子化器４０５より出力されたＩＱデータ（逆量子化予測差分値）＃３に、対応する予測値を加算して復号された画素データ＃３を出力する。

次に、期間５０６の先頭において、次の所定単位分の符号が選択器４００へと入力される。

また、同じく期間５０６において選択器４００は、符号取り込み指示信号が「Ｈ」レベル（符号入力取り込み指示を意味する）を示しているため、符号入力を選択してこれを出力する。

符号バッファ４０１は期間５０６における選択器４００の出力（すなわち、符号入力）を取り込んで記憶し、次の期間（図示しない）の先頭においてこれを出力する。

期間５０６の先頭において符号バッファ４０１より出力されたデータは、符号＃４がデータの先頭に頭出しされた状態となっており、可変長復号器４０２へと渡される。

次に、期間５０６において可変長復号器４０２は、符号バッファ４０１より出力されたデータを入力として、データの先頭に頭出しされている符号＃４の符号長「１１」を算出してシフト量演算器４０３へと出力する。また、期間５０６において可変長復号器４０２は、符号＃４を可変長復号して復号データ（量子化予測差分値）＃４を取り出し、逆量子化器４０５へと出力する。

次に、期間５０６においてシフト量演算器４０３は、符号＃４に対応するシフト量「１１」を算出して、シフタ４０４へと出力する。符号＃４の符号長は「１１」であり、ＳＷ＿ｍａｘである「１６」以下であるため、符号＃４に対応するシフト量は「１１」となる。また同時にシフト量演算器４０３は、データ無効指示信号として「Ｌ」を出力する。

次に、期間５０６においてシフタ４０４は、符号バッファ４０１より出力されたデータをシフト量「１１」分シフトして、シフト後のデータを選択器４００へと出力する。なおシフト量「１１」は符号＃４の符号長と等しく、符号＃４は全てシフトアウトされるため、これで全ての所定単位分の符号がシフトアウトされることになる。

また、期間５０６において逆量子化器４０５は、可変長復号器４０２より出力された復号データ（量子化予測差分値）＃４を逆量子化し、ＩＱデータ（逆量子化予測差分値）＃４を生成して、逆ＤＰＣＭ部４０６へと出力する。

また、期間５０６において逆ＤＰＣＭ部４０６は、逆量子化器４０５より出力されたＩＱデータ（逆量子化予測差分値）＃４に、対応する予測値を加算して復号された画素データ＃４を出力する。

以下、期間５０６の先頭で入力された所定単位分の符号も、以降の期間で同様に処理されていくが、説明は割愛する。

以上説明したように、表示画像復号部１０５及び記録画像復号部１０９においては、入力される符号の符号長がシフタ４０４の最大シフト幅ＳＷ＿ｍａｘを超えている場合は複数クロックサイクルで、そうでない場合には１クロックサイクルかけて処理していく。

このため画像を符号化した符号データの中に、最大シフト幅ＳＷ＿ｍａｘを超える符号が多く含まれているほど復号にかかる時間は長くなる。逆に、最大シフト幅ＳＷ＿ｍａｘを超える符号が少ないほど復号に係る時間は短くなる。

＜第１の実施形態にかかる画像処理装置の動作の説明＞
次に、第１の実施形態にかかる画像処理装置の動作を、図７を用いて説明する。図７は、第１の実施形態にかかる画像処理装置の動作を、タイミングチャートで表した図である。なお、以下の説明における動作モードは、ユーザが操作部１１５を介した設定したものである。

ここでは理解を容易にするため、撮像部１００から送出されてくる画像をリアルタイムに表示機器１０８で表示させながら、ユーザによる撮影開始指示に従い画像を撮影し記録するというユースケースに基づいて説明する。また、本実施形態においては、表示機器１０８で表示させる画像の表示周期が８．３ｍｓｅｃ（以下、表示画像周期）、１秒当たりの連続撮影枚数が３０である場合に当てはめて説明する。なお、１秒当たりの連続撮影枚数が３０であるため、撮影し記録する画像の周期は３３．３ｍｓｅｃ（以下、記録画像周期）となる。

図７において、期間７０１～期間７０７はそれぞれ、表示画像周期と同一の期間（８．３ｍｓｅｃ）を有する。また、図７において、表示画像垂直同期信号は表示機器１０８で表示させる画像の垂直同期信号を表し、記録画像垂直同期信号は撮影し記録する画像の垂直同期信号を表す。

期間７０１において、表示画像垂直同期信号に基づき撮像部１００より表示画像ＬＶ１が出力され、Ｉ／Ｆ部１０１を介して画像符号化部１０３へと出力される。また、期間７０１において制御部１０２は、動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。

本実施形態においては、表示画像周期が８．３ｍｓｅｃと短く、表示画像復号部１０５における表示画像１枚当たりの復号処理もこの周期内に収めなければならない。一方で、表示画像は記録されることがなく、記録画像ほどの高画質が要求されるわけではない。このため制御部１０２へは、処理性能を優先する処理性能優先モードが設定される。制御部１０２は、動作モードが処理性能優先モードであることに応じて、画像符号化部１０３が使用する符号の符号長上限値を比較的小さい値となるように決定する。本実施形態においては、これを表示画像復号部１０５の有するシフタの最大シフト幅ＳＷ＿ｍａｘと等しい値とする。こうすることで、ＳＷ＿ｍａｘを超える符号長が発生しないため、表示画像復号部１０５における１画像当たりの復号処理時間が最短となる。

また、期間７０１において画像符号化部１０３は、制御部１０２より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される表示画像ＬＶ１を符号化し、符号化データを生成してメモリ１０４へと出力する。また、期間７０１においてメモリ１０４は、画像符号化部１０３から出力された表示画像ＬＶ１に対応する符号化データを格納する。

また、期間７０１において表示画像復号部１０５は、表示画像ＬＶ１に対応する符号化データをメモリ１０４から読み出し、これを復号して表示画像ＬＶ１に対応する復号画像信号を生成し、表示画像現像処理部１０６へと出力する。また、期間７０１において表示画像現像処理部１０６は、表示画像復号部１０５から出力される表示画像ＬＶ１に対応する復号画像信号に対して、表示画像向けの現像処理を行い表示画像処理部１０７へと出力する。また、期間７０１において表示画像処理部１０７は、表示画像現像処理部１０６から出力される画像信号に対して、表示画像向けの画像処理を行い表示機器１０８へと出力する。また、期間７０１において表示機器１０８は、表示画像処理部１０７から出力される表示画像ＬＶ１に対応する画像信号を表示する。

また、期間７０１において、図７の点線矢印で示すタイミングでユーザによる撮影開始指示が発生したとする。これに応じて、記録画像垂直同期信号が期間７０３の図示するタイミングでスタートする。次に、期間７０２において、表示画像垂直同期信号に基づき撮像部１００より表示画像ＬＶ２が出力され、Ｉ／Ｆ部１０１を介して画像符号化部１０３へと出力される。また、期間７０２において制御部１０２は、動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。

本期間においても表示画像を扱うため、制御部１０２へは処理性能を優先する処理性能優先モードが設定される。これに応じて制御部１０２は、期間７０１同様ＳＷ＿ｍａｘと等しい値を符号長制御信号として出力する。

また、期間７０２において画像符号化部１０３は、制御部１０２より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される表示画像ＬＶ２を符号化し、符号化データを生成してメモリ１０４へと出力する。また、期間７０２においてメモリ１０４は、画像符号化部１０３から出力された表示画像ＬＶ２に対応する符号化データを格納する。また、期間７０２において表示画像復号部１０５は、表示画像ＬＶ２に対応する符号化データをメモリ１０４から読み出し、これを復号して表示画像ＬＶ２に対応する復号画像信号を生成し、表示画像現像処理部１０６へと出力する。また、期間７０２において表示画像現像処理部１０６は、表示画像復号部１０５から出力される表示画像ＬＶ２に対応する復号画像信号に対して、表示画像向けの現像処理を行い表示画像処理部１０７へと出力する。

また、期間７０２において表示画像処理部１０７は、表示画像現像処理部１０６から出力される画像信号に対して、表示画像向けの画像処理を行い表示機器１０８へと出力する。また、期間７０２において表示機器１０８は、表示画像処理部１０７から出力される表示画像ＬＶ２に対応する画像信号を表示する。

次に、期間７０３において、記録画像垂直同期信号に基づき撮像部１００より記録画像ＲＣ１が出力され、Ｉ／Ｆ部１０１を介して画像符号化部１０３へと出力される。これは、期間７０１においてユーザによる撮影開始指示が発生したことに伴うもので、これにより本期間においては表示画像でなく記録画像が優先されて撮像部１００より出力される。

また、期間７０３において制御部１０２は、動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。

本実施形態においては、記録画像周期は３３．３ｍｓｅｃと表示画像周期（８．３ｍｓｅｃ）に比べ長く、記録画像復号部１０９における記録画像１枚当たりの復号処理もこの周期内に収まればよい。このため処理性能優先モード時と比べ、記録画像現像処理部１１０において高い処理性能は要求されない。一方で、記録画像は表示画像に比べ画質劣化を最小限度に抑えることが要求される。このため制御部１０２へは画質を優先する画質優先モードが設定される。制御部１０２は、動作モードが画質優先モードであることに応じて、画像符号化部１０３が使用する符号の符号長を上限無しとなるように決定する。こうすることで、画像符号化部１０３において符号化時に使用できる符号に制限がなくなるため、復号後画像の画質劣化を最小限度に抑えることができる。

また、期間７０３において画像符号化部１０３は、制御部１０２より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される記録画像ＲＣ１を符号化し、符号化データを生成してメモリ１０４へと出力する。また、期間７０３においてメモリ１０４は、画像符号化部１０３から出力された記録画像ＲＣ１に対応する符号化データを格納する。

前述したように、記録画像１枚当たりの復号処理時間は、記録画像周期（３３．３ｍｓｅｃ）内に収まればよいため、記録画像ＲＣ１については、期間７０３～期間７０６にかけて復号処理を実施する。また、メモリ１０４へのアクセストラフィックの集中を避けるため、本実施形態では図７の記録画像復号処理の期間７０３～期間７０６で示すように、記録画像の復号処理を４回に分けて実施するものとする。すなわち、１回目を期間７０３に、２回目を期間７０４に、３回目を期間７０５に、４回目を期間７０６にそれぞれ実施する。

これに従い、期間７０３において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データの１回目の復号を実施する。

期間７０３において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データ（１／４）をメモリ１０４から読み出し、これを復号して記録画像ＲＣ１に対応する復号画像信号（１／４）を生成し、記録画像現像処理部１１０へと出力する。また、期間７０３において記録画像現像処理部１１０は、記録画像復号部１０９から出力される記録画像ＲＣ１に対応する復号画像信号（１／４）に対して、記録画像向けの現像処理を行い記録画像処理部１１１へと出力する。また、期間７０３において記録画像処理部１１１は、記録画像現像処理部１１０から出力される画像信号に対して、記録画像向けの画像処理を行い記録媒体１１２へと出力する。また、期間７０３において記録媒体１１２には、記録画像処理部１１１から出力される記録画像ＲＣ１に対応する画像信号（１／４）が記録される。

また一方で、期間７０３において撮像部１００から出力された画像は記録画像であり、表示画像ではない。しかしながら、期間７０３においても表示機器１０８において表示させる表示用画像は必要となる。このため、期間７０３において表示画像復号部１０５は、再び表示画像ＬＶ２に対応する符号化データをメモリ１０４から読み出し、これを復号して表示画像ＬＶ２に対応する復号画像信号を生成し、表示画像現像処理部１０６へと出力する。また、期間７０３において表示画像現像処理部１０６は、表示画像復号部１０５から出力される表示画像ＬＶ２に対応する復号画像信号に対して、表示画像向けの現像処理を行い表示画像処理部１０７へと出力する。また、期間７０３において表示画像処理部１０７は、表示画像現像処理部１０６から出力される画像信号に対して、表示画像向けの画像処理を行い表示機器１０８へと出力する。また、期間７０３において表示機器１０８は、表示画像処理部１０７から出力される表示画像ＬＶ２に対応する画像信号を再び表示する。

次に、期間７０４において、表示画像垂直同期信号に基づき撮像部１００より表示画像ＬＶ３が出力され、Ｉ／Ｆ部１０１を介して画像符号化部１０３へと出力される。

また、期間７０４において制御部１０２は、動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。

本期間においては表示画像を扱うため、制御部１０２へは処理性能を優先する処理性能優先モードが設定される。これに応じて制御部１０２は、期間７０１同様ＳＷ＿ｍａｘと等しい値を符号長制御信号として出力する。

また、期間７０４において画像符号化部１０３は、制御部１０２より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される表示画像ＬＶ３を符号化し、符号化データを生成してメモリ１０４へと出力する。また、期間７０４においてメモリ１０４は、画像符号化部１０３から出力された表示画像ＬＶ３に対応する符号化データを格納する。また、期間７０４において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データの２回目の復号を実施する。期間７０４において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データ（２／４）をメモリ１０４から読み出し、これを復号して記録画像ＲＣ１に対応する復号画像信号（２／４）を生成し、記録画像現像処理部１１０へと出力する。

また、期間７０４において記録画像現像処理部１１０は、記録画像復号部１０９から出力される記録画像ＲＣ１に対応する復号画像信号（２／４）に対して、記録画像向けの現像処理を行い記録画像処理部１１１へと出力する。また、期間７０４において記録画像処理部１１１は、記録画像現像処理部１１０から出力される画像信号に対して、記録画像向けの画像処理を行い記録媒体１１２へと出力する。また、期間７０４において記録媒体１１２には、記録画像処理部１１１から出力される記録画像ＲＣ１に対応する画像信号（２／４）が記録される。また、期間７０４において表示画像復号部１０５は、表示画像ＬＶ３に対応する符号化データをメモリ１０４から読み出し、これを復号して表示画像ＬＶ３に対応する復号画像信号を生成し、表示画像現像処理部１０６へと出力する。

また、期間７０４において表示画像現像処理部１０６は、表示画像復号部１０５から出力される表示画像ＬＶ３に対応する復号画像信号に対して、表示画像向けの現像処理を行い表示画像処理部１０７へと出力する。また、期間７０４において表示画像処理部１０７は、表示画像現像処理部１０６から出力される画像信号に対して、表示画像向けの画像処理を行い表示機器１０８へと出力する。 また、期間７０４において表示機器１０８は、表示画像処理部１０７から出力される表示画像ＬＶ３に対応する画像信号を表示する。

次に、期間７０５において、表示画像垂直同期信号に基づき撮像部１００より表示画像ＬＶ４が出力され、Ｉ／Ｆ部１０１を介して画像符号化部１０３へと出力される。

また、期間７０５において制御部１０２は、動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。

本期間においては表示画像を扱うため、制御部１０２へは処理性能を優先する処理性能優先モードが設定される。これに応じて制御部１０２は、期間７０１同様ＳＷ＿ｍａｘと等しい値を符号長制御信号として出力する。

また、期間７０５において画像符号化部１０３は、制御部１０２より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される表示画像ＬＶ４を符号化し、符号化データを生成してメモリ１０４へと出力する。また、期間７０５においてメモリ１０４は、画像符号化部１０３から出力された表示画像ＬＶ４に対応する符号化データを格納する。また、期間７０５において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データの３回目の復号を実施する。期間７０５において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データ（３／４）をメモリ１０４から読み出し、これを復号して記録画像ＲＣ１に対応する復号画像信号（３／４）を生成し、記録画像現像処理部１１０へと出力する。

また、期間７０５において記録画像現像処理部１１０は、記録画像復号部１０９から出力される記録画像ＲＣ１に対応する復号画像信号（３／４）に対して、記録画像向けの現像処理を行い記録画像処理部１１１へと出力する。また、期間７０５において記録画像処理部１１１は、記録画像現像処理部１１０から出力される画像信号に対して、記録画像向けの画像処理を行い記録媒体１１２へと出力する。また、期間７０５において記録媒体１１２には、記録画像処理部１１１から出力される記録画像ＲＣ１に対応する画像信号（３／４）が記録される。また、期間７０５において表示画像復号部１０５は、表示画像ＬＶ４に対応する符号化データをメモリ１０４から読み出し、これを復号して表示画像ＬＶ４に対応する復号画像信号を生成し、表示画像現像処理部１０６へと出力する。

また、期間７０５において表示画像現像処理部１０６は、表示画像復号部１０５から出力される表示画像ＬＶ４に対応する復号画像信号に対して、表示画像向けの現像処理を行い表示画像処理部１０７へと出力する。また、期間７０５において表示画像処理部１０７は、表示画像現像処理部１０６から出力される画像信号に対して、表示画像向けの画像処理を行い表示機器１０８へと出力する。また、期間７０５において表示機器１０８は、表示画像処理部１０７から出力される表示画像ＬＶ４に対応する画像信号を表示する。

次に、期間７０６において、表示画像垂直同期信号に基づき撮像部１００より表示画像ＬＶ５が出力され、Ｉ／Ｆ部１０１を介して画像符号化部１０３へと出力される。また、期間７０６において制御部１０２は、動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。本期間においては表示画像を扱うため、制御部１０２へは処理性能を優先する処理性能優先モードが設定される。これに応じて制御部１０２は、期間７０１同様ＳＷ＿ｍａｘと等しい値を符号長制御信号として出力する。

また、期間７０６において画像符号化部１０３は、制御部１０２より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される表示画像ＬＶ５を符号化し、符号化データを生成してメモリ１０４へと出力する。また、期間７０６においてメモリ１０４は、画像符号化部１０３から出力された表示画像ＬＶ５に対応する符号化データを格納する。また、期間７０６において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データの４回目（最終回）の復号を実施する。

期間７０６において記録画像復号部１０９は、記録画像ＲＣ１に対応する符号化データ（４／４）をメモリ１０４から読み出し、これを復号して記録画像ＲＣ１に対応する復号画像信号（４／４）を生成し、記録画像現像処理部１１０へと出力する。また、期間７０６において記録画像現像処理部１１０は、記録画像復号部１０９から出力される記録画像ＲＣ１に対応する復号画像信号（４／４）に対して、記録画像向けの現像処理を行い記録画像処理部１１１へと出力する。また、期間７０６において記録画像処理部１１１は、記録画像現像処理部１１０から出力される画像信号に対して、記録画像向けの画像処理を行い記録媒体１１２へと出力する。

また、期間７０６において記録媒体１１２には、記録画像処理部１１１から出力される記録画像ＲＣ１に対応する画像信号（４／４）が記録される。また、期間７０６において表示画像復号部１０５は、表示画像ＬＶ５に対応する符号化データをメモリ１０４から読み出し、これを復号して表示画像ＬＶ５に対応する復号画像信号を生成し、表示画像現像処理部１０６へと出力する。また、期間７０６において表示画像現像処理部１０６は、表示画像復号部１０５から出力される表示画像ＬＶ５に対応する復号画像信号に対して、表示画像向けの現像処理を行い表示画像処理部１０７へと出力する。

また、期間７０６において表示画像処理部１０７は、表示画像現像処理部１０６から出力される画像信号に対して、表示画像向けの画像処理を行い表示機器１０８へと出力する。また、期間７０６において表示機器１０８は、表示画像処理部１０７から出力される表示画像ＬＶ５に対応する画像信号を表示する。

次に、期間７０７において、記録画像垂直同期信号に基づき撮像部１００より記録画像ＲＣ２が出力され、Ｉ／Ｆ部１０１を介して画像符号化部１０３へと出力される。これは、期間７０１においてユーザによる撮影開始指示が発生したことに伴うもので、これにより本期間においては表示画像でなく記録画像が優先されて撮像部１００より出力される。また、期間７０７においては記録画像を扱うため、前述した理由により、動作モードは画質を優先する画質優先モードが設定される。

また、期間７０７において制御部１０２は、動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。制御部１０２は、動作モードが画質優先モードであることに応じて、画像符号化部１０３が使用する符号の符号長を上限無しとなるように決定する。また、期間７０７において画像符号化部１０３は、制御部１０２より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される記録画像ＲＣ２を符号化し、符号化データを生成してメモリ１０４へと出力する。

また、期間７０７においてメモリ１０４は、画像符号化部１０３から出力された記録画像ＲＣ２に対応する符号化データを格納する。

前述した理由から、記録画像ＲＣ１と同様に記録画像ＲＣ２も、記録画像の復号処理を４回に分けて実施する。すなわち、１回目を期間７０７に、２～４回目をそれ以降の期間にそれぞれ実施する。

期間７０７において記録画像復号部１０９は、記録画像ＲＣ２に対応する符号化データ（１／４）をメモリ１０４から読み出し、これを復号して記録画像ＲＣ２に対応する復号画像信号（１／４）を生成し、記録画像現像処理部１１０へと出力する。また、期間７０７において記録画像現像処理部１１０は、記録画像復号部１０９から出力される記録画像ＲＣ２に対応する復号画像信号（１／４）に対して、記録画像向けの現像処理を行い記録画像処理部１１１へと出力する。また、期間７０７において記録画像処理部１１１は、記録画像現像処理部１１０から出力される画像信号に対して、記録画像向けの画像処理を行い記録媒体１１２へと出力する。また、期間７０７において記録媒体１１２には、記録画像処理部１１１から出力される記録画像ＲＣ１に対応する画像信号（１／４）が記録される。

また一方で、期間７０７において撮像部１００から出力された画像は記録画像であり、表示画像ではない。しかしながら、期間７０３と同様に期間７０７においても、表示機器１０８において表示させる表示用画像は必要となる。このため、期間７０７において表示画像復号部１０５は、再び表示画像ＬＶ５に対応する符号化データをメモリ１０４から読み出し、これを復号して表示画像ＬＶ５に対応する復号画像信号を生成し、表示画像現像処理部１０６へと出力する。また、期間７０７において表示画像現像処理部１０６は、表示画像復号部１０５から出力される表示画像ＬＶ５に対応する復号画像信号に対して、表示画像向けの現像処理を行い表示画像処理部１０７へと出力する。また、期間７０７において表示画像処理部１０７は、表示画像現像処理部１０６から出力される画像信号に対して、表示画像向けの画像処理を行い表示機器１０８へと出力する。また、期間７０７において表示機器１０８は、表示画像処理部１０７から出力される表示画像ＬＶ５に対応する画像信号を再び表示する。

以下、これ以降の期間においても同様に処理が実施される。

以上説明したように、本実施形態によれば、省規模優先構成の復号に係る構成であっても、動作モードによって符号化時に使用する符号の最大符号長の制限を変えることで、それぞれの動作モードの要求を満たすことが可能となる。

［第２の実施形態］
第２の実施形態も、第１の実施形態と同様に画像処理装置に適用した例を説明する。第２の実施形態にかかる画像処理装置の構成は、表示画像復号部１０５及び記録画像復号部１０９の内部の構成が異なる以外、第１の実施形態と同様である。また、第２の実施形態にかかる画像処理装置全体の動作も、第１の実施形態と同様である。

＜画像復号部の説明＞
図８は、第２の実施形態にかかる画像復号部（表示画像復号部１０５及び記録画像復号部１０９）のブロック構成図である。以下、同図を参照してその構成と動作を説明する。尚、第２の実施形態における画像復号部を構成する各要素や関連する信号について、第１の実施形態と同様である場合は、その内容の一部または全ての説明を省略する。

第２の実施形態にかかる画像復号部は、入力される符号データに対し、連続する２つの符号をペア（以下、符号ペア）としてこの符号ペア単位で復号処理を行う。

第２の実施形態にかかる画像復号部は、選択器８００、符号バッファ８０１、可変長復号器８０２、シフト量演算器８０３、シフタ８０４、逆量子化器８０５ａ、逆量子化器８０５ｂ、逆ＤＰＣＭ部８０６ａ、逆ＤＰＣＭ部８０６ｂ、量子化パラメータ復号器４０７より構成される。

量子化パラメータ復号器４０７は、着目ブロックの符号化データの先頭に位置する、量子化パラメータに関する情報を復号し、逆量子化器８０５ａ、８０５ｂに設定する。

選択器８００は符号取り込み指示信号に基づき、所定単位分の符号入力若しくはシフタ８０４の出力のいずれかを選択して符号バッファ８０１へと出力する。符号取り込み指示信号及び符号入力の所定の単位数については、第１の実施形態と同様であるため、説明を省略する。

符号バッファ８０１は選択器８００からの出力を格納するバッファであり、符号入力をクロック入力（図示しない）に同期して取り込んで、可変長復号器８０２及びシフタ８０４へと出力する。

可変長復号器８０２は、シフト量演算器８０３より出力されるデータ無効指示信号に基づき、符号バッファ８０１より出力される符号データの先頭に位置する連続する２つの符号を可変長復号する。さらに可変長復号器８０２は、連続する２つの量子化予測差分値を取り出し、それぞれ逆量子化器８０５ａ、逆量子化器８０５ｂへと出力する。また、可変長復号器８０２は、当該連続する２つの符号の合計符号長を算出して、シフト量演算器８０３へと出力する。

シフト量演算器８０３は、可変長復号器８０２より出力される合計符号長を元に、シフタ８０４へ指示するシフト量を算出してシフタ８０４へと出力し、また、データ無効指示信号を生成して可変長復号器８０２へと出力する。シフト量演算器８０３は、シフタ８０４が一度に（１クロックサイクル期間に）シフトできる最大のシフト幅（以下、ＳＷ＿ｍａｘ）を鑑み、合計符号長がＳＷ＿ｍａｘを超える場合はこれを複数のシフト量に分けて算出し、これらを複数回に分けて出力する。また、シフタ８０４は、合計符号長がＳＷ＿ｍａｘを超える場合は、複数回に分けたうちの最終回の出力時にデータ無効指示信号として無効でないことを示す「Ｌ」を、それ以外の下位の出力時は無効であることを示す「Ｈ」を出力する。また、合計符号長がＳＷ＿ｍａｘを超えない場合は、シフタ８０４は、シフト量を複数に分けずに１回で出力し、かつ、その際のデータ無効指示信号として「Ｌ」を出力する。

本実施形態においては、シフタ８０４の最大シフト幅ＳＷ＿ｍａｘは「３２」であるとものとするが、これに限定されるものではない。

例えば、入力された連続する２つの符号の合計符号長が「２０」であった場合はＳＷ＿ｍａｘ以下であるため、シフト量演算器８０３はシフト量として「２０」を１回出力し、データ無効指示信号として「Ｌ」を出力する。また、例えば、入力された連続する２つの符号の合計符号長が「４０」であった場合はＳＷ＿ｍａｘを超えるため、シフト量演算器８０３はシフト量として「３２」及び「８」に分け、それぞれ２回に分けて出力する。また、その際シフト量演算器８０３は、１回目のシフト量「３２」出力時にデータ無効指示信号として「Ｈ」を出力し、２回目のシフト量「８」出力時にデータ無効指示信号として「Ｌ」を出力する。

シフタ８０４は、符号バッファ８０１より出力される符号データに対して、シフト量演算器８０３より出力されるシフト量分シフトして選択器８００へと出力する。

逆量子化器８０５ａ及び逆量子化器８０５ｂは、可変長復号器８０２より出力される連続する２つの量子化予測差分値に対し、量子化パラメータ復号器４０７より設定された量子化パラメータに従って逆量子化処理を行い、逆量子化予測差分値を生成して、逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂへとそれぞれ出力する。逆量子化処理については、第１の実施形態と同様であるため、説明を省略する。

逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂは、逆量子化器８０５ａ及び逆量子化器８０５ｂの出力に対してそれぞれ逆ＤＰＣＭ処理を施し、復号された画素値をそれぞれ出力する。逆ＤＰＣＭ処理については、第１の実施形態と同様であるため、説明を省略する。

次に、第２の実施形態にかかる画像復号部の動作を、図９及び図１０を用いて説明する。なお、１ブロック分の符号化データに対する量子化パラメータは既に復号済みであるものとして説明する。

図９は、第２の実施形態にかかる画像復号部の動作をタイミングチャートで表した図である。図９で示す例においては、符号＃１～８の８つの符号を処理するにあたり、これら８つの符号を４つの符号ペア（符号＃１／２、符号＃３／４、符号＃５／６、符号＃７／８）として、順に処理していく状態を示している。なお、１ブロック分の符号化データにおける量子化パラメータは既に復号済みであるものとして説明する。

また図１０は、図９で示す例におけるこれら４つの符号ペアが有するそれぞれの合計符号長、シフト量演算器８０３より出力される対応するシフト量、及び対応する消費クロックサイクル数の関係を表す。

図９において、期間９０１～期間９０６はそれぞれ、１クロックサイクルの期間を有する。

期間９０１の先頭において、所定単位分の符号が選択器８００へと入力される。本実施形態においては、当該所定単位を８とするが、これに限定されるものではない。当該所定単位分の符号は、符号＃１～８がそれぞれ先頭から番号順に隙間なく配置されている。

また、同じく期間９０１において選択器８００は、符号取り込み指示信号が「Ｈ」レベル（符号入力取り込み指示を意味する）を示しているため、符号入力を選択してこれを出力する。

符号バッファ８０１は期間９０１における選択器８００の出力（すなわち、符号入力）を取り込んで記憶し、期間９０２の先頭においてこれを出力する。

期間９０２の先頭において符号バッファ８０１より出力されたデータは、所定単位分の符号のうち最初の符号ペアである符号＃１／２がデータの先頭に配置された状態となっており、可変長復号器８０２へと渡される。

次に、期間９０２において可変長復号器８０２は、符号バッファ８０１より出力されたデータを入力として、データの先頭に配置されている符号＃１／２の合計符号長「４３」を算出してシフト量演算器８０３へと出力する。また、期間９０２において可変長復号器８０２は、符号＃１／２を可変長復号して復号データ（量子化予測差分値）＃１／２を取り出し、それぞれ逆量子化器８０５ａ及び逆量子化器８０５ｂへと出力する。

次に、期間９０２においてシフト量演算器８０３は、符号＃１／２に対応する１回目のシフト量「３２」を算出して、シフタ８０４へと出力する。符号＃１／２の合計符号長は「４３」であり、ＳＷ＿ｍａｘである「３２」より大きい値であるため、符号＃１／２に対応するシフト量は２回に分割され、一回目がＳＷ＿ｍａｘと等しい「３２」、二回目が残りの「１１」となる。また同時にシフト量演算器８０３は、符号＃１／２が２回に分けて処理されるため、一回目のデータ無効指示信号としてデータ無効を意味する「Ｈ」を出力する。

次に、期間９０２においてシフタ８０４は、符号バッファ８０１より出力されたデータをシフト量「３２」分シフトして、シフト後のデータを選択器８００へと出力する。なおシフト量「３２」は符号＃１／２の合計符号長より小さく、本期間において符号＃１／２は全てシフトアウトされないため、シフト後のデータはまだ次の符号＃３／４が先頭に頭出しされた状態になっていない（すなわち、復号対象データとして無効状態）。

次に、期間９０２において選択器８００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ８０４出力を選択してこれを出力する。

また、期間９０２において逆量子化器８０５ａ及び逆量子化器８０５ｂは、可変長復号器８０２より出力された量子化予測差分値＃１／２を逆量子化し、ＩＱデータ＃１／２を生成して、逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂへとそれぞれ出力する。

また、期間９０２において逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂは、逆量子化器８０５ａ及び逆量子化器８０５ｂより出力されたＩＱデータ＃１／２をそれぞれ逆量子化して、復号された画素データ＃１／２を出力する。

次に、符号バッファ８０１は期間９０２における選択器８００の出力（すなわち、シフタ８０４出力）を取り込んで記憶し、期間９０３の先頭においてこれを出力する。

期間９０３の先頭において符号バッファ８０１より出力されたデータは、符号＃１／２の一回目のシフトがなされた状態となっており、可変長復号器８０２へと渡される。次に、期間９０３において可変長復号器８０２は、期間９０２におけるデータ無効指示信号が「Ｈ」、すなわちデータ無効を示していたのを受け、符号長及び復号データの出力を行わない。次に、期間９０３においてシフト量演算器８０３は、符号＃１／２に対応する２回目のシフト量「１１」を算出して、シフタ８０４へと出力する。また同時にシフト量演算器８０３は、２回に分けて処理される符号＃１／２の２回目のデータ無効指示信号として、データ有効を意味する「Ｌ」を出力する。次に、期間９０３においてシフタ８０４は、符号バッファ８０１より出力されたデータをシフト量「１１」分シフトして、シフト後のデータを選択器８００へと出力する。なおシフト量「１１」は符号＃１／２の２回目のシフト量であり、本期間において符号＃１／２は全てシフトアウトされるため、シフト後のデータは次の符号＃３／４が先頭に頭出しされた状態になっている。

次に、期間９０３において選択器８００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ８０４出力を選択してこれを出力する。また、期間９０３において逆量子化器８０５ａ及び逆量子化器８０５ｂは、可変長復号器８０２より復号データが出力されないため、逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂへの出力は行われない。

また、期間９０３において逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂは、逆量子化器８０５ａ及び逆量子化器８０５ｂよりＩＱデータ（逆量子化予測差分値）が出力されないため、復号された画素データの出力は行われない。

次に、符号バッファ８０１は期間９０３における選択器８００の出力（すなわち、シフタ８０４出力）を取り込んで記憶し、期間９０４の先頭においてこれを出力する。

期間９０４の先頭において符号バッファ８０１より出力されたデータは、符号＃３／４が頭出しされた状態となっており、可変長復号器８０２へと渡される。

次に、期間９０４において可変長復号器８０２は、符号バッファ８０１より出力されたデータを入力として、データの先頭に配置されている符号＃３／４の合計符号長「１７」を算出してシフト量演算器８０３へと出力する。また、期間９０４において可変長復号器８０２は、符号＃３／４を可変長復号して復号データ（量子化予測差分値）＃３／４を取り出し、それぞれ逆量子化器８０５ａ及び逆量子化器８０５ｂへと出力する。

次に、期間９０４においてシフト量演算器８０３は、符号＃３／４に対応するシフト量「１７」を算出して、シフタ８０４へと出力する。符号＃３／４の合計符号長は「１７」であり、ＳＷ＿ｍａｘである「３２」以下の値であるため、符号＃３／４に対応するシフト量は「１７」となる。また同時にシフト量演算器８０３は、データ無効指示信号として「Ｌ」を出力する。

次に、期間９０４においてシフタ８０４は、符号バッファ８０１より出力されたデータをシフト量「１７」分シフトして、シフト後のデータを選択器８００へと出力する。なおシフト量「１７」は符号＃３／４の合計符号長と等しく、符号＃３／４は全てシフトアウトされるため、シフト後のデータは次の符号＃５／６が先頭に頭出しされた状態となる。 次に、期間９０４において選択器８００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ８０４出力を選択してこれを出力する。また、期間９０４において逆量子化器８０５ａ及び逆量子化器８０５ｂは、可変長復号器８０２より出力された量子化予測差分値＃３／４を逆量子化し、ＩＱデータ＃３／４を生成して、逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂへとそれぞれ出力する。また、期間９０４において逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂは、逆量子化器８０５ａ及び逆量子化器８０５ｂより出力されたＩＱデータ＃３／４をそれぞれ逆量子化して、復号された画素データ＃３／４を出力する。

次に、符号バッファ８０１は期間９０４における選択器８００の出力（すなわち、シフタ８０４出力）を取り込んで記憶し、期間９０５の先頭においてこれを出力する。

期間９０５の先頭において符号バッファ８０１より出力されたデータは、符号＃５／６がデータの先頭に頭出しされた状態となっており、可変長復号器８０２へと渡される。次に、期間９０５において可変長復号器８０２は、符号バッファ８０１より出力されたデータを入力として、データの先頭に頭出しされている符号＃５／６の合計符号長「２５」を算出してシフト量演算器８０３へと出力する。また、期間９０５において可変長復号器８０２は、符号＃５／６を可変長復号して復号データ（量子化予測差分値）＃５／６を取り出し、逆量子化器８０５ａ及び逆量子化器８０５ｂへと出力する。次に、期間９０５においてシフト量演算器８０３は、符号＃５／６に対応するシフト量「２５」を算出して、シフタ８０４へと出力する。符号＃５／６の合計符号長は「２５」であり、ＳＷ＿ｍａｘである「３２」以下であるため、符号＃５／６に対応するシフト量は「２５」となる。また同時にシフト量演算器８０３は、データ無効指示信号として「Ｌ」を出力する。

次に、期間９０５においてシフタ８０４は、符号バッファ８０１より出力されたデータをシフト量「２５」分シフトして、シフト後のデータを選択器８００へと出力する。なおシフト量「２５」は符号＃５／６の合計符号長と等しく、符号＃５／６は全てシフトアウトされるため、シフト後のデータは次の符号＃７／８が先頭に頭出しされた状態となる。次に、期間９０５において選択器８００は、符号取り込み指示信号が「Ｌ」レベル（符号入力非取り込み指示を意味する）を示しているため、シフタ８０４出力を選択してこれを出力する。

また、期間９０５において逆量子化器８０５ａ及び逆量子化器８０５ｂは、可変長復号器８０２より出力された復号データ＃５／６を逆量子化し、ＩＱデータ＃５／６を生成して、逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂへと出力する。また、期間９０５において逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂは、逆量子化器８０５ａ及び逆量子化器８０５ｂより出力されたＩＱデータ（逆量子化予測差分値）＃５／６に、対応する予測値を加算して復号された画素データ＃５／６を出力する。

次に、期間９０６の先頭において、次の所定単位分の符号が選択器８００へと入力される。また、同じく期間９０６において選択器８００は、符号取り込み指示信号が「Ｈ」レベル（符号入力取り込み指示を意味する）を示しているため、符号入力を選択してこれを出力する。符号バッファ８０１は期間９０６における選択器８００の出力（すなわち、符号入力）を取り込んで記憶し、次の期間（図示しない）の先頭においてこれを出力する。

期間９０６の先頭において符号バッファ８０１より出力されたデータは、符号＃７／８がデータの先頭に頭出しされた状態となっており、可変長復号器８０２へと渡される。次に、期間９０６において可変長復号器８０２は、符号バッファ８０１より出力されたデータを入力として、データの先頭に頭出しされている符号＃７／８の合計符号長「２３」を算出してシフト量演算器８０３へと出力する。また、期間９０６において可変長復号器８０２は、符号＃７／８を可変長復号して復号データ（量子化予測差分値）＃７／８を取り出し、逆量子化器８０５ａ及び逆量子化器８０５ｂへと出力する。

次に、期間９０６においてシフト量演算器８０３は、符号＃７／８に対応するシフト量「２３」を算出して、シフタ８０４へと出力する。符号＃７／８の合計符号長は「２３」であり、ＳＷ＿ｍａｘである「３２」以下であるため、符号＃７／８対応するシフト量は「２３」となる。また同時にシフト量演算器８０３は、データ無効指示信号として「Ｌ」を出力する。

次に、期間９０６においてシフタ８０４は、符号バッファ８０１より出力されたデータをシフト量「２３」分シフトして、シフト後のデータを選択器８００へと出力する。なおシフト量「２３」は符号＃７／８の合計符号長と等しく、符号＃７／８は全てシフトアウトされるため、これで全ての所定単位分の符号がシフトアウトされることになる。

また、期間９０６において逆量子化器８０５ａ及び逆量子化器８０５ｂは、可変長復号器８０２より出力された復号データ＃７／８を逆量子化し、ＩＱデータ＃７／８を生成して、逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂへと出力する。また、期間９０６において逆ＤＰＣＭ部８０６ａ及び逆ＤＰＣＭ部８０６ｂは、逆量子化器８０５ａ及び逆量子化器８０５ｂより出力されたＩＱデータ＃７／８に、対応する予測値を加算して復号された画素データ＃７／８を出力する。

以下、期間９０６の先頭で入力された所定単位分の符号も、以降の期間で同様に処理されていくが、説明は割愛する。

以上説明したように、第２の実施形態にかかる画像復号部においては、入力される符号ペアの合計符号長がシフタ８０４の最大シフト幅ＳＷ＿ｍａｘを超えている場合は複数クロックサイクルで、そうでない場合には１クロックサイクルかけて処理していく。このため、画像を符号化した符号データの中に、最大シフト幅ＳＷ＿ｍａｘを超える符号ペアが多く含まれているほど復号にかかる時間が長くなり、少ないほどその時間が短くなる。

［第３の実施形態］
図１１は、第３の実施形態にかかる画像処理装置の構成を示すブロック図である。
本画像処理装置は、撮像部１００、Ｉ／Ｆ部１０１、制御部１１００、画像符号化部１０３、メモリ１０４、表示画像復号部１０５、表示画像現像処理部１０６、表示画像処理部１０７、表示機器１０８、記録画像復号部１０９、記録画像現像処理部１１０、記録画像処理部１１１、記録媒体１１２、通信部１１０１、及び接続部１１０２を有する。

このうち制御部１１００、通信部１１０１、及び接続部１１０２以外の構成要素については、第１の実施形態にかかる画像処理装置における構成要素と同一であるため、説明を省略する。また、第３の実施形態にかかる画像処理装置全体の動作についても、第１の実施形態と同様の箇所についてはその説明を省略し、互いの差分に着目して説明する。

制御部１１００は制御部１０２が行う動作に加え、動作モード及び通信部１１０１が出力する外部接続先の機器からの情報に応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。外部接続機器は例えば、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末などの情報処理端末である。

通信部１１０１は外部接続機器と通信して情報を取得し、制御部１１００へと出力する。外部接続機器から取得する情報は、外部接続機器が備える復号器の有するシフタの、１回の動作でシフトできる最大シフト幅とする。

接続部１１０２は外部接続機器とのインターフェースであり、メモリ１０４から画像符号化部１０３より出力された符号化データを読み出して、外部接続機器へと送信する。

＜第３の実施形態にかかる画像処理装置の動作の説明＞
次に、第３の実施形態にかかる画像処理装置の動作を説明する。

本実施形態においては、撮像部１００から送出されてくる画像をリアルタイムに外部接続機器で表示させながら、ユーザによる撮影開始指示に従い画像を撮影し記録するというユースケースに基づいて説明する。また、本実施形態においても第１の実施形態同様、外部接続機器で表示させる画像の表示画像周期が８．３ｍｓｅｃ、記録画像周期が３３．３ｍｓｅｃであるとする。

なお、第１の実施形態において説明したユースケースにおいては、符号化された表示画像の復号、現像処理、画像処理、表示を行うのはそれぞれ、表示画像復号部１０５、表示画像現像処理部１０６、表示画像処理部１０７、表示機器１０８であった。

これに対し、本第３の実施形態のユースケースにおける上記は全て、外部接続機器が行うという点において異なる。しかしながら、装置全体としての動作はごく一部を除き第１の実施形態と変わらない。

従って、第３の実施形態にかかる画像処理装置の動作も第１の実施形態同様、図７を用いて差分に着目して説明するものとし、第１の実施形態と同様である要素については、その内容の一部または全ての説明を省略する。また、符号化された表示画像の復号、現像処理、画像処理、表示の各処理については、前述したように外部接続機器が行うものと置き換えて理解されたい。また同様に、制御部１０２は通信部１１０１と置き換えて理解されたい。

期間７０１の先頭において、通信部１１０１は外部接続機器と通信し、外部接続機器が備える復号器の有するシフタの、１回の動作でシフトできる最大シフト幅ＳＷ＿ｍａｘの情報を取得して、制御部１１００へと出力する。

また、期間７０１において制御部１１００は、前記最大シフト幅ＳＷ＿ｍａｘ及び動作モードに応じて画像符号化部１０３が使用する符号の符号長上限値を決定し、符号長制御信号として画像符号化部１０３へ出力する。

本実施形態においても第１の実施形態同様、復号処理を含む表示画像の処理は表示画像周期８．３ｍｓｅｃ内に収める必要があり、一方で記録画像ほどの高画質が要求されるわけではないため、動作モードとしては処理性能優先モードが設定される。

制御部１１００は、動作モードが処理性能優先モードであることに応じて、画像符号化部１０３が使用する符号の符号長上限値を比較的小さい値となるように決定する。本実施形態においては、これを外部接続機器の有するシフタの最大シフト幅ＳＷ＿ｍａｘと等しい値とする。こうすることで、ＳＷ＿ｍａｘを超える符号長が発生しないため、外部接続機器における１画像当たりの復号処理時間が最短となる。

また、期間７０１において画像符号化部１０３は、制御部１１００より出力された符号長制御信号に基づき、Ｉ／Ｆ部１０１から供給される表示画像ＬＶ１を符号化し、符号化データを生成してメモリ１０４へと出力する。また、期間７０１においてメモリ１０４は、画像符号化部１０３から出力された表示画像ＬＶ１に対応する符号化データを格納する。また、期間７０１において接続部１１０２は、表示画像ＬＶ１に対応する符号化データをメモリ１０４から読み出し、外部接続機器へと送出する。

また、期間７０１において外部接続機器は、表示画像ＬＶ１に対応する符号化データを接続部１１０２より受信する。かつ、外部接続機器はこれを復号して表示画像ＬＶ１に対応する復号画像信号を生成し、表示画像向けの現像処理及び表示画像向けの画像処理を行い、これを表示する。

前述のごとく、符号化された表示画像の復号、現像処理、画像処理、表示の各処理については外部接続機器が行うものと置き換え、また、制御部１０２は通信部１１０１と置き換えれば第１の実施形態の画像処理装置の動作と同様であるため、以降の説明を省略する。

以上説明したように、本第３の実施形態にかかる画像処理装置においては、復号処理の速度要求が厳しい表示画像を外部接続機器に行わせる場合であっても、画像処理装置の有するシフタの最大シフト幅に合わせて符号長を制限することで、要求を満たすことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像部、１０１…Ｉ／Ｆ部、１０２…制御部、１０３…画像符号化部、１０４…メモリ、１０５…表示画像復号部、１０６…表示画像現像処理部、１０７…表示画像処理部、１０８…表示機器、１０９…記録画像復号部、１１０…記録画像現像処理部、１１１…記録画像処理部、１１２…記録媒体、２００…ＤＰＣＭ部、２０１…量子化器、２０２…可変長符号化器、２０３…量子化パラメータ生成器、４００…選択器、４０１…符号バッファ、４０２…可変長復号器、４０３…シフト量演算器、４０４…シフタ、４０５…逆量子化器、４０６…逆ＤＰＣＭ部

Claims (11)

1. 撮像手段、該撮像手段で得た画像を符号化する符号化手段、該符号化手段で生成された符号化データを復号する復号手段とを有する撮像装置であって、
   動作モードに従って、前記符号化手段が生成する符号の符号長の上限値を決定し、前記符号化手段に設定する制御手段を更に有し、
   前記復号手段は、
   前記符号化手段からの符号の符号長が閾値以下である場合には、当該符号を１サイクルで復号し、
   前記符号化手段からの符号の符号長が前記閾値を超える場合には、当該符号を複数のサイクルで復号する
   ことを特徴とする撮像装置。
2. 前記符号化手段は、
   前記撮像手段で得た画像データにおける予め設定された画素数のブロックを入力し、当該ブロック内の画素についてＤＰＣＭ処理を行うＤＰＣＭ処理手段と、
   当該ＤＰＣＭ処理手段からの出力を量子化する量子化手段と、
   当該量子化手段からの出力をエントロピー符号化し、符号を生成するエントロピー符号化手段と、
   前記ブロック内の符号の最大符号長が前記制御手段により設定された上限値以下となるまで、前記量子化手段による量子化パラメータを更新し、前記ブロックの符号化を行わせる更新手段と
   を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記動作モードは、処理速度よりも画質を優先することが要求される画質優先モード、及び、画質よりも高速に処理することが要求される速度優先モードを含むことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記復号手段は、復号対象の符号をその符号長分シフトして次の復号対象の符号の頭出しをするためのシフタを備え、
   前記シフタは、一度にシフトできる最大のシフト量以下の符号長の符号については１サイクルでシフトし、そうでない符号については複数サイクルかけてシフトする
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 復号手段を有する他のデバイスと接続し、前記符号化データを送信し、復号データを受信する接続手段を更に有し、
   前記制御手段は、前記画像の符号化に先だって接続先と通信を行って接続先のデバイスの復号手段の処理性能を取得し、
   当該取得した処理性能に基づき、前記符号化手段で使用する符号の符号長の上限値を決定し、前記符号化手段に設定する
   ことを特徴とする請求項１に記載の撮像装置。
6. 撮像手段、該撮像手段で得た画像を符号化する符号化手段、該符号化手段で生成された符号化データを復号する復号手段とを有する撮像装置であって、
   動作モードに従って、予め設定された数の符号の合計符号長の上限値を決定し、前記符号化手段に設定する制御手段を更に有し、
   前記復号手段は、
   前記符号化手段からの予め設定された数の符号の合計符号長が閾値以下である場合には、複数の復号手段を利用して、前記予め設定された数の符号を１サイクルで復号し、
   前記符号化手段からの予め設定された数の符号の合計符号長が前記閾値を超える場合には、当該符号を複数のサイクルで復号し、前記予め設定された数の符号を、複数の復号手段を利用して復号する
   ことを特徴とする撮像装置。
7. 前記動作モードは、処理速度よりも画質を優先することが要求される画質優先モード、及び、画質よりも高速に処理することが要求される速度優先モードを含むことを特徴とする請求項６に記載の撮像装置。
8. 前記復号手段は、予め設定された数の符号の合計符号長分シフトして次の復号対象の符号の頭出しをするためのシフタを備え、
   前記シフタは、前記予め設定された数の符号の合計符号長が一度にシフトできる最大のシフト幅以下である場合には１サイクルでシフトし、そうでない場合には複数サイクルかけてシフトする、
   ことを特徴とする請求項５又は６に記載の撮像装置。
9. 撮像手段、該撮像手段で得た画像を符号化する符号化手段、該符号化手段で生成された符号化データを復号する復号手段とを有する撮像装置の制御方法であって、
   動作モードに従って、前記符号化手段が生成する符号の符号長の上限値を決定し、前記符号化手段に設定する制御工程を有し、
   前記復号手段は、
   前記符号化手段からの符号の符号長が閾値以下である場合には、当該符号を１サイクルで復号し、
   前記符号化手段からの符号の符号長が前記閾値を超える場合には、当該符号を複数のサイクルで復号する
   ことを特徴とする撮像装置の制御方法。
10. 撮像手段、該撮像手段で得た画像を符号化する符号化手段、該符号化手段で生成された符号化データを復号する復号手段とを有する撮像装置の制御方法であって、
    動作モードに従って、予め設定された数の符号の合計符号長の上限値を決定し、前記符号化手段に設定する制御工程を有し、
    前記復号手段は、
    前記符号化手段からの予め設定された数の符号の合計符号長が閾値以下である場合には、複数の復号手段を利用して、前記予め設定された数の符号を１サイクルで復号し、
    前記符号化手段からの予め設定された数の符号の合計符号長が前記閾値を超える場合には、当該符号を複数のサイクルで復号し、前記予め設定された数の符号を、複数の復号手段を利用して復号する
    ことを特徴とする撮像装置の制御方法。
11. コンピュータが読み込み実行することで、前記コンピュータに、請求項９又は１０に記載の方法の各工程を実行させるためのプログラム。

Images