JP2001024919A - 画像処理装置、カメラ一体型画像記録再生装置、画像処理システム、画像処理方法、及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザが所望する状態の画像を確実に且つ容
易に記録することができるカメラ一体型画像記録再生装
置を提供する。 【解決手段】 カメラ一体型記録再生装置１００での撮
影モード時において、符号化手段１０７，１０８，１０
９は、原画像を符号化する。記録手段１１５は、符号化
手段１０７，１０８，１０９にて得られた符号化後画像
を記録媒体に記録する。これと同時に復号手段１１０，
１１１は、符号化手段１０７，１０８，１０９にて得ら
れた符号化後画像を復号する。表示部１２２は、復号手
段１１０，１１１にて得られた復号後画像を表示する。
これにより、圧縮処理によって生じる画質の劣化を、記
録時に確認することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、画像の記
録及び再生機能を有し、特に、ビューファインダ等の表
示部にて画像表示を行なう機能を有する装置やシステム
に用いられる画像処理装置、カメラ一体型画像記録再生
装置、画像処理システム、画像処理方法、及びそれを実
施するための処理ステップをコンピュータが読出可能に
格納した記憶媒体に関するものである。

【０００２】

【従来の技術】従来より例えば、被写体を撮影し、それ
により得られた動画像を記録し再生するカメラ一体型記
録再生装置としては、ディジタルビデオカメラ（ＤＶ
Ｃ）等がよく知られている。このＤＶＣには、撮影中の
画像をリアルタイムに表示するためのビューファインダ
が設けられているのが一般的であり、これにより、ユー
ザは、ビューファインダに表示されている画像を確認し
ながら、撮影を行なうことができる。

【０００３】また、上述のＤＶＣにも代表されるよう
に、撮影等によって得られた画像データをディジタル化
して記録するディジタル画像記録装置では、記録対象と
なる画像データ（入力画像）のデータ量削減のために、
入力画像データをエンコーダで符号化して圧縮してから
記録するようになされている。このとき、様々な圧縮方
式が用いられるが、高能率な圧縮方式としては、静止画
におけるＪＰＥＧ方式や、動画におけるＭＰＥＧ方式等
が標準方式としてよく用いられる。

【０００４】

【発明が解決しようとする課題】しかしながら、入力画
像（原画像）を圧縮してから記録した場合、その再生画
像は、原画像に比べ、画質劣化が生じてしまう。このた
め、例えば、上述したようなＤＶＣにより撮影を行なっ
た場合、撮影中にビューファインダに表示される画像
（原画像）は順次圧縮され記録されるが、その後該記録
画像を再生すると、ユーザにとって、撮影時にビューフ
ァインダで確認したときのイメージと、再生したときの
イメージとの間に、大きな画質の差が生じてしまう場合
がある。これは、ユーザに不満を与えかねない。特に、
記録画像の圧縮率を可変設定できるＤＶＣもあるが、こ
のようなＤＶＣにおいて、例えば、圧縮率を上げ、記録
時間を優先させる設定を行なって撮影を行なうと、ユー
ザがイメージしていた画質とは異なる低画質の状態で記
録されてしまう場合がある等、上記の問題は顕著に現れ
る。

【０００５】そこで、本発明は、上記の欠点を除去する
ために成されたもので、ユーザが所望する状態の画像を
確実に且つ容易に記録することができる画像処理装置、
カメラ一体型画像記録再生装置、画像処理システム、画
像処理方法、及びそれを実施するための処理ステップを
コンピュータが読出可能に格納した記憶媒体を提供する
ことを目的とする。

【０００６】

【課題を解決するための手段】斯かる目的下において、
本発明では、例えば、カメラ一体型記録再生装置での撮
影モード時に、既に再生画像と同等の画質表示を行い、
これをユーザーに確認させることで、再生時の画質を把
握できるように構成する。すなわち、圧縮処理によって
生じる画質の劣化を確認するために、入力画像（原画
像）を一旦符号化し、さらに復号化して、これを表示部
で表示する。

【０００７】具体的には、符号化方式としてＭＰＥＧを
採用したカメラ一体型記録再生装置に関しては、撮影モ
ード時において、撮影して得られた画像をカメラ信号処
理部で画像処理した後、これをＭＰＥＧエンコーダで符
号化して記録媒体に記録する動作と併行して、該ＭＰＥ
Ｇエンコーダで符号化した画像データを、ＭＰＥＧエン
コーダの処理過程に存在する復号処理機能を用いて復号
して表示部に表示する。このときの表示形態としては、
カメラからの入力画像（原画像）と、該原画像を符号化
して復号した画像とを選択的に、又は合成して表示す
る。また、エンコーダとデコーダの両方を個別に具備す
るカメラ一体型記録再生装置に関しては、撮影モード時
において、撮影して得られた画像をカメラ信号処理部で
画像処理した後、これをエンコーダで符号化して記録媒
体に記録する動作と併行して、該エンコーダで符号化し
た画像を記録処理の前段階で別経路で取得し、この取得
した符号化後画像をデコーダで複号して、表示部に表示
する。このときの表示形態としては、カメラからの入力
画像（原画像）と、該原画像を符号化して復号した画像
とを選択的に、又は合成して表示する。

【０００８】すなわち、第１の発明は、入力画像を符号
化する符号化手段と、上記符号化手段にて得られた符号
化後画像を記録媒体に記録する記録手段とを備える画像
処理装置であって、上記入力画像の記録モード時におい
て、上記符号化手段にて得られた符号化後画像を復号す
る復号手段と、少なくとも上記復号手段にて得られた復
号後画像を表示部に供給する供給手段とを更に備えるこ
とを特徴とする。

【０００９】第２の発明は、上記第１の発明において、
上記符号化手段は、予測符号化方式により上記入力画像
の符号化を行い、上記復号手段は、上記予測符号化方式
における復号機能により、上記符号化後の復号を行うこ
とを特徴とする。

【００１０】第３の発明は、入力画像を符号化する符号
化手段と、上記符号化手段にて得られた符号化後画像を
記録媒体に記録する記録手段と、上記記録媒体から符号
化後画像を読み出す再生手段と、上記再生手段により読
み出された符号化後画像を復号する復号手段と、画像表
示可能な表示部に画像を供給する供給手段とを備える画
像処理装置であって、上記復号手段は、上記入力画像の
記録モード時において、上記符号化手段にて得られた符
号化後画像を復号し、上記供給手段は、少なくとも上記
復号手段にて得られた復号後画像を上記表示部に供給す
ることを特徴とする。

【００１１】第４の発明は、上記第１又は３の発明にお
いて、上記符号化後画像の圧縮率を制御する制御手段を
備えることを特徴とする。

【００１２】第５の発明は、上記第１又は３の発明にお
いて、上記表示部は、上記入力画像と、上記復号手段に
て得られた復号後画像とを選択的に表示することを特徴
とする。

【００１３】第６の発明は、上記第１又は３の発明にお
いて、上記供給手段は、上記入力画像と、上記復号手段
にて得られた復号後画像とを合成して供給することを特
徴とする。

【００１４】第７の発明は、請求項１〜６の何れかに記
載の画像処理装置の機能を有するカメラ一体型画像記録
再生装置であって、上記入力画像の記録モードは、撮影
して得られた画像を上記記録媒体に記録する撮影モード
を含むことを特徴とする。

【００１５】第８の発明は、複数の機器が通信可能に接
続されてなる画像処理システムであって、上記複数の機
器のうち少なくとも１つの機器は、請求項１〜６の何れ
かに記載の画像処理装置、又は請求項７記載のカメラ一
体型画像記録再生装置の機能を有することを特徴とす
る。

【００１６】第９の発明は、撮影して得られた原画像を
記録する撮影モード時の画像処理方法であって、上記原
画像を符号化する符号化ステップと、上記符号化ステッ
プにより得られた符号化後画像を記録媒体に記録する記
録ステップと、上記符号化ステップにより得られた符号
化後画像を復号する復号ステップと、上記復号ステップ
により得られた復号後画像を表示部に供給する供給ステ
ップとを含むことを特徴とする。

【００１７】第１０の発明は、上記復号ステップは、上
記符号化ステップ内の処理過程に存在する復号処理を用
いて、上記復号処理を実行するステップを含むことを特
徴とする。

【００１８】第１１の発明は、上記第９の発明におい
て、上記復号ステップは、上記符号化ステップにより得
られた符号化後画像を、上記記録ステップの実行の前段
階で再生モード時とは別経路で取得して復号するステッ
プを含むことを特徴とする。

【００１９】第１２の発明は、上記第９の発明におい
て、上記符号化ステップは、圧縮率の調節可能な符号化
方式により、上記符号化処理を実行するステップを含む
ことを特徴とする。

【００２０】第１３の発明は、上記第９の発明におい
て、上記供給ステップは、上記復号後画像と、上記原画
像とを選択的に供給するステップを含むことを特徴とす
る。

【００２１】第１４の発明は、上記第９の発明におい
て、上記供給ステップは、上記復号後画像と、上記原画
像とを１画面内に合成して供給するステップを含むこと
を特徴とする。

【００２２】第１５の発明は、請求項９〜１４の何れか
に記載の画像処理方法の処理ステップを、コンピュータ
が読出可能に格納した記憶媒体であることを特徴とす
る。

【００２３】第１６の発明は、画像データを入力する入
力手段と、上記画像データを予測符号化する符号化手段
と、上記符号化手段によって予測符号化された画像デー
タを局部復号する復号化手段と、上記復号化手段によっ
て局部復号された画像データに基づいて、上記符号化手
段で用いられる予測画像データを生成する生成手段と、
上記復号化手段によって局部復号された画像データを表
示部へ供給する供給手段とを備えることを特徴とする。

【００２４】第１７の発明は、上記第１６の発明におい
て、上記供給手段は、符号化前の上記画像データと、上
記局部復号された画像データとを選択的に上記表示部へ
供給することを特徴とする。

【００２５】第１８の発明は、上記第１６の発明におい
て、上記供給手段は、符号化前の上記画像データと、上
記局部復号された画像データとを合成し、その合成画像
データを上記表示部へ供給することを特徴とする。

【００２６】第１９の発明は、上記第１６の発明におい
て、上記符号化手段は、上記画像データを量子化する量
子化手段を含み、上記量子化手段は、量子化ステップを
可変設定するモードと固定設定するモードを有すること
を特徴とする。

【００２７】第２０の発明は、上記第１６の発明におい
て、上記入力手段は、被写体を撮像して上記画像データ
を発生する撮像手段を含むことを特徴とする。

【００２８】第２１の発明は、上記第１６の発明におい
て、上記符号化手段によって予測符号化された画像デー
タを記録媒体に記録する記録手段を備えることを特徴と
する。

【００２９】第２２の発明は、上記第１６の発明におい
て、上記表示部を備えることを特徴とする。

【００３０】第２３の発明は、請求項１６〜２２の何れ
かに記載の画像処理装置の機能を有するカメラ一体型画
像記録再生装置であることを特徴とする。

【００３１】第２４の発明は、画像データを入力する入
力ステップと、上記画像データを予測符号化する符号化
ステップと、上記予測符号化された画像データを局部復
号する復号化ステップと、上記局部復号された画像デー
タに基づいて、上記符号化ステップで用いられる予測画
像データを生成する生成ステップと、上記局部復号され
た画像データを表示部へ供給する供給ステップとを含む
ことを特徴とする。

【００３２】第２５の発明は、請求項２４記載の画像処
理方法の処理ステップを、コンピュータが読出可能に格
納した記憶媒体であることを特徴とする。

【００３３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００３４】（第１の実施の形態）本発明は、例えば、
図１に示すような画像記録部１００を有する画像記録再
生装置に適用される。本実施の形態における画像記録部
１００は、特に、入力画像を圧縮して記録する際に、そ
の記録画像を再生したときの画像とほぼ同一の画質で記
録画像の画質を確認できるようになされている。

【００３５】ここで、図２は、一般的な画像記録再生装
置の画像記録部５００を示したものである。上記図１及
び図２に示すように、本実施の形態における画像記録部
１００は、一般的な画像記録部５００の構成に加えて、
時間優先等のために圧縮率を変化させながら画像記録を
行うモード（以下、「圧縮率可変モード」と言う）と、
画質を優先して画像記録を行うモード（以下、「画質優
先モード」と言う）とを切り替えるための固定量子化テ
ーブル１１９及びスイッチ１１８を備えると共に、原画
像と、該原画像を圧縮した後に復号した画像（後述する
「ローカルデコード画像」）とを切り替えて画面表示す
るためのスイッチ１２０、ディジタル／アナログ変換器
（Ｄ／Ａコンバータ）１２１、表示部１２２、及び表示
画像外部出力端子１２３を備える構成としている。

【００３６】尚、上記図１の画像記録部１００では、上
記図２の一般的な画像記録部５００の構成と異なる構成
部を点線で示す。また、ここで用いる圧縮方式として
は、例えば、ＭＰＥＧ方式としている。

【００３７】すなわち、本実施の形態における画像記録
部１００は、上記図１に示すように、レンズやＣＣＤ等
のカメラ部を含む撮像系１０１、Ａ／Ｄコンバータ１０
２、カメラ信号処理回路１０３、画面並替回路１０４、
スイッチ１０５、減算器１０６、ＤＣＴ（直交変換）回
路１０７、量子化回路１０８、可変長符号化回路１０
９、逆量子化回路１１０、ＩＤＣＴ（逆直交変換）回路
１１１、加算器１１２、動き補償予測回路１１３、スイ
ッチ１１４、バッファ１１５、レート制御回路１１６、
及び記録媒体１１７に加えて、固定量子化テーブル１１
９、スイッチ１１８、スイッチ１２０、ディジタル／ア
ナログ変換器（Ｄ／Ａコンバータ）１２１、表示部１２
２、表示画像外部出力端子１２３、及びメモリ１２４を
備える構成としている。そして、スイッチ１０５、１１
４、１１８、及び１２０と、レート制御回路１１６と、
可変長符号化回路１０９とをはじめとする各構成部の動
作は、図示していないシステムコントローラによって制
御されるようになされている。すなわち、このシステム
コントローラは、装置全体の動作制御を司るものであ
り、図示していない操作部からの必要に応じたユーザか
らの指示によっても、装置全体の動作制御を行うように
なされている。以下、本実施の形態における画像記録部
１００について具体的に説明する。

【００３８】［画像符号化から記録までの一連の動作］

【００３９】撮像系１０１にて撮像して得られた画像信
号は、Ａ／Ｄコンバータ１０２によりディジタル変換さ
れて、カメラ信号処理回路１０３に対して入力される。

【００４０】カメラ信号処理回路１０３は、入力画像デ
ータに基づいて補正値を決定し、その補正値に従って補
正した入力画像データを、色差データと輝度データに分
離して１フレーム単位で画面並替回路１０４に供給す
る。

【００４１】画面並替回路１０４は、複数フレームの画
像データを記憶できるメモリ（図示せず）を備えてお
り、このメモリへ、カメラ信号処理回路１０３からの１
フレーム単位の画像データを、フレーム順を入れ替えて
記憶して、その順で出力する。

【００４２】具体的には例えば、図３に示すように、画
面並替回路１０４には、第１フレーム、第２フレーム、
第３フレーム、・・・の順に、画像データが入力され
る。そして、画面並替回路１０４は、入力された画像デ
ータのフレーム順を入れ替えて（画面の並び替え）、第
３フレーム、第１フレーム、第２フレーム、・・・の順
に、画像データを出力する。このような画面並替回路１
０４での画面の並び替えは、図４に示すような、イント
ラ符号化及びインター符号化を行なうために必要な処理
である。上記の”イントラ符号化”とは、フレーム内の
画像データのみで符号化するものであり、上記図４に示
すＩピクチャを生成するための符号化である。一方、上
記の”インター符号化”とは、フレーム間予測も含めて
符号化するものであり、上記図４に示すＰ及びＢピクチ
ャを生成するための符号化である。

【００４３】以下、イントラ符号化の場合と、インター
符号化の場合とで分けて、画像並替回路１０４からの動
作を説明する。

【００４４】イントラ符号化の場合、画面並替回路１０
４の後段に設けられたスイッチ１０５は、Ａ側（画面並
替回路１０４からのデータを出力とする端子側）に切り
替わる。これにより、画面並替回路１０４にて画面の並
び替えが行われた画像データは、スイッチ１０５を介し
て、ＤＣＴ回路１０７に対して入力される。

【００４５】ＤＣＴ回路１０７は、入力された画像デー
タを直交変換して量子化回路１０８へ供給する。量子化
回路１０８は、ＤＣＴ回路１０７からの直交変換後の画
像データを量子化して、量子化後の画像データを、逆量
子化回路１１０及び可変長符号化回路１０９へそれぞれ
供給する。

【００４６】逆量子化回路１１０は、量子化回路１０８
からの量子化後の画像データを逆量子化して、量子化前
の画像データ（直交変換後の画像データ）を復元し、そ
れをＩＤＣＴ回路１１１へ供給する。ＩＤＣＴ回路１１
１は、逆量子化回路１１０からの画像データを逆直交変
換して、直交変換前の画像データを復元する。

【００４７】このとき、スイッチ１１４はＯＦＦ状態と
なっており、すなわちスイッチ１１４の出力先の加算器
１１２は機能していない状態であるため、ＩＤＣＴ回路
１１１にて得られた画像データは、そのまま動き補償予
測回路１１３に供給される。

【００４８】ここで、画面並替回路１０４にて画面の並
び替えが行われた画像データは、動き補償予測回路１１
３にも供給されている。このため、動き補償予測回路１
１３には、画面並替回路１０４の出力と、ＩＤＣＴ回路
１１１の出力とが供給された状態にある。

【００４９】動き補償予測回路１１３は、画面並替回路
１０４からの画像データと、ＩＤＣＴ回路１１１からの
画像データとから、次のインター符号化のための予測画
像データを生成する。

【００５０】可変長符号化回路１０９は、量子化回路１
０８からの量子化後の画像データを可変長符号化して、
可変長符号化後の画像データをバッファ１１５に供給す
る。このバッファ１１５内の画像データは、記録媒体１
１７に記録される。

【００５１】一方、インター符号化の場合、画面並替回
路１０４の後段に設けられたスイッチ１０５は、Ｂ側
（後述する減算器１０６からのデータを出力とする端子
側）に切り替わる。これにより、減算器１０６におい
て、画面並替回路１０４にて画面の並び替えが行われた
画像データと、上述した動き補償予測回路１１３にて得
られた予測画像データとの減算が行われ、この減算結
果、すなわち時間軸方向の冗長度が落とされた画像デー
タが、スイッチ１０５を介してＤＣＴ回路１０７へ供給
される。

【００５２】ＤＣＴ回路１０７は、減算器１０６にて時
間軸方向の冗長度が落とされた画像データを直交変換し
て量子化回路１０８へ供給する。量子化回路１０８は、
ＤＣＴ回路１０７からの直交変換後の画像データを量子
化して、量子化後の画像データを、逆量子化回路１１０
及び可変長符号化回路１０９へそれぞれ供給する。

【００５３】逆量子化回路１１０は、量子化回路１０８
からの量子化後の画像データを逆量子化して、量子化前
の画像データ（直交変換後の画像データ）を復元し、そ
れをＩＤＣＴ回路１１１へ供給する。ＩＤＣＴ回路１１
１は、逆量子化回路１１０からの画像データを逆直交変
換して、直交変換前の画像データを復元する。

【００５４】このとき、スイッチ１１４がＯＦＦ状態と
なることで、すなわちスイッチ１１４の出力先の加算器
１１２が機能していない状態となることで、ＩＤＣＴ回
路１１１にて得られた画像データは、そのまま動き補償
予測回路１１３に供給される。また、画面並替回路１０
４にて画面の並び替えが行われた画像データは、動き補
償予測回路１１３にも供給されている。このような状態
において、動き補償予測回路１１３は、画面並替回路１
０４からの画像データと、ＩＤＣＴ回路１１１からの画
像データとから、次のインター符号化のための予測画像
データを生成する。

【００５５】また、スイッチスイッチ１１４がＯＮ状態
となることで、すなわちスイッチ１１４の出力先の加算
器１１２が機能した状態となることで、加算器１１２で
は、動き補償予測回路１１３にて生成された予測画像デ
ータと、ＩＤＣＴ回路１１１にて得られた画像データと
の加算が行われる。この加算器１１２での加算結果は、
復号画像データとして、次の符号化のために、動き補償
予測回路１１３に供給される。

【００５６】動き補償予測回路１１３は、加算器１１２
からの復号画像データと、画面並替回路１０４からの画
像データとから、次のインター符号化のための予測画像
データを生成すると共に、動きベクトルを検出する。

【００５７】可変長符号化回路１０９は、動き補償予測
回路１１３にて検出された動きベクトルに基づいて、量
子化回路１０８からの量子化後の画像データを可変長符
号化して、可変長符号化後の画像データをバッファ１１
５に供給する。このバッファ１１５内の画像データは、
記録媒体１１７に記録される。

【００５８】［バッファ１１５の記録レートに従った量
子化制御］

【００５９】一般に（上記図２参照）、レート制御回路
１１６は、バッファ１１５の容量を認識し、その容量が
目標容量より少ない場合には、次の量子化が粗く行われ
るように量子化回路１０８を制御し、その容量が目標容
量若しくはそれ以上の場合には、予め初期値として与え
られている通常の量子化を行うように、量子化回路１０
８を制御することで、バッファ１１５の記録レートを１
ピクチャ間にほぼ一定にする。このとき、入力画像の動
きが速かったり、色の帯域が広い場合は、レート制御回
路１１６での記録レートを一定に保つための制御によ
り、量子化回路１０８での量子化が粗く行われることに
なる。

【００６０】そこで、ここでのレート制御回路１１６に
よる量子化回路１０８の制御は（上記図１参照）、スイ
ッチ１１８を介して行われるようになされている。

【００６１】具体的には、まず、スイッチ１１８は、圧
縮率可変モード（時間優先等のために圧縮率を変化させ
ながら画像記録を行うモード）と、画質優先モード（画
質を優先して画像記録を行うモード）との何れかのモー
ドが設定されているかによって、Ａ側（固定量子化テー
ブル１１９側）と、Ｂ側（レート制御回路１１６側）と
の何れの出力を量子化回路１０８に与えるかを切り替え
るようになされている。

【００６２】例えば、圧縮率可変モードに設定されてい
る場合、スイッチ１１８は、Ｂ側に切り替えられる。こ
れにより、レート制御回路１１６は、バッファ１１５の
容量を認識し、その容量が目標容量より少ない場合に
は、次の量子化が粗く行われるように量子化回路１０８
を制御し、その容量が目標容量若しくはそれ以上の場合
には、予め初期値として与えられている通常の量子化を
行うように、量子化回路１０８を制御することで、バッ
ファ１１５の記録レートを１ピクチャ間にほぼ一定とな
るような制御を行う。この結果、目標時間に従って、画
像データの符号化が行われ、記録媒体１１７への画像デ
ータの記録が行われることになる。このとき、目標時間
を長くすることは可能であるが、この場合の圧縮率は必
然的に高まる。

【００６３】一方、画質優先モードに設定されている場
合、スイッチ１１８は、Ａ側に切り替えられる。これに
より、量子化回路１０８は、レート制御回路１１６から
の上述した圧縮率可変モードにおける制御に従った量子
化を行うのではなく、固定量子化テーブル１１９の情報
を用いた量子化を行う。すなわち、量子化回路１０８
は、固定量子化テーブル１１９から量子化テーブルを読
み込み、それに基づいた量子化を行うことで、処理対象
の画像データの画質を一定に保つようにする。固定量子
化テーブル１１９には、例えば、イントラ符号化用と、
それ以外のフレーム符号化用との２つの量子化テーブル
があり、量子化回路１０８は、これらの量子化テーブル
を適宜切り替えて用いる。このような画質優先モードで
は、入力画像の動きが速かったり、色の帯域が広い場合
には、記録レートは高くなるが、画質に変化のない符号
化が実現できる。また、入力画像の動きが遅かったり、
色の帯域が狭い場合には、記録レートは低くなる。

【００６４】［記録画像を確認可能とする構成］

【００６５】本実施の形態の最も特徴とする構成は、上
述したように、入力画像を圧縮して記録する際に、その
記録画像を再生したときの画像とほぼ同一の画質で記録
画像の画質を確認できる構成にある。このため、画像記
録部１００は、次のように動作する。

【００６６】まず、上述したＩＤＣＴ回路１１１の出
力、すなわち入力画像がＤＣＴ回路１０７及び量子化回
路１０８により圧縮され、その圧縮後の画像（圧縮後画
像）が逆量子化回路１１０、ＩＤＣＴ回路１１１、及び
加算器１１２により復号された画像（局部復号画像）
は、メモリ１２４、スイッチ１２０、及びＤ／Ａコンバ
ータ１２１を順次介して、表示部１２２に供給されるよ
うになされている。尚、メモリ１２４は、ブロック化さ
れた画像をフレーム画像とするために用いられる。

【００６７】このように、ＤＣＴ回路１０７及び量子化
回路１０８により圧縮画像を、ＤＣＴ回路１０７及び量
子化回路１０８にそれぞれ対応した逆量子化回路１１
０、ＩＤＣＴ回路１１１、及び加算器１１２により復号
して、再び視認できる画像に戻された状態の画像を取得
することで、圧縮→伸張（符号化→復号化）された画
像、すなわち記録画像の再生画像（以下、「ローカルデ
コード画像」と言う）とほぼ同一な画質で、記録画像の
画質の確認を行うことができる。

【００６８】また、ここでは、カメラ信号処理回路１０
３の出力（原画像）もスイッチ１２０及びＤ／Ａコンバ
ータ１２１を順次介して、表示部１２２に供給されるよ
うになされている。これにより、ローカルデコード画像
と、原画像とを表示部１２２にて比較することができ
る。

【００６９】上記の構成をさらに具体的に説明すると、
カメラ信号処理回路１０３の出力（原画像）と、加算器
１１２の出力（ローカルデコード画像）とは、スイッチ
１２０に供給される。スイッチ１２０は、上述したシス
テムコントローラからの制御に従って、カメラ信号処理
回路１０３の出力（原画像）と、加算器１１２の出力
（ローカルデコード画像）とを選択的に出力する。スイ
ッチ１２０から出力された画像（ディジタル的な画像）
は、Ｄ／Ａコンバータ１２１によりアナログ化され、画
像信号に戻され、表示部１２２により表示される。これ
により、ユーザは、記録画像を、該記録画像の再生画像
の画質とほぼ同一の画質で確認することができる。この
とき、スイッチ１２０により選択された画像は、表示画
像外部出力端子１２３（ディジタルインターフェース：
ＤＩＦ等の端子）から外部出力される。これにより、そ
の画像のテータ送信も可能となり、高精細モニタ等の外
部装置での表示も可能となる。

【００７０】上述のような、表示部１２２でのローカル
デコード画像の表示は、例えば、撮影モードにおける撮
影画像の記録中や、記録スタンバイ時に、実行可能なよ
うになされている。また、ユーザが、表示部１２２によ
りローカルデコード画像（記録画像）の画質を確認した
後、図示していない操作部により、圧縮率可変モード又
は画質優先モードの再設定を行うことで、所望する圧縮
率に変更ことも可能である。この場合、この指示に従っ
て、レート制御回路１１６は、上述したような量子化制
御を再度実行する。

【００７１】上述のように、本実施の形態では、ＭＰＥ
Ｇエンコーダの機能からローカルデコード画像を取得
し、これを表示部１２２にて表示するように構成したの
で、回路構成を複雑にすることなく、記録画像を、該記
録画像の再生画像の画質とほぼ同一の画質で確認するこ
とができる。

【００７２】（第２の実施の形態）上述した第１の実施
の形態では、原画像と、ローカルデコード画像とを切り
替えて、表示部１２２により表示するように構成した
が、本実施の形態では、原画像と、ローカルデコード画
像とを合成した合成画像を、表示部１２２により表示す
る。このため、本実施の形態における画像記録部１００
は、図５に示すように、上述した第１の実施の形態にお
ける画像記録部１００のスイッチ１２０の代わりに（上
記図１参照）、画像合成回路１２５を設けると共に、原
画像を所定時間遅延させるためのＦＩＦＯメモリ１２４
を設けた構成としている。尚、上記図５の画像記録部１
００において、上記図１の画像記録部と同様に動作する
箇所には同じ符号を付し、その詳細な説明は省略する。

【００７３】上記図５に示すような本実施の形態におけ
る画像記録部１００では、カメラ信号処理回路１０３の
出力（原画像）が、ＦＩＦＯ回路１２４に供給される。
ＦＩＦＯ回路１２４は、カメラ信号処理回路１０３の出
力（原画像）を、所定時間遅延してから画像合成回路１
２５に供給する。これは、加算器１１２から画像合成回
路１２５に供給されるローカルデコード画像が、撮影さ
れた以降、各回路での画像処理に要した時間分だけ、原
画像より遅れるためである。これにより、原画像と、ロ
ーカルデコード画像とタイミングがとられて、画像合成
回路１２５での画像合成が行われることになる。尚、Ｆ
ＩＦＯ回路１２４は、本実施の形態での必須構成ではな
く、ＦＩＦＯ回路１２４を設けないように構成しても問
題はない。

【００７４】画像合成回路１２５は、ＦＩＦＯ回路１２
４を介した原画像と、加算器１１２からのローカルデコ
ード画像とを合成して合成画像を生成する。画像合成回
路１２５にて得られた合成画像は、Ｄ／Ａコンバータ１
２１を介して表示部１２２に供給され、表示部１２２に
て表示される。

【００７５】図６及び図７は、表示部１２２での表示画
面、すなわち画像合成回路１２５にて生成される合成画
像の一例を示したものである。上記図６は、原画像とロ
ーカルデコード画像を、それぞれ所定のサイズまで間引
いて合成し、記録画質確認モードとして、原画像とロー
カルデコード画像を合わせて表示して比較できるような
合成画像を生成した場合の一例である。上記図７は、原
画像を通常サイズで表示しつつ、その画面（大画面）上
の小画面に、間引き処理したローカルデコード画像（記
録画像）を合成した場合の一例である。尚、大画面にロ
ーカルデコード画像を表示し、その小画面に原画像を表
示するようにしてもよい。 このような合成画像が表示
部１２２に表示されることで、ユーザは、記録画像の画
質を、原画像の画質と容易に比較して確認することがで
きる。

【００７６】（第３の実施の形態）上述した第１及び第
２の実施の形態では、符号化方式としてＭＰＥＧ方式を
用いた画像記録再生装置に本発明を適用し、ＭＰＥＧエ
ンコーダの機能からローカルデコード画像を取得して表
示するようにしたが、本実施の形態では、符号化方式と
して任意の方式を用い、エンコーダ及びデコーダが個別
に設けられた画像記録再生装置に本発明を適用して、入
力画像を圧縮して記録する際に、その記録画像を再生し
たときの画像とほぼ同一の画質で記録画像の画質を確認
できる構成を実現する。

【００７７】このため、本実施の形態における画像記録
再生装置の画像記録部を、例えば、図８に示すような構
成とする。すなわち、本実施の形態における画像記録部
２００は、レンズやＣＣＤ等を含む撮像系２０１、Ａ／
Ｄコンバータ２０２、カメラ信号処理回路２０３、所定
の圧縮方式を用いて原画像の符号化を行なうエンコーダ
２０４、符号化後の画像に対して記録処理を行う記録処
理回路２０５、記録媒体２０６、記録画像の再生処理を
行なう再生処理回路２０７、エンコーダ２０４での圧縮
方式に対応する復号方式で画像の復号化を行なうデコー
ダ２０８、スイッチ２０９，Ｄ／Ａコンバータ２１０、
液晶ディスプレイ等の表示部２１１、表示画像外部出力
端子２１２、装置全体の動作制御を司るシステムコント
ローラ２１３、及び操作指示入力部２１４を備えてい
る。以下、本実施の形態における画像記録部２００につ
いて具体的に説明する。

【００７８】［画像符号化から記録までの一連の動作］

【００７９】先ず、撮像系２０１にて撮影して得られた
画像信号は、Ａ／Ｄコンバータ２０２によりデジタル化
され、カメラ信号処理回路２０３に供給される。カメラ
信号処理回路２０３は、Ａ／Ｄコンバータ２０２からの
画像データの輝度や色の調整処理等を行う。このカメラ
信号処理回路２０３での処理後の画像データは、エンコ
ーダ２０４に供給される。

【００８０】エンコーダ２０４は、カメラ信号処理回路
２０３からの画像データを、所定の圧緒方式のアルゴリ
ズムに基づいて符号化する。ここでの圧縮方式として
は、例えば、家庭用ディジタルビデオでの帯域圧緒方式
として採用されているＤＶ圧縮方式、その他ＪＰＥＧ等
の標準的な画像圧縮方式、又は装置固有の画像圧縮方式
等、どのような圧縮方式にも採用可能である。エンコー
ダ２０４にて圧縮された画像データは、記録処理回路２
０５に供給される。

【００８１】記録処理回路２０５は、エンコーダ２０４
からの画像データを、記録に適したフォーマットへ変換
（フォーマット変換）した後、それを図示していない記
録用ヘッドを用いて、ディスク状記録媒体等の記録媒体
２０６の所定領域に記録する。

【００８２】上述のようにして記録媒体２０６へ記録さ
れた画像を再生する場合、記録媒体２０６の記録画像
は、図示していない再生用ヘッドにより読み取られる。
この読み取られた記録画像データは、再生処理回路２０
７へ供給される。再生処理回路２０７は、上記再生ヘッ
ドにより読み取られた記録画像データに対して、記録処
理回路２０５でのフォーマット変換前のデータに戻す変
換処理を行う。この処理後の画像データは、デコーダ２
０８に供給される。

【００８３】デコーダ２０８は、再生処理回路２０７か
らの画像データ、すなわち圧縮状態の画像データを、エ
ンコーダ２０４での圧縮方式に対応した方式で、伸張す
る。このようにして伸張された画像データは、後述する
スイッチ２０９及びＤ／Ａコンバータ２１０を順次介し
て、表示部２１１にて表示される。また、Ｄ／Ａコンバ
ータ２１０から出力される画像データは、表示画像外部
出力２１２にも供給されるようになされており、これに
より、その画像のテータ送信も可能となり、高精細モニ
タ等の外部装置での表示も可能となる。

【００８４】［記録画像を確認可能とする構成］

【００８５】本実施の形態の最も特徴とする構成は、上
述した第１及び第２の実施の形態と同様に、入力画像を
圧縮して記録する際に、その記録画像を再生したときの
画像とほぼ同一の画質で記録画像の画質を確認できる構
成にある。このため、画像記録部２００は、次のような
構成及び動作を実行するようになされている。

【００８６】まず、原画像と、圧縮→伸張（符号化→復
号化）された画像（ローカルデコード画像）との画質比
較を実現するために、画像記録部２００では、エンコー
ダ２０４とデコーダ２０８を直結する。これにより、エ
ンコーダ２０４にて得られた圧縮後の画像データは、記
録処理回路２０５に供給されると同時に、デコーダ２０
８にも供給される。デコーダ２０８は、エンコーダ２０
１からの画像データを伸張する。このように、画像記録
部２００では、エンコーダ２０４とデコーダ２０８を直
結することで、圧縮された画像データをすぐさま伸張し
て、ローカルデコード画像を取得する。このローカルデ
コード画像（記録画像の再生画像とほぼ同一な画質の画
像）は、原画像と並行してリアルタイムに取得される。

【００８７】上述のようにして得られたローカルデコー
ド画像は、スイッチ２０９に供給される。

【００８８】スイッチ２０９は、システムコントローラ
２１３からの制御に従って、カメラ信号処理回路２０３
の出力（原画像）と、デコーダ２０８の出力（ローカル
デコード画像）とを選択的に出力する。スイッチ２０９
から出力された画像（ディジタル的な画像）は、Ｄ／Ａ
コンバータ２１０によりアナログ化され、画像信号に戻
され、表示部２１１により表示される。これにより、ユ
ーザは、記録画像を、該記録画像の再生画像の画質とほ
ぼ同一の画質で確認することができる。

【００８９】上述のような、表示部２１１でのローカル
デコード画像の表示は、例えば、撮影モードにおける撮
影画像の記録中や、記録スタンバイ時に、実行可能なよ
うになされている。

【００９０】上述のような構成によっても、記録画像
を、該記録画像の再生画像の画質とほぼ同一の画質で確
認することができる。すなわち、本発明は、ＭＰＥＧ方
式を用いた画像記録再生装置に限らず、任意の符号化方
式を用いたあらゆる画像記録再生装置に適用可能であ
る。

【００９１】尚、上述した第３の実施の形態において、
スイッチ２０９の代わりに、第２の実施の形態での画像
合成回路１２５のような構成を設けるようにしてもよ
い。これにより、原画像とローカルデコード画像を合成
した合成画像を表示部２１１に表示することができ、ユ
ーザは、原画像の画質と、記録画像の画質とを容易に比
較することができる。

【００９２】また、上述した第３の実施の形態におい
て、エンコーダ２０４（及びそれに対応するデコーダ２
０８）を、操作部２１４によりユーザから指定された圧
縮率に従った可変長符号化方式を用いる構成（符号化レ
ート制御可能な構成）とすることで、第１及び第２の実
施の形態と同様に、ユーザが、表示部２１１によりロー
カルデコード画像（記録画像）の画質を確認した後、操
作部２１４により、圧縮率可変モード又は画質優先モー
ドの再設定を行うことで、所望する圧縮率に変更ことも
可能である。この場合、システムコントローラ２１３
は、操作部２１４からの指示に従って、エンコーダ２０
４での圧縮率を制御する。

【００９３】また、本発明の目的は、上述した各実施の
形態のホスト及び端末の機能を実現するソフトウェアの
プログラムコードを記憶した記憶媒体を、システム或い
は装置に供給し、そのシステム或いは装置のコンピュー
タ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプロ
グラムコードを読みだして実行することによっても、達
成されることは言うまでもない。この場合、記憶媒体か
ら読み出されたプログラムコード自体が各実施の形態の
機能を実現することとなり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することとなる。プログ
ラムコードを供給するための記憶媒体としては、ＲＯ
Ｍ、フロッピーディスク、ハードディスク、光ディス
ク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テ
ープ、不揮発性のメモリカード等を用いることができ
る。また、コンピュータが読みだしたプログラムコード
を実行することにより、各実施の形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼動しているＯＳ等が実際の処理の一
部又は全部を行い、その処理によって各実施の形態の機
能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコード
が、コンピュータに挿入された拡張機能ボードやコンピ
ュータに接続された機能拡張ユニットに備わるメモリに
書き込まれた後、そのプログラムコードの指示に基づ
き、その機能拡張ボードや機能拡張ユニットに備わるＣ
ＰＵなどが実際の処理の一部又は全部を行い、その処理
によって各実施の形態の機能が実現される場合も含まれ
ることは言うまでもない。

【００９４】

【発明の効果】以上説明したように本発明では、例え
ば、カメラー体型記録再生装置での撮像モード時に、原
画像を記録のために符号化した画像を復号し、これを表
示するように構成したので、記録画像を実際に再生モー
ドにて再生して得られた画質と同等の画質で、記録画像
の画質の確認を行うことができる。すなわち、撮影時に
再生時（圧縮後）の画質を知ることができるため、撮影
後に起こりうる不満（撮影時にイメージしていた画質に
対する不満等）を解消することができる。また、この確
認の結果、現状で不満な画質であるときには、圧縮率の
設定を変更することで、画質向上のための調整を行うこ
ともできる。また、表示形態に関しては、原画像を符号
化し復号した画像と、カメラからの原画像とを選択的
に、又は合成して表示するように構成したので、記録画
像の画質の確認や、原画像との比較を容易に且つ確実に
行うことができ、これは、ユーザーインターフェイスの
面でも効果的である。また、符号化方式として、例え
ば、ＭＰＥＧ方式を採用した場合、ＭＰＥＧエンコーダ
の処理過程に存在するデコードの機能を併用することが
できるため、回路規模を複雑にすることなく、簡単な回
路構成で、上記の効果を得ることができる。また、本発
明は、エンコーダとデコーダが個別に設けられた一般的
なカメラー体型記録再生装置全般にも容易に適用可能で
ある。

【００９５】よって、本発明によれば、ユーザが所望す
る状態の画像を確実に且つ容易に記録することができ
る。

【図面の簡単な説明】

【図１】第１の実施の形態において、本発明を適用した
画像記録再生装置の画像記録部の構成を示すブロック図
である。

【図２】上記画像記録部にて用いる符号化方式（ＭＰＥ
Ｇ方式）を説明するための図である。

【図３】上記第１の実施の形態における画像記録部の画
像並替回路での処理を説明するための図である。

【図４】上記符号化順序を説明するための図である。

【図５】第２の実施の形態における上記画像記録部の構
成を示すブロック図である。

【図６】上記画像記録部の表示部での表示画面の一例
（例１）を説明するための図である。

【図７】上記画像記録部の表示部での表示画面の一例
（例２）を説明するための図である。

【図８】第３の実施の形態において、本発明を適用した
画像記録再生装置の画像記録部の構成を示すブロック図
である。

【符号の説明】

１００ 画像記録部 １０１ 撮像系 １０２ Ａ／Ｄコンバータ １０３ カメラ信号処理回路 １０４ 画像並替回路 １０５ スイッチ １０６ 減算器 １０７ ＤＣＴ回路 １０８ 量子化回路 １０９ 可変長符号化回路 １１０ 逆量子化回路 １１１ ＩＤＣＴ回路 １１２ 加算器 １１３ 動き補償予測回路 １１４ スイッチ １１５ バッファ １１６ レート制御回路 １１７ 記録媒体 １１８ スイッチ １１９ 固定量子化テーブル １２０ スイッチ １２１ Ｄ／Ａコンバータ １２２ 表示部 １２３ 表示画像外部出力端子 １２４ メモリ

Claims (25)

【特許請求の範囲】
1. 【請求項１】 入力画像を符号化する符号化手段と、 上記符号化手段にて得られた符号化後画像を記録媒体に
   記録する記録手段とを備える画像処理装置であって、 上記入力画像の記録モード時において、上記符号化手段
   にて得られた符号化後画像を復号する復号手段と、 少なくとも上記復号手段にて得られた復号後画像を表示
   部に供給する供給手段とを更に備えることを特徴とする
   画像処理装置。
2. 【請求項２】 上記符号化手段は、予測符号化方式によ
   り上記入力画像の符号化を行い、 上記復号手段は、上記予測符号化方式における復号機能
   により、上記符号化後の復号を行うことを特徴とする請
   求項１記載の画像処理装置。
3. 【請求項３】 入力画像を符号化する符号化手段と、 上記符号化手段にて得られた符号化後画像を記録媒体に
   記録する記録手段と、 上記記録媒体から符号化後画像を読み出す再生手段と、 上記再生手段により読み出された符号化後画像を復号す
   る復号手段と、 画像表示可能な表示部に画像を供給する供給手段とを備
   える画像処理装置であって、 上記復号手段は、上記入力画像の記録モード時におい
   て、上記符号化手段にて得られた符号化後画像を復号
   し、 上記供給手段は、少なくとも上記復号手段にて得られた
   復号後画像を上記表示部に供給することを特徴とする画
   像処理装置。
4. 【請求項４】 上記符号化後画像の圧縮率を制御する制
   御手段を備えることを特徴とする請求項１又は３記載の
   画像処理装置。
5. 【請求項５】 上記表示部は、上記入力画像と、上記復
   号手段にて得られた復号後画像とを選択的に表示するこ
   とを特徴とする請求項１又は３記載の画像処理装置。
6. 【請求項６】 上記供給手段は、上記入力画像と、上記
   復号手段にて得られた復号後画像とを合成して供給する
   ことを特徴とする請求項１又は３記載の画像処理装置。
7. 【請求項７】 請求項１〜６の何れかに記載の画像処理
   装置の機能を有するカメラ一体型画像記録再生装置であ
   って、 上記入力画像の記録モードは、撮影して得られた画像を
   上記記録媒体に記録する撮影モードを含むことを特徴と
   するカメラ一体型画像記録再生装置。
8. 【請求項８】 複数の機器が通信可能に接続されてなる
   画像処理システムであって、 上記複数の機器のうち少なくとも１つの機器は、請求項
   １〜６の何れかに記載の画像処理装置、又は請求項７記
   載のカメラ一体型画像記録再生装置の機能を有すること
   を特徴とする画像処理システム。
9. 【請求項９】 撮影して得られた原画像を記録する撮影
   モード時の画像処理方法であって、 上記原画像を符号化する符号化ステップと、 上記符号化ステップにより得られた符号化後画像を記録
   媒体に記録する記録ステップと、 上記符号化ステップにより得られた符号化後画像を復号
   する復号ステップと、 上記復号ステップにより得られた復号後画像を表示部に
   供給する供給ステップとを含むことを特徴とする画像処
   理方法。
10. 【請求項１０】 上記復号ステップは、上記符号化ステ
    ップ内の処理過程に存在する復号処理を用いて、上記復
    号処理を実行するステップを含むことを特徴とする請求
    項９記載の画像処理方法。
11. 【請求項１１】 上記復号ステップは、上記符号化ステ
    ップにより得られた符号化後画像を、上記記録ステップ
    の実行の前段階で再生モード時とは別経路で取得して復
    号するステップを含むことを特徴とする請求項９記載の
    画像処理方法。
12. 【請求項１２】 上記符号化ステップは、圧縮率の調節
    可能な符号化方式により、上記符号化処理を実行するス
    テップを含むことを特徴とする請求項９記載の画像処理
    方法。
13. 【請求項１３】 上記供給ステップは、上記復号後画像
    と、上記原画像とを選択的に供給するステップを含むこ
    とを特徴とする請求項９記載の画像処理方法。
14. 【請求項１４】 上記供給ステップは、上記復号後画像
    と、上記原画像とを１画面内に合成して供給するステッ
    プを含むことを特徴とする請求項９記載の画像処理方
    法。
15. 【請求項１５】 請求項９〜１４の何れかに記載の画像
    処理方法の処理ステップを、コンピュータが読出可能に
    格納したことを特徴とする記憶媒体。
16. 【請求項１６】 画像データを入力する入力手段と、 上記画像データを予測符号化する符号化手段と、 上記符号化手段によって予測符号化された画像データを
    局部復号する復号化手段と、 上記復号化手段によって局部復号された画像データに基
    づいて、上記符号化手段で用いられる予測画像データを
    生成する生成手段と、 上記復号化手段によって局部復号された画像データを表
    示部へ供給する供給手段とを備えることを特徴とする画
    像処理装置。
17. 【請求項１７】 上記供給手段は、符号化前の上記画像
    データと、上記局部復号された画像データとを選択的に
    上記表示部へ供給することを特徴とする請求項１６記載
    の画像処理装置。
18. 【請求項１８】 上記供給手段は、符号化前の上記画像
    データと、上記局部復号された画像データとを合成し、
    その合成画像データを上記表示部へ供給することを特徴
    とする請求項１６記載の画像処理装置。
19. 【請求項１９】 上記符号化手段は、上記画像データを
    量子化する量子化手段を含み、 上記量子化手段は、量子化ステップを可変設定するモー
    ドと固定設定するモードを有することを特徴とする請求
    項１６記載の画像処理装置。
20. 【請求項２０】 上記入力手段は、被写体を撮像して上
    記画像データを発生する撮像手段を含むことを特徴とす
    る請求項１６記載の画像処理装置。
21. 【請求項２１】 上記符号化手段によって予測符号化さ
    れた画像データを記録媒体に記録する記録手段を備える
    ことを特徴とする請求項１６記載の画像処理装置。
22. 【請求項２２】 上記表示部を備えることを特徴とする
    請求項１６記載の画像処理装置。
23. 【請求項２３】 請求項１６〜２２の何れかに記載の画
    像処理装置の機能を有することを特徴とするカメラ一体
    型画像記録再生装置。
24. 【請求項２４】 画像データを入力する入力ステップ
    と、 上記画像データを予測符号化する符号化ステップと、 上記予測符号化された画像データを局部復号する復号化
    ステップと、 上記局部復号された画像データに基づいて、上記符号化
    ステップで用いられる予測画像データを生成する生成ス
    テップと、 上記局部復号された画像データを表示部へ供給する供給
    ステップとを含むことを特徴とする画像処理方法。
25. 【請求項２５】 請求項２４記載の画像処理方法の処理
    ステップを、コンピュータが読出可能に格納したことを
    特徴とする記憶媒体。