JP2002199394A - 動画処理システムおよび動画処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 少ない情報量で高品質な動画を表示可能な動
画処理システム、動画処理方法を提供する。 【解決手段】 動画像を撮像あるいは作画，編集するフ
レームモードとして少なくともスチルモードとパンニン
グモードとを備えた動画処理システムにおいて、各フレ
ームのオブジェクトについて人間の眼の注視を想定する
注視点があるか判定し（Ｓ４１，Ｓ４２）、注視点があ
ると判定したフレームと注視点がないと判定したフレー
ムとで異なる動画処理を行うようにする（Ｓ４３ないし
Ｓ４９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、低ビットレート転
送等少ない情報量で高品質な動画像を供給するシステム
に関するものである。

【０００２】

【従来の技術】従来の画像伝送フォーマットには静止画
のＪＰＥＧ，動画のＭＰＥＧ２，ＭＰＥＧ４，ＭＰＥＧ
７等がある。これらは主に画像の圧縮方法を規定したも
のであり、少ない情報量で高品質な画像を提供可能とな
っている。またＭＰＥＧ４以降はオブジェクトに対応し
ており、デジタル放送に対応したものとなっている。

【０００３】また人間の眼の働きを解析し、工学に応用
した例には、例えば三菱の人口網膜センサ等がある。

【０００４】近年注目点や注視点と呼ばれる、画像を注
目する人間の眼の焦点に着目した技術がある。

【０００５】前記技術には、例えば人間の眼の中心窩を
考慮した「中心窩を有する新しい視覚センサの開発」計
測自動制御学会論文集、Ｖｏｌ３１，Ｎｏ１０，１５５
６／１５６３（１９９５）、注視点を画像中に設定した
公報「特許第３００１３４８号」,「特開平６−３４８
２５３号」、画像圧縮率を可変とした「特開平８−４６
８５７号」等がある。

【０００６】また前記注目度の大小に応じて情報量を振
分ける技術には例えば松下電器産業の「視界感度変調技
術」等がある。

【０００７】また近年携帯電話を中心としたモバイル機
器に、低ビットレートで高品質な画像を提供するニーズ
が強まっている。

【０００８】

【発明が解決しようとする課題】しかしながら、前述の
高品質な動画像を低ビットレートで提供できる技術は未
だ未成熟である。

【０００９】前記人間の眼の動作には大別して固視と跳
躍、追随眼球運動がある。前者の固視と跳躍は主に動か
ない物体を視野広く見るために行う動作であり、人間は
前記跳躍（サッカード）を意識することなく行ってい
る。それに対して後者の追随眼球運動は動く物体を追随
する際に生じる運動であり、注目点の移動を伴ってい
る。人間の眼は注目するほどその視界は狭くなる。

【００１０】したがって人間は前記動画像を観る際にも
前述の動作を行っているはずであるが、前記動画像の構
成は前記人間の眼の働きを十分に理解したものではな
く、したがって情報量の割には低品質な画像となってい
る。

【００１１】本発明は、このような状況のもとでなされ
たもので、少ない情報量で高品質な動画を表示できる動
画処理システムおよび動画処理方法を提供することを目
的とするものである。

【００１２】

【課題を解決するための手段】人間の眼が固視，跳躍を
行う場面では、前記人間の眼が着目する点、オブジェク
トに注視点を設定することには余り意味がない。人間の
眼は視野を広く、充分な情報量を得ようとしているた
め、できるならば平板で空間的に高精細である方が望ま
しい。また情報量一定という制約がある場合には、時間
的にはむしろ少フレーム数である方が望ましい。

【００１３】それに対して追随眼球運動を行う場面で
は、前記人間の眼はいずれかのオブジェクトの運動に追
随しているはずであり、従って前記注視点を前記追随し
ているオブジェクトに設定することには充分に意味があ
る。前記注視点が設定されたオブジェクトに対しては他
のオブジェクトとはできる限りの差別を行うべきであ
り、空間的，時間的にも多くの情報量を割当てるべきで
ある。

【００１４】前述の観点から、前記目的を達成するた
め、本発明では、動画処理システムを次の（１）〜
（９）のとおりに構成し、動画処理方法を次の（１０）
のとおりに構成する。

【００１５】（１）動画像を撮像あるいは作画，編集す
るフレームモードとして少なくともスチルモードとパン
ニングモードとを備えた動画処理システムであって、前
記パンニングモードでは、人間の眼の注視を想定する注
視点がフレーム内の何れかのオブジェクトに設定されて
おり、前記スチルモードとパンニングモードとで動画像
の処理の仕方が異なる動画処理システム。

【００１６】（２）前記（１）記載の動画処理システム
において、前記動画像はコンピュータグラフィックスで
作画されている動画処理システム。

【００１７】（３）前記（１）記載の動画処理システム
において、前記注視点が設定されるオブジェクトは、人
物，ペット，赤ん坊，美術品，宝石等である動画像処理
システム。

【００１８】（４）前記（１）記載の動画処理システム
において、前記パンニングモードでは、前記注視点が設
定されているオブジェクトは他のオブジェクトよりも空
間的に高精細に表示するように処理される動画処理シス
テム。

【００１９】（５）前記（１）に記載の動画処理システ
ムにおいて、前記パンニングモードでは、前記注視点が
設定されているオブジェクトは他のオブジェクトよりも
時間的に数多くのフレーム数で表示するように処理され
る動画処理システム。

【００２０】（６）前記（１）記載の動画処理システム
において、前記パンニングモードでは、前記注視点が設
定されているオブジェクトは低圧縮処理されることを特
徴とする動画処理システム。

【００２１】（７）前記（１）に記載の動画処理システ
ムにおいて、前記パンニングモードでは、前記注視点が
設定されているオブジェクトは低圧縮処理され、注視点
が設定されていないオブジェクトは高圧縮処理されると
ともに、前記圧縮の際に生じる圧縮歪みをぼかす処理を
行う動画処理システム。

【００２２】（８）前記（１）記載の動画処理システム
において、前記スチルモードでは、前記パンニングモー
ドよりも時間的に数少ないフレーム数で表示するよう処
理する動画処理システム。

【００２３】（９）前記（１）記載の動画処理システム
において、前記スチルモードでは、前記パンニングモー
ドでの注視点が設定されていないオブジェクトよりも低
圧縮で処理する動画処理システム。

【００２４】（１０）動画像を撮像あるいは作画，編集
するフレームモードとして少なくともスチルモードとパ
ンニングモードとを備えた動画処理システムにおける動
画処理方法であって、各フレームのオブジェクトについ
て人間の眼の注視を想定する注視点があるか判定するス
テップと、このステップで注視点があると判定したフレ
ームと注視点がないと判定したフレームとで異なる動画
処理を行うステップとを備えた動画処理システム。

【００２５】

【発明の実施の形態】以下本発明の実施の形態を動画処
理システムの実施例により詳しく説明する。なお、本発
明は動画処理システムの形にかぎらず、実施例の説明に
裏付けられて動画処理方法の形で実施することもでき
る。また、本発明は、動画像を撮像する場合だけでな
く、アニメ，特撮等、コンピュータグラフィックス（Ｃ
Ｇ）を使用して作画した動画像の処理の形で実施するこ
とができる。

【００２６】

【実施例】（実施例１）図１は、実施例１である“動画
処理システム”の構成を示すブロック図である。レンズ
系１１を通してＣＣＤ型カラーイメージセンサ１２に入
射した動画像は公知のＣＤＳ（相関２重サンプリン
グ），ＡＧＣ（オートゲインコントロール）回路１３と
ＡＤＣ（ＡＤコンバータ）回路１４を通してデジタル信
号の画像信号に変換される。前記画像のフレーム数は３
０ｆｐｓであり、画素数はＶＧＡの６４０×４８０画素
である。前記画像はＣＰＵ１６の働きにより、メモリ１
５中にビットマップの形で記憶される。前記メモリ１５
中の画像は必要に応じてＬＣＤ（液晶表示器）１８に１
枚毎の静止画、あるいは動画像として表示可能となって
いる。

【００２７】また、前記画像の中から人物が写っている
部分を抽出可能となっており、前記画像を人物認識回路
１９に入力することで前記人物の存在する部分を最低８
×８ビットのブロックを単位として認識を行う。即ち、
前記回路１９は前記ＶＧＡ画像を８０×６０のブロック
に分け、前記人物の一部が存在するブロックにはフラグ
（注視点を示す）を立てる。この８０×８０ビットのフ
ラグはメモリ２２中に保存される。

【００２８】また前記人物が複数存在する場合には、選
択回路２０によってマニュアルで前記人物間のうち最も
重要と思われる人物にのみ前記フラグを立て、他の人物
に附属したフラグを消去することができる。これらの操
作には前記ＬＣＤ１８に表示された画像を見ながら行わ
れる。

【００２９】前記フラグの存在するフレームにはパンニ
ングモードを表すフラグが立ち、存在しないフレームに
はスチルモードを表すフラグが立つよう、前記ＣＰＵ１
６はデータ処理を行う。

【００３０】前記メモリ２２中の前記動画像データフォ
ーマットを図２に示す。３１は１枚のフレームデータで
あり、３２はフレームの番号である。３３はパンニング
モードかスチルモードかを表す１ビットのフラグであ
る。３４は前記人物フラグを格納するための８０×６０
＝４８００ビットの領域であり、前記人物が存在する場
合にはブール値Ｉが書き込まれる。３５は画像データで
あり、未圧縮の８ビット×６４０×４８０＝３０７．２
Ｋバイトの情報である。

【００３１】前記メモリ２２中の動画は、フレーム毎に
ＪＰＥＧ圧縮回路２１に送られ、前記２つのフラグの状
態に応じて圧縮処理が行われる。前記パンニング／スチ
ルフラグがスチル（０）の場合には前記圧縮回路２１は
前記フレーム中のデータを区別することなく比較的低圧
縮な処理を行い、結果を送信回路２３へと送る。それに
対して前記フラグがパンニング（１）の場合には、前記
圧縮回路２１は前記フレーム中のデータのうち人物フラ
グが立っているブロックのみ低圧縮で、他のブロックは
高圧縮で圧縮し、同様にして送信回路へと送る。

【００３２】送信回路２３から送られた動画像は受信回
路２４にて受信され、前記圧縮されたデータが伸長回路
２５にて伸長され、表示装置２６にて前記動画像が復元
される。

【００３３】復元された画像は前述のようにパンニング
モードにおいては注視点（人物フラグ）が設定されてお
り、そのオブジェクト（人物）のみが高精細で表示され
ている。またスチルモードにおいては注視点は設定され
ておらず、前記画像は一様な圧縮フォーマットにより比
較的低圧縮，高精細な画像で表示される。

【００３４】本実施例においては、前記データの省略が
画像の劣化に直接結び付かない注視点を有するフレーム
のみでデータ量の減少（高圧縮化）を行っているので、
高品質，低情報量を達成することができる。

【００３５】また前記イメージセンサは何もＣＣＤ型で
ある必要はなく、ＣＭＯＳ型等、他のセンサであっても
良い。また人物のみを認識する回路は、人物以外の注視
を誘うようなオブジェクトを検出する、例えばペット，
赤ん坊，美術品，宝石等を検出する回路であっても良
い。

【００３６】また選択回路は必ずしもマニュアルで行う
必要はなく、例えば予めオブジェクト間に優先順位を付
けたリストを作成しておき、自動的に前記オブジェクト
を検出し、前記注視すべきオブジェクトに自動的にフラ
グを立てるようにした構成も考えられる。

【００３７】また前記人物フラグの付くオブジェクトは
何も１つである必要はなく、複数であっても良い。また
前記人物フラグは、前記圧縮されたデータがスムーズに
接続するように、前記注視点の付いたオブジェクト（人
物）の若干外側、数ブロック外側まで前記人物フラグを
立てることも有効である。

【００３８】また圧縮回路は何もＪＰＥＧである必要は
なく、公知のそれで良い。

【００３９】（実施例２）実施例２として、送信時にス
チルモードの一部のフレームを間引く“動画処理システ
ム”を以下に説明する。

【００４０】システム構成及びデータフォーマットは図
１，図２に示したものと同一である。イメージセンサ１
２から取り込まれた３０ｆｐｓの動画像は、メモリ２２
中に図２のフォーマットで格納されている。

【００４１】図３に本実施例の送信回路２３へ送るデー
タの作成アルゴリズムを示す。 まず、ＣＰＵ１６は各
フレーム毎にフレームデータを検出し、その値に応じて
左右に分岐を行う（ステップ４１ないし４３参照）。前
記フラグがスチルの場合には、次いでフレームの番号を
検出（ステップ４４）し、偶数である場合のみ（ステッ
プ４５）、前記３０７．２Ｋバイトの画像データをＪＰ
ＥＧで低圧縮処理し（ステップ４６）、結果を前記送信
回路２３へと送信する。

【００４２】また前記フレーム番号が奇数の場合には、
前記送信回路２３へはフレームデータは送られることが
ない。従ってこの場合には３０ｆｐｓでなく、１５ｆｐ
ｓの動画像が表示されることになる。また前記モードフ
ラグがパンニングの場合には、注視点の付いたオブジェ
クトのみが低圧縮処理され（ステップ４７，４８）、そ
の他の背景は高圧縮処理され（ステップ４９）、前記送
信回路２３へと送信される。

【００４３】本実施例によれば、前記動画像を注視する
観察者にとって最良と思われる画像を比較的低情報量で
提供することができる。

【００４４】本実施例では前記圧縮操作はリアルタイム
で行われているが、前記圧縮回路２１の性能が充分でな
い場合には、前記圧縮回路２１の演算結果をメモリ２２
中にバッファリングし、その後に前記送信回路２３へ送
信しても無論構わない。

【００４５】（実施例３）図４に実施例３として、複数
のオブジェクトから作成されたフレームを有する動画像
を表示する“動画処理システム”を示す。

【００４６】５１は多数のオブジェクトの画像情報を格
納したライブラリであり、必要に応じて編集回路５２か
ら情報が読み出され、動画像のフレームが編集，形成さ
れ、メモリ５５中に各フレーム毎に前記動画像のデータ
が格納される。

【００４７】図５に前記メモリ５５中に格納されたフレ
ームの画像データフォーマットを示す。７１はフレーム
毎のデータであり、各フレームにおいてその情報量は一
定でなく、増減する。７２はフレーム番号であり、７３
はモードフラグである。７４は前記フレームを実際に構
成するオブジェクトのリストであり、７５はオブジェク
ト番号、７６はフレーム画像に対するオブジェクトの配
置位置、７７は未圧縮のオブジェクトデータである。オ
ブジェクト番号０が付いたオブジェクトは特別であり、
前記オブジェクトは注視点が付いたオブジェクトに相当
する。前記オブジェクトの配置及び注視点の設定は前述
の編集回路５２にて行うことができる。前記編集された
動画は、そのモードフラグ、及び注視点の有無を参考に
して、圧縮回路６１により各オブジェクト毎に圧縮処理
が行われる。図６に本実施例の送信データ作成アルゴリ
ズムを示す。

【００４８】スチルモードにおいては、実施例２と同様
に、各オブジェクトを差別することなく偶数フレームの
み低圧縮処理し、送信データを作成する（ステップ８４
ないしステップ８６）。それに対してパンニングモード
では、注視点の付いたオブジェクトは各フレーム毎に低
圧縮処理し（ステップ８７，ステップ８８）、送信デー
タを作成し、それ以外の背景オブジェクトは偶数フレー
ムのみ高圧縮処理された送信データとなる（ステップ８
９，ステップ９０）。

【００４９】以上のようにして形成された送信データ
は、送信回路６３から受信回路６４へと送られ、伸長さ
れ、各オブジェクトは元の形へと復元される。合成回路
６７においては、スチルモードの偶数フレームの場合に
は画像データを複数のオブジェクトから合成して作成
し、奇数フレームの場合には欠落しているデータを前後
の偶数フレームから補間し、表示装置６６へその補間し
たデータを渡す。またパンニングモードの偶数フレーム
の場合には、注視点の付いた低圧縮，高精細オブジェク
トと、背景の高圧縮低精細オブジェクトを合成し、画像
データを作成し、奇数フレームの場合には前記欠落して
いる背景のデータを、前後の偶数フレームから補間して
作成し、前記注視点の付いたオブジェクトと合成して前
記表示装置６６へと渡す。

【００５０】本実施例においては、ＣＧ等から作られた
オブジェクト分離が充分な画像データを取り扱っている
ため、前記動画処理システムを簡単に構成することがで
きる。

【００５１】また本実施例においては、スチルモードに
おいては前記奇数フレームにおいてはデータの送信を行
わないため、必ずしも前記編集回路５２において作画を
行う必要はない。また注視点の設定は、前記スチルモー
ドにおいては行っても行わなくても同一の結果となる。
また、圧縮回路や伸長回路にＭＰＥＧのような時間的に
両方向予測を行う伝送フォーマットを採用しても良い。

【００５２】（実施例４）実施例４として、送信機側の
工夫ではなく、受信機側に工夫のある例を示す。

【００５３】前記パンニングモードで送られる注視点が
付いたオブジェクト以外は、比較的高圧縮な状態で送信
される。前記高圧縮な画像には情報の欠落が生じブロッ
ク歪み等が目立つ。しかし人間の眼の仕組みからして注
視により追随眼球運動が生じている場合には、背景はむ
しろその画像の解像度を低下させた方が、全体の画像と
してはきれいに見える。即ち、前記合成回路において、
ブロック歪みの見える背景のオブジェクトに対して空間
的な誤差分散処理を行い、全体像をぼかすことが考えら
れる。前記処理は前記オブジェクトを構成する各画素毎
にガウス分布曲線を作成し、それらを加算することで達
成される。同様な働きはローパスフィルタ（ＬＰＦ）で
も得ることができる。

【００５４】本実施例においては、比較的情報量が少な
いパンニングモードの背景においても、良好な絵を得る
ことができる。

【００５５】なお、本発明に設定する注視点は何も１つ
である必要はなく、２つ以上であっても良い。特に複数
の観客が動画像を鑑賞する場合には、前記注視点の数を
増加させることはむしろ自然である。

【００５６】

【発明の効果】以上説明したように、本発明によれば、
少ない情報量で高品質な動画を表示することができ、モ
バイル機器等、その伝送能力が低い通信系を有する機器
にしても良好な動画像を提供することができる。

【図面の簡単な説明】

【図１】 実施例１の構成を示すブロック図

【図２】 実施例１で用いる画像データフォーマットを
示す図

【図３】 実施例２における送信データ作成のアルゴリ
ズムを示す図

【図４】 実施例３の構成を示すブロック図

【図５】 実施例３で用いる画像データフォーマットを
示す図

【図６】 実施例３における送信データ作成のアルゴリ
ズムを示す図

【符号の説明】

１６ ＣＰＵ １９ 人物認識回路 ２１ 圧縮回路

Claims (10)

【特許請求の範囲】
1. 【請求項１】 動画像を撮像あるいは作画，編集するフ
   レームモードとして少なくともスチルモードとパンニン
   グモードとを備えた動画処理システムであって、前記パ
   ンニングモードでは、人間の眼の注視を想定する注視点
   がフレーム内の何れかのオブジェクトに設定されてお
   り、前記スチルモードとパンニングモードとで動画像の
   処理の仕方が異なることを特徴とする動画処理システ
   ム。
2. 【請求項２】 請求項１記載の動画処理システムにおい
   て、前記動画像はコンピュータグラフィックスで作画さ
   れていることを特徴とする動画処理システム。
3. 【請求項３】 請求項１記載の動画処理システムにおい
   て、前記注視点が設定されるオブジェクトは、人物，ペ
   ット，赤ん坊，美術品，宝石等であることを特徴とする
   動画像処理システム。
4. 【請求項４】 請求項１記載の動画処理システムにおい
   て、前記パンニングモードでは、前記注視点が設定され
   ているオブジェクトは他のオブジェクトよりも空間的に
   高精細に表示するように処理されることを特徴とする動
   画処理システム。
5. 【請求項５】 請求項１に記載の動画処理システムにお
   いて、前記パンニングモードでは、前記注視点が設定さ
   れているオブジェクトは他のオブジェクトよりも時間的
   に数多くのフレーム数で表示するように処理されること
   を特徴とする動画処理システム。
6. 【請求項６】 請求項１記載の動画処理システムにおい
   て、前記パンニングモードでは、前記注視点が設定され
   ているオブジェクトは低圧縮処理されることを特徴とす
   る動画処理システム。
7. 【請求項７】 請求項１に記載の動画処理システムにお
   いて、前記パンニングモードでは、前記注視点が設定さ
   れているオブジェクトは低圧縮処理され、注視点が設定
   されていないオブジェクトは高圧縮処理されるととも
   に、前記圧縮の際に生じる圧縮歪みをぼかす処理を行う
   ことを特徴とする動画処理システム。
8. 【請求項８】 請求項１記載の動画処理システムにおい
   て、前記スチルモードでは、前記パンニングモードより
   も時間的に数少ないフレーム数で表示するよう処理する
   ことを特徴とする動画処理システム。
9. 【請求項９】 請求項１記載の動画処理システムにおい
   て、前記スチルモードでは、前記パンニングモードでの
   注視点が設定されていないオブジェクトよりも低圧縮で
   処理することを特徴とする動画処理システム。
10. 【請求項１０】 動画像を撮像あるいは作画，編集する
    フレームモードとして少なくともスチルモードとパンニ
    ングモードとを備えた動画処理システムにおける動画処
    理方法であって、各フレームのオブジェクトについて人
    間の眼の注視を想定する注視点があるか判定するステッ
    プと、このステップで注視点があると判定したフレーム
    と注視点がないと判定したフレームとで異なる動画処理
    を行うステップとを備えたことを特徴とする動画処理シ
    ステム。