JP2002369195A - 画像信号伝送装置および方法、並びに画像信号受信装置および方法 - Google Patents

画像信号伝送装置および方法、並びに画像信号受信装置および方法

Info

Publication number
JP2002369195A
JP2002369195A JP2001172925A JP2001172925A JP2002369195A JP 2002369195 A JP2002369195 A JP 2002369195A JP 2001172925 A JP2001172925 A JP 2001172925A JP 2001172925 A JP2001172925 A JP 2001172925A JP 2002369195 A JP2002369195 A JP 2002369195A
Authority
JP
Japan
Prior art keywords
pixel
candidate
image signal
scan
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001172925A
Other languages
English (en)
Other versions
JP2002369195A5 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Kenji Takahashi
健治 高橋
Masaru Horishi
賢 堀士
Toru Miyake
徹 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001172925A priority Critical patent/JP2002369195A/ja
Publication of JP2002369195A publication Critical patent/JP2002369195A/ja
Publication of JP2002369195A5 publication Critical patent/JP2002369195A5/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 画像近傍相関性を利用して効率的に画像信号
を伝送する時に、付加データを必要とせずに、ドット状
エラーを解消し、画質を向上させる。 【解決手段】 スキャンパターンメモリ12には、複数
のスキャンパターンが記憶されている。スキャンパター
ン選択部13によって選択されたスキャンパターンが候
補探索部9に供給され、候補の検索に利用される。スキ
ャンパターンは、トリガー生成部14によって選択され
る。トリガー生成部14は、候補評価部8からのスキャ
ン信号sおよびベクトルvに基づいてトリガーを生成す
る。トリガーとしては、(1.画素周辺の状況 2.ス
キャンの状況 3.候補になった回数 4.スキャンの
履歴 5.画素データの色空間内での位置)の内の何れ
か、または2以上の組み合わせが用いられる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えばディジタ
ルテレビジョン、ディジタルビデオ記録再生装置等にお
いて使用される画像データの伝送に係る伝送装置および
方法、並びに受信装置および方法に関する。
【0002】
【従来の技術】ディジタル化されたテレビジョン放送用
等の画像データを伝送する際に、伝送される画素の周辺
に位置する画素を参照して符号化処理がなされる。この
ような処理は、エッジ等を含まない一般的な画像では近
傍領域における自己相関性が強いことが多いという性質
を利用して効率的な圧縮符号化を行うことを可能とする
ものである。伝送する画素の順番としては、画像の左上
から右下方向に順次伝送していくラスタースキャンが従
来から用いられてきた。このような伝送方法では、輝度
信号Y,色差信号UおよびVを含む、1画素当たり例え
ば8ビットのデータが伝送される。この場合には、画素
のアドレスを示すデータを伝送する必要は無い。
【0003】このような伝送方法においては、水平方向
に隣接する画素値が急峻に変化する場合に、伝送された
データを復号した画像に、近傍の画素を参照して圧縮し
たことに起因する影響が現れる。例えば垂直方向の1本
の「棒」の画像が上述したような符号化方法を用いて伝
送されると、符号化時に参照される近傍画素の影響によ
り、「棒」に影がついたような画像となる。
【0004】このような問題を解消若しくはその程度を
軽減するために、本願出願人は以下のような伝送方法を
先に提案している。かかる伝送方法は、注目画素に対し
て上下左右の4方向、またはそれら4方向に斜め方向を
含めた8方向に位置する未伝送の画素の内から注目画素
との相関度が最も大きい画素を判定し、そのように判定
される画素と注目画素との差分値を計算し、計算される
差分値と共に注目画素との相関度が最も大きいと判定さ
れた画素の注目画素に対する方向を示すデータを伝送す
るようにしたものである。
【0005】かかる伝送方法によれば、従来のNTSC
方式と比較して、格段に効率的な画像伝送が可能とな
る。しかしながら、その後の検討の結果、上述した伝送
方法を動画に対して適用した場合には、独特のエラーが
発生することが分かった。そのエラーは、ランダムな位
置に周囲と輝度や色彩の違う点がポツポツと存在し、そ
れらがじりじりしたノイズとなってしまう。フレーム1
枚1枚を見たときには注意して見ないとほとんど分から
ないくらいのエラーなのだが動画として連続で見ると目
立つ問題があった。
【0006】従って、この発明の目的は、先に提案した
伝送方法を動画に対して適用した時に発生するエラーを
改善し、画質を向上させることが可能な伝送装置、伝送
方法、受信装置および受信方法を提供することにある。
【0007】
【課題を解決するための手段】上述した課題を解決する
ために、請求項1の発明は、画像信号伝送装置であっ
て、入力画像信号において、注目画素を選出し、所定の
方向に位置する1乃至複数の画素を候補画素として選出
する候補選出手段と、それぞれ候補画素の周辺画素ある
いは注目画素に基づいて、それぞれ候補画素の画素値を
ベクトルに変換するベクトル変換手段と、ベクトルに変
換された候補画素の画素値に基づいて、伝送する画素を
候補画素内において決定する伝送画素決定手段と、注目
画素の状況あるいは伝送方法に基づいた画像伝送状況を
特徴として抽出する手段とを有し、特徴に応じて、候補
選出手段における候補画素選出方法を変更することを特
徴とする画像信号伝送装置である。
【0008】請求項10の発明は、画像信号伝送方法で
あって、入力画像信号において、注目画素を選出し、所
定の方向に位置する1乃至複数の画素を候補画素として
選出する候補選出ステップと、それぞれ候補画素の周辺
画素あるいは注目画素に基づいて、それぞれ候補画素の
画素値をベクトルに変換するベクトル変換ステップと、
ベクトルに変換された候補画素の画素値に基づいて、伝
送する画素を候補画素内において決定する伝送画素決定
ステップと、注目画素の状況あるいは伝送方法に基づい
た画像伝送状況を特徴として抽出するステップとを有
し、特徴に応じて、候補選出ステップにおける候補画素
選出方法を変更することを特徴とする画像信号伝送方法
である。
【0009】請求項19の発明は、入力画像信号におい
て、注目画素を選出し、所定の方向に位置する1乃至複
数の画素を候補画素として選出し、それぞれ候補画素の
周辺画素あるいは注目画素に基づいて、それぞれ候補画
素の画素値をベクトルに変換し、ベクトルに変換された
候補画素の画素値に基づいて、伝送する画素を候補画素
内において決定し、注目画素の状況あるいは伝送方法に
基づいた画像伝送状況を特徴として抽出し、特徴に応じ
て、候補選出手段における候補画素選出方法を変更する
ようにした画像信号伝送装置から伝送されてくる伝送デ
ータを受信する画像信号受信装置において、伝送データ
を受信する受信手段と、受信されたデータから画素値を
生成する画素値生成手段と、受信されたデータから出力
位置を決定する出力位置決定手段と、注目画素の状況あ
るいは伝送方法に基づいた画像伝送状況を特徴として抽
出する手段とを有し、特徴に応じて、出力位置決定手段
における出力位置決定方法を変更することを特徴とする
画像信号受信装置である。
【0010】請求項25の発明は、入力画像信号におい
て、注目画素を選出し、所定の方向に位置する1乃至複
数の画素を候補画素として選出し、それぞれ候補画素の
周辺画素あるいは注目画素に基づいて、それぞれ候補画
素の画素値をベクトルに変換し、ベクトルに変換された
候補画素の画素値に基づいて、伝送する画素を候補画素
内において決定し、注目画素の状況あるいは伝送方法に
基づいた画像伝送状況を特徴として抽出し、特徴に応じ
て、候補選出手段における候補画素選出方法を変更する
ようにした画像信号伝送装置から伝送されてくる伝送デ
ータを受信する画像信号受信方法において、伝送データ
を受信する受信ステップと、受信されたデータから画素
値を生成する画素値生成ステップと、受信されたデータ
から出力位置を決定する出力位置決定ステップと、注目
画素の状況あるいは伝送方法に基づいた画像伝送状況を
特徴として抽出するステップとを有し、特徴に応じて、
出力位置決定ステップにおける出力位置決定方法を変更
することを特徴とする画像信号受信方法である。
【0011】この発明では、画像伝送状況に応じて、候
補選出手段における候補画素選出方法を切り替えるの
で、特に、動画の伝送において問題となっていたドット
状エラーの多くを解消することができる。また、画質自
体も向上し、SNRを向上することができる。この発明
では、切り替え処理のための付加ビットを伝送する必要
がない。画像のその時々の状況を読み取って、切り替え
のためのトリガーを形成している。したがって、この発
明は、付加ビットを伝送することによる効率の低下が生
じない利点がある。
【0012】
【発明の実施の形態】ディジタル画像信号をなるべく効
率良く伝送するためには、画像の画素近傍相関性を利用
するのが良い。似通った画素同士ならば、差分情報を送
ることによって随分と効率化できる。NTSC方式では
ラスタースキャンを用いているため、スキャンの方法
は、固定である。それに対して、以前に提案したスキャ
ンでは、画像近傍相関性を積極的に利用するためにスキ
ャンに自由度を持たせている。自由にスキャンするため
には、画像内の画素の位置を示すアドレス情報を画素情
報と共に伝送する必要がある。アドレス情報を加えて
も、画素近傍相関性を利用するので、総合的には、効率
が良くなるのである。そうといっても、アドレスをその
まま伝送したのでは、アドレスの情報量が多すぎる。そ
こで、先に提案した伝送方法では、注目画素からの相対
位置を伝送することで、この問題を解決している。
【0013】この発明の理解の容易のために、以下、先
に提案されている画像信号伝送装置について図面を参照
して説明する。図1は、エンコーダ側のブロック図を示
し、図2は、エンコード処理のフローチャートを示す。
図3は、デコーダ側のブロック図を示し、図4は、デコ
ード処理のフローチャートを示す。
【0014】図1において、参照符号1a、1b、1c
は、例えば(4:4:4)のカラーコンポーネント信号
(YUV)が入力される入力端子である。入力コンポー
ネント信号がベクトル化部2に供給される。ベクトル化
部2において、入力コンポーネント信号がYUV空間内
の一点としてベクトル化される。ベクトル化部2の出力
が1画面分の大きさのフレームメモリ3に書き込まれる
(このメモリ3をベクトルメモリと呼ぶ)。
【0015】参照符号9で示す候補探索部からの候補探
索の結果のスキャン情報sに基づいてベクトルメモリ3
から注目画素とそれぞれの候補の方向sとベクトルvが
ベクトル変換部4に送られる。ベクトル変換部4におい
て、注目画素からそれぞれの候補ベクトルへの差分ベク
トルが計算され、差分ベクトルが候補評価部5に送られ
る。
【0016】ローカルデコーダ6では、差分ベクトルテ
ーブル7を参照しながらローカルデコードを行い、デコ
ード値を候補評価部5に供給し、候補評価部5が候補の
中から伝送画素を決定する。多重化部10では、伝送画
素の注目画素から見たスキャン方向sと代表ベクトルの
インデックスiが多重化され、出力端子11に伝送デー
タが取り出される。また、候補評価部5からスキャン方
向sがスキャンメモリ8に供給される。スキャンメモリ
8の出力が候補探索部9に供給され、候補探索部9の出
力がベクトルメモリ3に与えられる。
【0017】図2に示したフローチャートを参照して、
エンコード処理の流れを説明する。ステップS1におい
て、最初に伝送する画素を決定する。例えば画像の真ん
中の画素を選ぶ。但し、最初に伝送する画素は、どの位
置でも良い。ステップS2では、その画素を量子化して
伝送する。伝送した画素を注目画素とする(ステップS
3)。
【0018】ステップS4において、スキャンメモリ8
から得られる候補の位置から候補を取得する。ステップ
S5において、候補数が規定数に達するかどうか判定す
る。スキャン方法がジグザクであれば、4個の候補数が
規定数である。若し、ステップS5において、候補数が
規定数に達しないと判定される場合には、規定数に達す
るまでラスタースキャン順に候補を取得する(ステップ
S6)。
【0019】候補数が規定数に達したならば、ステップ
S7において、選択したテーブルによってローカルデコ
ードして伝送画素を決定する。そして、ステップS8に
おいて、スキャン方向と差分ベクトルのインデックスを
伝送する。ステップS4、S6およびS7は、メモリに
対するアクセスが必要な処理である。ステップS9で
は、伝送した画素に注目する。そして、ステップS10
において、全ての画素を伝送したかどうかが決定され
る。全ての画素を伝送していればエンコード処理が終了
する。全ての画素を伝送していなければ、処理がステッ
プS4に戻り、次の画素を伝送する
【0020】図3を参照してデコーダについて説明す
る。参照符号21は、入力端子である。入力データが分
割化部22に供給され、入力データがスキャン情報sと
インデックス情報iに分割される。出力位置決定部23
は、スキャン情報sを受けて、スキャンメモリ24を参
照しながら出力位置を決定し、出力位置データaを出力
する。ベクトル再構成部25は、インデックス情報iか
らベクトルを再構成し、ベクトルvを出力する。
【0021】ベクトルvがコンポーネント化部27に供
給され、ベクトルvをコンポーネント信号YUVへ変換
する。コンポーネント信号がフレームメモリ28に供給
される。フレームメモリ28には、出力位置データaも
供給されている。そして、フレームメモリ28から出力
端子29に対して出力位置aの位置の画素値が出力され
る。
【0022】図4に示したフローチャートを参照して、
デコード処理の流れを説明する。ステップS21におい
て、エンコーダからの信号を最初の画素の信号として受
信する。ステップS22では、受信した画素データを再
構成する。ステップS23では、再構成した画素データ
を規定の位置に出力する。ステップS22およびS23
は、メモリに対するアクセスを必要とする処理である。
【0023】ステップS24において、エンコーダから
の信号を受信する。ステップS25において、スキャン
メモリ上において全ての方向で出力する位置を探索す
る。出力位置が決まらない方向はラスタースキャン順に
出力位置を探索する(ステップS26)。ステップS2
7では、出力位置を決定する。ステップS28では、イ
ンデックス情報から画素データを再構成する。ステップ
S29において、再構成した画素データをフレームメモ
リに出力する。ステップS30では、全ての画素を出力
したかどうかが決定される。全ての画素を出力していれ
ばデコード処理が終了する。そうでなければ、ステップ
S24に戻り、次の画素を受信する。
【0024】従来のラスタースキャンでは、スキャンを
固定することによってアドレス情報を送らずに、画素情
報のみを送っている。一方、上述した提案した伝送方法
では、注目画素からの相対位置をスキャン信号として伝
送するのであるが、この時、既伝送画素をどうやって飛
び越えるかが問題となる。
【0025】図5を参照して既伝送画素の飛び越えにつ
いて説明する。図5においては、注目画素を2重丸で示
し、探索において伝送画素の候補とされる画素を薄い影
を付して示す。また、白丸は未伝送の画素を示し、黒丸
は既伝送の画素を示す。伝送すべき画素を探索する探索
方法として、2重丸で示す注目画素に対して上下左右の
4方向に位置する画素が探索の対象とされる。
【0026】図5Aにおいては、注目画素以外の画素が
全て未伝送の画素なので、図5Bに示すように、注目画
素に対して4方向で隣接する4個の画素が伝送画素の候
補とされる。しかしながら、図5Cに示すように、注目
画素が既伝送画素に囲まれている場合、上下左右という
相対関係だけでは、既伝送画素が存在する位置を指定し
てしまうことになる。このような場合には、既伝送の画
素を飛び越して、未伝送の画素が伝送画素の候補とされ
る。すなわち、図5Dに示すように、注目画素の右方向
に位置する2画素が既伝送の画素なので、その2画素を
飛び越えて注目画素から右方向に3番目の画素が伝送画
素の候補とされる。また、注目画素の下方向の1画素が
既伝送の画素なので、その1画素を飛び越えて注目画素
から下方向に2番目の画素が伝送画素の候補とされる。
【0027】この処理のため、エンコーダとデコーダに
1フレーム分のメモリ(スキャンメモリ8および24)
をそれぞれ持ち、伝送された画素にフラグを立てること
で、既伝送画素と未伝送画素を区別している。なお、画
素を送ったか(送られたか)送っていないか(送られて
いないか)の情報は、エンコーダとデコーダで共有で
き、この情報を送信する必要はない。
【0028】次に、スキャンパターンについて説明す
る。従来のラスタースキャンでは、画面左上から一列ず
つ順に送るというスキャンのルールが決まっている。よ
ってスキャンに関する情報をまったく伝送する必要がな
い。全てのビットを画素データとして送ることができ
る。しかし反面、どのような画においても同じようにス
キャンするため、画像が持つ近傍相関性を活かしてはい
ない。
【0029】一方、全くランダムにスキャンしようとす
る場合は、アドレス情報を送らなければならない。しか
しアドレス情報だけで1画素につき、標準的解像度の画
像の場合では、x方向、y方向共に10ビットのデータ
量が必要である。アドレス情報は、正確に送らなければ
ならない情報であるので、量子化等によってデータ量を
削減することはできない。その結果、近傍相関性を利用
して効率化するとはいえ、アドレス情報のデータ量は、
かなり重い。
【0030】そこで、提案伝送方式では、スキャンに自
由度を持たせることによって伝送を効率化している。
“自由度を持たせる”とは、完全に固定とせず、一方、
全く自由にもしないことを意味する。予め決めてあるス
キャンパターンに基づいて、注目画素との相対位置を伝
送するようになされる。
【0031】スキャンパターンには、種々のものがあり
うる。図6は、幾つかのスキャンパターンの例を示す。
図6Aは、参考として示す従来のラスタースキャンを示
す。ラスタースキャンの場合では、スキャンの方向が固
定であるので、アドレス情報を伝送する必要がない。図
6Bは、注目画素に対して上下左右の4方向に位置する
画素の何れかが伝送される。この場合には、1画素につ
いて2ビットのアドレス情報が必要である。左上にある
破線は、候補を一つも取得することができなかったとき
は、ラスタースキャンに切り替わることを示す。
【0032】図6Cに示すスキャンパターン(ジグザ
グ)は、伝送画素を中心に分割した4領域に対してジグ
ザグスキャンで候補を探索するものである。そのためス
キャンが行き詰まることなく、最後まで画素を伝送する
ことができる。1画素について2ビットのアドレス情報
が必要である。図6Dは、注目画素に対して上下左右お
よび斜めの計8方向に位置する画素の何れかが伝送され
る。この場合には、1画素について3ビットのアドレス
情報が必要である。図6Dのスキャンパターンは、多く
の候補の中から伝送画素を選択するので、近傍相関性を
より活かすことができるが、アドレス情報が他のスキャ
ン方法に比して1ビット増え、その分画素に割り当てる
ことができるデータが1ビット減少する問題がある。
【0033】次に、色空間差分ベクトル符号化について
説明する。コンポーネント信号の各コンポーネントを別
々に差分を生成するのと比較して、コンポーネント信号
を色空間におけるベクトルとして扱い、その差分ベクト
ルを伝送することでかなり効率化することができる。そ
のため、予め作成された差分ベクトルのテーブルを用意
し、そのインデックスを伝送するようになされる。8ビ
ットの枠で、スキャン方法としてジグザクを用いている
のであれば、アドレス以外の6ビット(64個)の代表
ベクトルを持つことができる。ベクトル化部2は、コン
ポーネント信号を色空間におけるベクトルvに変換する
ものである。
【0034】この発明は、先に提案されている伝送方法
を改良するものである。すなわち、この発明は、スキャ
ンパターンを、画像から得られる情報をトリガーとして
切り替えることで、画質を向上し、動画を処理した場合
に、ドット状エラーが発生することを防止するものであ
る。スキャンパターンを切り替える利点について最初に
説明する。
【0035】上述の伝送方式では、ある一つのスキャン
パターンに基づいて候補を選択し、その候補に差分ベク
トルテーブル中の差分ベクトルを当てはめ、最も誤差の
少ない差分ベクトルのインデックスを伝送するようにな
される。1画素ごとに割り当てられるビット数が決まっ
ている場合、一度に取得できる候補の数と、差分ベクト
ルテーブルの差分ベクトルの数は反比例する。以下に1
画素に8ビットが割り当てられている場合の例を示す。
【0036】上述した図6Dに示すスキャンパターンの
ように、8個の候補を一度に取得する場合には、候補の
特定のために3ビットが必要であるので、差分ベクトル
に対しては5ビットを使用でき、差分ベクトルの数が3
2となる。図6Bまたは図6Cに示すスキャンパターン
のように、4個の候補を一度に取得する場合には、候補
の特定のために2ビットが必要であるので、差分ベクト
ルに対しては6ビットを使用でき、差分ベクトルの数が
64となる。さらに、水平方向のみに、2個の候補を一
度に取得する場合には、候補の特定のために1ビットが
必要であるので、差分ベクトルに対しては7ビットを使
用でき、差分ベクトルの数が128となる。さらに、従
来のラスタースキャンのように、スキャンパターンが固
定である場合には、8ビット全てを差分ベクトルに割り
当てることができるので、差分ベクトル数が256とな
る。
【0037】このように候補取得数を増やせば差分ベク
トル数が減り、差分ベクトル数を増やせば候補取得数が
減る関係がある。一般的には、多くの候補を取得できる
ときは選択肢が多いので、差分ベクトル数が少なくても
良いし、その逆も成り立つ。候補取得数と差分ベクトル
数の関係として、バランスが良いものは、その時々の画
像の伝送状況や画像そのものの傾向によって変化すると
考えられる。
【0038】この発明は、このような点に注目して、上
述したような複数のスキャンパターンをトリガーによっ
て切り替えることで効率を向上させようとするものであ
る。すなわち、候補取得数と差分ベクトル数の関係とし
て、最適なものが常に一つに固定されない。そこで、よ
り適したスキャンパターンに切り替える。
【0039】一例として、ジグザグスキャンとラスター
スキャンとを切り替える。ジグザグスキャンは、アドレ
ス情報を伝送することによって、画素近傍相関性を利用
して効率良く伝送することができる。一方、ラスタース
キャンは、アドレス情報を送る必要がなく、全てのビッ
トを画素情報として使用できる。この二つの方法を比較
すると、画素同士の相関が低くなるスキャン後半では、
ラスタースキャンの方がジグザグスキャンより好ましい
伝送方法であることが分かる。そこで、1フレーム分の
データの伝送を単位として見たときに、前半は、ジグザ
グスキャンで伝送し、後半は、ラスタースキャンで伝送
するように、スキャンパターンが切り替えられる。それ
によって効率を向上することができ、また、画質を向上
することができる。
【0040】スキャンパターンの切り替えのきっかけと
して用いるものをトリガーと称する。通常、何らかの切
り替え処理をデコーダに指示する場合は、エンコーダ側
から伝送するデータに付加ビットを付ける。しかしなが
ら、付加ビットを必要とすることは、冗長度を増やすの
で好ましくない。この発明では、画像の特性をうまく利
用することで、付加ビットを用いずに伝送する画像から
符号化(復号化)方式を切り替えるトリガーを取り出し
ている。
【0041】トリガーとしては、(1.画素周辺の状況
2.スキャンの状況 3.候補になった回数 4.ス
キャンの履歴 5.画素データの色空間内での位置)が
考えられる。以下、それぞれについて順に説明する。
【0042】切り替え処理のためのトリガーとして、
「画素周辺の状況」を用いることができる。画素周辺の
状況としては例えば、以下のような要素を考えることが
できる。
【0043】1.注目画素周辺の状況 (a)周辺の何個の画素が伝送されたか (b)周辺のある範囲の何パーセントの画素が伝送され
たか (c)周辺画素のアクティビティ 2.伝送画素周辺の状況 (a)周辺に何個の画素が伝送されているか (b)周辺のある範囲の何パーセントの画素が伝送され
ているか (c)周辺画素のアクティビティ 3.注目画素と伝送画素との直線距離。
【0044】一例として、以下の要素を用いることにす
る。
【0045】1.注目画素周辺の状況(周辺の何個の画
素が伝送されたか) 2.伝送画素周辺の状況(周辺に何個の画素が伝送され
ているか) 3.注目画素と伝送画素との直線距離。
【0046】図7を参照して、それぞれの要素について
より具体的に説明する。(1.注目画素周辺の状況)に
おける注目画素周辺とは、図7Aの注目画素(二重丸)
の周りの影を付した部分を指す。(2.伝送画素周辺の
状況)における伝送画素周辺とは、同様に図7Aの伝送
画素の周りの影を付した部分を指す。両者共に画素の周
囲の(3×3=9画素)をその範囲とする。
【0047】図8Aおよび図8Bは、(3.注目画素と
伝送画素との直線距離)における直線距離の具体例を示
す。ここで言う直線距離は、画像中の直線距離を表す。
図8Aに示す直線距離は、図8Bに示すものと比べて、
注目画素と伝送画素の距離が物理的に離れている。これ
をあるしきい値を決めて評価し、切り替えのトリガーの
要素の1つとして用いる。
【0048】「注目画素周辺の状況」について説明す
る。画像には画素近傍の相関性が強いという特徴があ
る。注目画素に近い程、相関性が強いということが一般
的な性質として言える。従って、注目画素に隣接する画
素は相関性が最も強いであろうと予想される。ところが
図7Cに示すように、注目画素周辺の全画素が既に伝送
されている場合、より遠い、すなわちより相関性の弱い
画素を候補として取得している可能性が高い。図7Bに
示すように、注目画素周辺の画素が部分的に伝送されて
いる場合でも、まったく伝送されていない場合に比べれ
ば同様のことが言える。このような特性を利用して、注
目画素周辺の画素がどの程度伝送されているかによっ
て、処理を切り替える。それによって、効率化できる。
【0049】「伝送画素周辺の状況」について説明す
る。伝送画素の周辺が埋まっているということは、その
伝送画素が周囲との相関性の弱い孤立点である可能性が
高い。その画素がエッジである可能性も考えられる。画
像の中でも特殊な状況にある画素であるとすれば、通常
の画素を伝送する場合とは処理を切り替え、それによっ
て効率化できる。
【0050】「注目画素と伝送画素との直線距離」につ
いて説明する。一般的な画像において、画素近傍の相関
性は強い。従って、図8Aに示すように、注目画素と伝
送画素の距離が小さい場合と、図8Bに示すように、そ
の距離が大きい場合とを比較すると、距離が小さい図8
Aの方がより相関性が強いと考えられる。そこで、しき
い値を設けて直線距離によって処理の切り替えを行うこ
とで効率化する。
【0051】次に、「スキャンの状況」について説明す
る。提案されている伝送方法においては、相関のある画
素から順に伝送していく。その結果、たまたま孤立して
しまった画像や、もとから相関の低い画素が残ってしま
う。1フレーム分のデータを伝送するまでを1つの区切
りと設定すると、そのような互いに相関性の弱い画素が
スキャンの後半に集中してしまう傾向にある。そこで、
1フレーム分のデータを伝送する間により適切なスキャ
ンパターンに切り替えて、候補取得にかかるビット数と
画素データに割り当てるビット数とのバランスを調整す
る。それによって効率を向上できる。
【0052】さらに、「候補になった回数」について説
明する。提案した伝送方法では、1画素伝送する度に、
スキャンメモリを参照しながらスキャンパターンに従っ
て候補を決定し、ローカルデコードをしてより相関のあ
る画素を伝送する。この時、伝送されるに至った画素以
外の画素は、候補に選ばれながらも落選しているのであ
る。一度落選した画素も、再び候補に選ばれ、いずれは
伝送される。しかしながら、何回も候補に選ばれなが
ら、いつまでたっても伝送されない画素も存在する。そ
のような画素は、周囲との相関性が低いか、その画像中
で特殊な値の画素である可能性が高いと予想される。し
たがって、どの画素が何回候補として選ばれたかを記憶
し、選ばれた回数を基準にして処理を切り替える。それ
によって効率を向上することができる。
【0053】候補回数に基づいてスキャンパターンを切
り替える処理を実現するためには、スキャンメモリの他
に候補メモリというメモリを用意する。候補メモリに対
して、候補になった回数を蓄積していく。図9A〜図9
Dは、候補になった回数が候補メモリに記憶されていく
様子を時系列順に示したものである。図9は、スキャン
パターンとして、ジグザグスキャン(図6C)の場合で
ある。
【0054】図9Aでは、二重丸の注目画素の周辺の4
個の未伝送画素が候補として選ばれる。1回目であるた
めに、候補画素に対して「1」の数字が付加されてい
る。そして、左横の候補画素が伝送画素として選択され
た状態が図9Bに示されている。図9Bでは、選択され
た画素を注目画素として周辺の4個の未伝送画素が候補
として選ばれる。図9Bの状態で初めて候補として選ば
れた画素に対しては、「1」の数字が付加され、図9A
の状態と図9Bの状態との両方で候補として選ばれた画
素に対しては、「2」の数字が付加される。図9Bの状
態で、真下の候補画素が伝送画素として選ばれた状態が
図9Cに示されている。さらに、図9Cの状態で、真下
の候補画素が伝送画素として選ばれた状態が図9Dに示
されている。このように、候補メモリには、候補として
選ばれた回数の情報が画素毎に蓄積される。
【0055】「スキャンの履歴」について説明する。過
去数回の伝送でどのようにスキャンがなされたかという
情報を「スキャンの履歴」と呼ぶことにする。例えば図
10Aに示すように、スキャン方向に数字を割り当てた
ときに、図10B〜図10Dにそれぞれ示すように、過
去のスキャンの方向によってある数列ができる。これを
スキャンの履歴として処理を切り替えるトリガーに使う
ことができる。図10Bに示すように、横方向のみのス
キャンでは、数列が(2222)となる。
【0056】提案されている伝送方法では、画像の特性
を反映しながらスキャンされるので、どのようにスキャ
ンされたかという履歴には、個々の画像の特徴を示す情
報が含まれている。従って、それをトリガーとすること
で個々の画像の特徴に合わせたスキャン方法の切り替え
処理を行うことができる。具体的には、スキャン履歴に
よってクラス分類してテーブルを作成する方法や、過去
の履歴を蓄積して適応的に差分ベクトルテーブルの切り
替えを行なう方法が可能である。
【0057】「画素データの色空間内での位置」につい
て説明する。画素データ(RGB(三原色)の各成分が
8ビットのデータ)を色空間に置いてみる。例えばRG
B空間にプロットしたとする。注目画素がRGB空間内
において、(R=128,G=128,B=128)で
あって、図11におけるC2の位置に来るような場合
は、次にどんな画素が来ても、RGBどの方向にも差分
値が絶対値128以上の値を取ることはない。なぜなら
ば、RGBは0〜255以外の値を取ることがないから
である。(R=255,G=255,B=255)であ
って、注目画素が図11におけるC1の位置に来るよう
な場合は、差分値が正になることはない。同様に、(R
=0,G=0,B=0)であって、注目画素が図11に
おけるC3の位置に来るような場合は、差分値が負にな
ることはない。
【0058】このように注目画素の色空間内の位置によ
って、次に伝送される画素との差分値の取りうる値を絞
ることができる。このような特徴を利用して画素データ
の色空間内での位置を切り替え処理のトリガーに用いる
ことができる。
【0059】図12は、この発明の一実施形態のエンコ
ーダの構成を示すブロック図である。先に提案されてい
る伝送方法におけるエンコーダの構成(図1参照)と対
応する部分には同一の参照符号を付して示す。一実施形
態では、複数のスキャンパターンを記憶するスキャンパ
ターンメモリ12、スキャンパターン選択部13および
トリガー生成部14が備えられている。トリガー生成部
14は、候補評価部8からのスキャン信号sおよびベク
トルvに基づいてトリガーを生成する。
【0060】トリガーとしては、上述した(1.画素周
辺の状況 2.スキャンの状況 3.候補になった回数
4.スキャンの履歴 5.画素データの色空間内での
位置)の内の何れか、または2以上の組み合わせが用い
られる。
【0061】図12において、入力端子1a、1b、1
cに、例えば(4:4:4)のカラーコンポーネント信
号(YUV)が入力される。入力コンポーネント信号が
ベクトル化部2に供給される。ベクトル化部2におい
て、入力コンポーネント信号がYUV空間内の一点とし
てベクトル化される。ベクトル化部2の出力が1画面分
の大きさのフレームメモリ3に書き込まれる(このメモ
リ3をベクトルメモリと呼ぶ)。
【0062】候補探索部9からの候補探索の結果のスキ
ャン信号sに基づいてベクトルメモリ3から注目画素と
それぞれの候補の方向sとベクトルvがベクトル変換部
4に送られる。ベクトル変換部4において、注目画素か
らそれぞれの候補ベクトルへの差分ベクトルが計算さ
れ、差分ベクトルが候補評価部5に送られる。
【0063】ローカルデコーダ6では、差分ベクトルテ
ーブル7を参照しながらスキャンパターン選択部13が
トリガーの情報によって切り替えたスキャンパターンに
基づいてローカルデコードを行い、デコード値を候補評
価部5に供給し、候補評価部5が候補の中から伝送画素
を決定する。多重化部10では、伝送画素の注目画素か
ら見たスキャン方向sと代表ベクトルのインデックスi
が多重化され、出力端子11に伝送データが取り出され
る。また、候補評価部5から方向sがスキャンメモリ8
に供給される。スキャンメモリ8の出力が候補探索部9
に供給され、候補探索部9の出力がベクトルメモリ3に
与えられる。
【0064】図13に示したフローチャートを参照し
て、一実施形態によるエンコード処理の流れを説明す
る。ステップS31において、最初に伝送する画素を決
定する。例えば画像の真ん中の画素を選ぶ。但し、最初
に伝送する画素は、どの位置でも良い。ステップS32
では、その画素を量子化して伝送する。伝送した画素を
注目画素とする(ステップS33)。
【0065】ステップS34において、トリガーからの
情報によって状況を評価する。ステップS35では、評
価の結果に基づいて、スキャンパターンを選択する。ス
テップS36において、スキャンメモリ8から得られる
候補の位置から候補を取得する。ステップS37におい
て、候補数が規定数に達するかどうか判定する。スキャ
ン方法がジグザクであれば、4個の候補数が規定数であ
る。若し、ステップS37において、候補数が規定数に
達しないと判定される場合には、規定数に達するまでラ
スタースキャン順に候補を取得する(ステップS3
8)。
【0066】候補数が規定数に達したならば、ステップ
S39において、選択したテーブルによってローカルデ
コードして伝送画素を決定する。そして、ステップS4
0において、スキャン方向と差分ベクトルのインデック
スを伝送する。ステップS36、S38およびS39
は、メモリに対するアクセスが必要な処理である。ステ
ップS41では、伝送した画素に注目する。そして、ス
テップS42において、全ての画素を伝送したかどうか
が決定される。全ての画素を伝送していればエンコード
処理が終了する。全ての画素を伝送していなければ、処
理がステップS34に戻り、次の処理がなされる。
【0067】図14を参照してこの発明の一実施形態に
おけるデコーダについて説明する。デコーダには、スキ
ャンパターンメモリ31、スキャンパターン選択部32
およびトリガー生成部33が設けられている。トリガー
生成部14は、候補評価部8からのスキャン信号sおよ
びベクトルvに基づいてトリガーを生成する。スキャン
パターン切り替えの方法は、エンコーダ側と同一とされ
ている。
【0068】入力端子21からエンコードデータである
入力データが分割化部22に供給され、入力データがス
キャン情報sとインデックス情報iに分割される。出力
位置決定部23は、スキャン情報sを受けて、スキャン
メモリ24を参照しながら出力位置を決定し、出力位置
データaを出力する。ベクトル再構成部25は、インデ
ックス情報iからベクトルを再構成し、ベクトルvを出
力する。この場合、トリガー生成部33からのトリガー
の情報によってスキャンパターンが切り替えられる。
【0069】ベクトル再構成部25からのベクトルvが
コンポーネント化部27に供給され、ベクトルvをコン
ポーネント信号YUVへ変換する。コンポーネント信号
がフレームメモリ28に供給される。フレームメモリ2
8には、出力位置データaも供給されている。そして、
フレームメモリ28から出力端子29に対して出力位置
aの位置の画素値が出力される。
【0070】図15に示したフローチャートを参照し
て、デコード処理の流れを説明する。最初のステップS
51において、エンコーダからの信号を最初の画素の信
号として受信する。ステップS52では、受信した画素
データを再構成する。ステップS53では、再構成した
画素データを規定の位置に出力する。ステップS52お
よびS53は、メモリに対するアクセスを必要とする処
理である。
【0071】ステップS54において、エンコーダから
の信号を受信する。ステップS55において、トリガー
によって状況を評価する。ステップS56では、評価の
結果に基づいてスキャンパターンを選択する。ステップ
S57において、スキャンメモリ上において全ての方向
で出力する位置を探索する。出力位置が決まらない方向
はラスタースキャン順に出力位置を探索する(ステップ
S58)。ステップS59では、出力位置を決定する。
ステップS60では、インデックス情報から画素データ
を再構成する。ステップS61において、再構成した画
素データをフレームメモリに出力する。ステップS62
では、全ての画素を出力したかどうかが決定される。全
ての画素を出力していればデコード処理が終了する。そ
うでなければ、ステップS54に戻り、次の画素を受信
する。
【0072】次に、この発明の他の実施形態について説
明する。他の実施形態は、トリガーとして、「スキャン
の状況」を使用するものである。図16は、他の実施形
態のエンコーダのブロック図であり、図17がエンコー
ド処理のフローチャートである。図16に示されてお
り、図12と対応する構成要素に対しては、同一参照符
号を付す。図17において、図13と対応するステップ
に対しては、同一参照符号を付す。
【0073】他の実施形態では、例えば4種類のスキャ
ンパターンがスキャンパターンメモリ12a、12b、
12c、12dにそれぞれ記憶されており、スキャンパ
ターン選択部13によってその何れかが選択される。4
種類のスキャンパターンは、候補取得数と差分ベクトル
の数とが互いに異なるものである。例えば以下の4種類
のスキャンパターンがメモリ12a、12b、12c、
12dにそれぞれ記憶されている。
【0074】スキャンパターンメモリ12aに記憶され
ているスキャンパターン:候補取得数=8(3ビッ
ト)、差分ベクトルテーブルが32ベクトル(5ビッ
ト)(例えば図6Dのスキャンパターン) スキャンパターンメモリ12bに記憶されているスキャ
ンパターン:候補取得数=4(2ビット)、差分ベクト
ルテーブルが64ベクトル(6ビット)(例えば図6B
または図6Cのスキャンパターン) スキャンパターンメモリ12cに記憶されているスキャ
ンパターン:候補取得数=2(1ビット)、差分ベクト
ルテーブルが128ベクトル(7ビット)(例えば横方
向のみで候補を選択するスキャンパターン) スキャンパターンメモリ12dに記憶されているスキャ
ンパターン:候補取得数=0(0ビット)、差分ベクト
ルテーブルが256ベクトル(8ビット)(例えば図6
Aのラスタースキャンパターン)。
【0075】選択されたスキャンパターンが候補探索部
9に供給される。スキャンパターン選択部13は、トリ
ガーとしてのスキャンの状況によって切り替えられる。
スキャン状況評価部15がスキャン状況に基づいた切り
替え信号を発生する。
【0076】「スキャンの状況」は、上述したように、
例えば1フレーム分のデータを伝送する間のスキャンの
進捗の度合い等の状況である。スキャンメモリ8には、
既に伝送した画素と未だ伝送していない画素とを区別す
る情報が記憶されているので、スキャン状況評価部15
がスキャンメモリ8の記憶内容を参照することによっ
て、スキャンの状況の情報に基づいた切り替え信号を生
成することができる。
【0077】図16の構成では、4種類のスキャンパタ
ーンを切り替えているが、スキャンパターンとしては、
少なくとも2種類のものが存在すれば良い。例えばジグ
ザグスキャン(図6C参照)とラスタースキャン(図6
A参照)とを切り替えるようにしても良い。すなわち、
1フレーム分のデータを伝送する処理を行なう期間の前
半では、ジグザグスキャンを使用して画素近傍の相関性
を利用して効率良く伝送を行い、画素同士の相関が低く
なる後半には、ラスタースキャンで伝送するように、ス
キャンパターンが切り替えられる。
【0078】図17は、他の実施形態のエンコード処理
を示すフローチャートである。他の実施形態のエンコー
ド処理は、図13に示される一実施形態のエンコード処
理と同様のものであり、図17中で図13中の処理と対
応するステップには、同一の参照符号を付す。ステップ
S33の次のステップS34’では、スキャン状況の評
価がなされる。上述したスキャン状況評価部15が行な
うのと同様の評価がなされ、その結果に基づいて適切な
スキャンパターンが選択される(ステップS35)。他
の処理は、一実施形態と同様にしてなされる。
【0079】図18は、この発明の他の実施形態のデコ
ーダ側の構成を示すブロック図である。図14に示され
る一実施形態のデコーダ側の構成と対応する構成要素に
対しては、同一の参照符号を付して示す。エンコーダ側
と同様に、4種類のスキャンパターンがスキャンパター
ンメモリ31a、31b、31c、31dにそれぞれ記
憶されており、スキャンパターン選択部32によってそ
の何れかが選択される。選択されたスキャンパターンが
出力位置決定部23に供給される。スキャンパターン選
択部32は、トリガーとしてのスキャンの状況によって
切り替えられる。スキャン状況評価部34がエンコーダ
側と同様に、スキャン状況に基づいた切り替え信号を発
生する。
【0080】出力位置決定部23は、分割化部22で分
離されたスキャン情報sとスキャンパターン選択部32
で選択されたスキャンパターンの情報とを受け、スキャ
ンメモリ24を参照しながら出力位置aを決定する。こ
の出力位置aがフレームメモリ28に供給され、フレー
ムメモリ28から出力位置aの復号信号が出力される。
【0081】図19は、この発明の他の実施形態のデコ
ード処理を示すフローチャートである。他の実施形態の
デコード処理は、図15に示される一実施形態のデコー
ド処理と同様のものであり、図19中で図15中の処理
と対応するステップには、同一の参照符号を付す。ステ
ップS54の次のステップS55’では、スキャン状況
の評価がなされる。上述したスキャン状況評価部34が
行なうのと同様の評価がなされ、その結果に基づいて適
切なスキャンパターンが選択される(ステップS5
6)。他の処理は、一実施形態と同様にしてなされる。
【0082】この発明は、上述したこの発明の一実施形
態等に限定されるものでは無く、この発明の要旨を逸脱
しない範囲内で様々な変形や応用が可能である。
【0083】上述した説明では、トリガーによってスキ
ャンパターンを切り替えるようにしたが、トリガーによ
って符号化(復号化)方式を切り替えても良い。また、
トリガーによって差分ベクトルテーブルを切り替えるよ
うにしても良い。最初に、符号化(復号化)方式の切り
替えについて説明する。この発明では、上述したよう
に、スキャンパターンにしたがって取得した候補の中か
ら選択した画素を伝送画素とし、注目画素と伝送画素の
差分を伝送している。なるべく相関性の強い画素を候補
として取得できるように、スキャンパターンが考えられ
ている。画像一般の傾向にしたがってスキャンパターン
が考えられているのであるが、局所的に見ると、そのよ
うな傾向が少ない、または全くない部分も多数存在す
る。そのような部分では、差分を伝送することが必ずし
も良いとは言えない。
【0084】このような点を考慮すると、伝送の過程で
得られるトリガーによって符号化(復号化)方式を切り
替えることで効率を向上させることが可能となる。ま
た、特に動画に適用した時に差分ベクトルテーブルにあ
る差分ベクトルでは追いつかないような差分値を真値が
持つ場合には、ドット状のエラーがチラチラと発生し、
目につく。このようなエラーは、差分ベクトルテーブル
の不足で発生すると考えられる。見方を変えれば、差分
を送ろうとしていることがエラーの原因とも言える。符
号化(復号化)方式を切り替えることによって、ドット
状エラーを解消することが可能である。
【0085】符号化(復号化)方式の切り替えの一例に
ついて説明する。二つの方式を切り替える。第1の方式
は、注目画素と伝送画素の差分に対して、最も誤差の少
ない差分ベクトルのインデックスを送る方式である。第
2の方式は、伝送画素とその隣接する既伝送画素の平均
との差分に対して、最も差の少ない差分ベクトルを送る
方式である。第1の方式は、上述した先に提案されてい
る伝送方法である。第2の方式は、画像は近傍相関性が
強いので、注目画素との相関が極端に低いと思われる画
素を伝送する場合には、周辺画素との差分を伝送した方
がドット状のエラーが発生しにくいのである。
【0086】図20は、符号化(復号化)方式の切り替
えの説明のための図である。図20Aに示すような状況
にあるときに、図20Bでは、伝送画素と注目画素との
差分を伝送データとしている(第1の方式)。一方、図
20Cでは、伝送画素とその隣接する周囲の画素の平均
との差分を伝送データとしている。この二つの方式の切
り替えによって画質の向上とドット状のエラーの低減を
図ることができる。
【0087】次に、差分ベクトルテーブルの切り替えに
ついて説明する。上述したこの発明による伝送方法で
は、スキャンする画素を色空間にプロットした時に、そ
の差分ベクトル空間が小さくなることを利用する。予め
差分ベクトル空間に対してLBGを行い、差分ベクトル
テーブルを作成し、その差分ベクトルテーブルをエンコ
ーダ側とデコーダ側で共有し、インデックスを伝送する
ことによって画素データを伝送する。
【0088】1画素を8ビットで伝送する場合、スキャ
ンパターンにもよるが、例えばジグザグを使用すれば、
1画素について6ビットを割り当てることができる。し
たがって、差分ベクトルを64個持つことができる。し
かしながら、64個では、十分と言えず、差分ベクトル
テーブルにある差分ベクトルでは追いつかないような差
分値を真値が持つ場合にエラーが発生し、エラーがチラ
チラとドット状に目につく。
【0089】このエラーを解消するために、差分ベクト
ルのテーブルを複数持つことが考えられる。何らかの情
報をトリガーとしてその時々の状況にあった差分ベクト
ルテーブルに切り替えることができれば、画質の向上が
期待できる。ドット状のエラーが発生する状況に反応で
きれば、目につくエラーを解消することが可能となる。
また、差分ベクトルテーブルの数が増えるということ
は、保持できる差分ベクトルの数が増えることであり、
画質そのものの向上も期待できる。
【0090】
【発明の効果】この発明では、画像伝送状況に応じて、
候補選出手段における候補画素選出方法を切り替えるの
で、特に、動画の伝送において問題となっていたドット
状エラーの多くを解消することができる。また、画質自
体も向上し、SNRを向上することができる。
【0091】この発明では、切り替え処理のための付加
ビットを伝送する必要がない。画像のその時々の状況を
読み取って、切り替えのためのトリガーを形成してい
る。したがって、この発明は、付加ビットを伝送するこ
とによる効率の低下を防止することができる利点があ
る。
【図面の簡単な説明】
【図1】本願出願人が先に提案した伝送方式におけるエ
ンコーダの構成を示すブロック図である。
【図2】本願出願人が先に提案した伝送方式におけるエ
ンコード処理の流れを示すフローチャートである。
【図3】本願出願人が先に提案した伝送方式におけるデ
コーダの構成を示すブロック図である。
【図4】本願出願人が先に提案した伝送方式におけるデ
コード処理の流れを示すフローチャートである。
【図5】本願出願人が先に提案した伝送方式における既
伝送画素の飛び越え方法について説明するための略線図
である。
【図6】本願出願人が先に提案した伝送方式における伝
送すべき画素の探索方法について説明するための略線図
である。
【図7】この発明における画素周辺の状況を説明するた
めの略線図である。
【図8】この発明における画素周辺の状況を説明するた
めの略線図である。
【図9】この発明における候補となった回数を説明する
ための略線図である。
【図10】この発明におけるスキャンの履歴を説明する
ための略線図である。
【図11】この発明における画素データの色空間内での
位置を説明するための略線図である。
【図12】この発明の一実施形態におけるエンコーダの
構成を示すブロック図である。
【図13】この発明の一実施形態におけるエンコード処
理の流れを示すフローチャートである。
【図14】この発明の一実施形態におけるデコーダの構
成を示すブロック図である。
【図15】この発明の一実施形態におけるデコード処理
の流れを示すフローチャートである。
【図16】この発明の他の実施形態におけるエンコーダ
の構成を示すブロック図である。
【図17】この発明の他の実施形態におけるエンコード
処理の流れを示すフローチャートである。
【図18】この発明の他の実施形態におけるデコーダの
構成を示すブロック図である。
【図19】この発明の他の実施形態におけるデコード処
理の流れを示すフローチャートである。
【図20】この発明を符号化(復号化)方式の切り替え
に適用する例を説明するための略線図である。
【符号の説明】
5・・・候補評価部、8,24・・・スキャンメモリ、
9・・・候補探索部、12,32・・・スキャンパター
ン選択部、13,31・・・スキャンパターンメモリ、
23・・・出力位置決定部、14,33・・・トリガー
生成部、15,34・・・スキャン状況評価部
フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 三宅 徹 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C057 AA01 AA06 BB01 CC04 CE10 EA02 EA07 ED01 EF05 EL01 EM17 EN06 GG01 GL00 5C059 KK01 LA06 MB22 PP16 PP28 RB14 RC19 RC26 RF09 SS02 UA31 5J064 AA01 AA02 BA13 BB01 BC01 BC25 BC27 BD02

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 画像信号伝送装置であって、 入力画像信号において、注目画素を選出し、所定の方向
    に位置する1乃至複数の画素を候補画素として選出する
    候補選出手段と、 それぞれ上記候補画素の周辺画素あるいは上記注目画素
    に基づいて、それぞれ上記候補画素の画素値をベクトル
    に変換するベクトル変換手段と、 上記ベクトルに変換された上記候補画素の画素値に基づ
    いて、伝送する画素を上記候補画素内において決定する
    伝送画素決定手段と、 上記注目画素の状況あるいは伝送方法に基づいた画像伝
    送状況を特徴として抽出する手段とを有し、 上記特徴に応じて、上記候補選出手段における候補画素
    選出方法を変更することを特徴とする画像信号伝送装
    置。
  2. 【請求項2】 請求項1において、 上記候補画素の画素値のベクトルを表現するものとし
    て、注目画素と次に送信する画素との差分値をベクトル
    表現で表すようにした画像信号伝送装置。
  3. 【請求項3】 請求項1において、 上記候補画素の画素値のベクトルを表現するものとし
    て、画素値自体をベクトル表現で表すようにした画像信
    号伝送装置。
  4. 【請求項4】 請求項1において、 上記特徴が画素周辺の状況である画像信号伝送装置。
  5. 【請求項5】 請求項1において、 上記特徴がスキャンの状況である画像信号伝送装置。
  6. 【請求項6】 請求項1において、 上記特徴が候補になった回数である画像信号伝送装置。
  7. 【請求項7】 請求項1において、 上記特徴がスキャンの履歴である画像信号伝送装置。
  8. 【請求項8】 請求項1において、 上記特徴が画素データの色空間内の位置である画像信号
    伝送装置。
  9. 【請求項9】 請求項1において、 上記候補画素選出方法がラスタースキャン、上下左右に
    位置する画素の一つを選出するスキャンパターン、伝送
    画素を中心に分割した4領域に対してジグザグスキャン
    を行うスキャンパターン、上下左右および斜めに位置す
    る画素の一つを選出するスキャンパターンの何れかであ
    る画像信号伝送装置。
  10. 【請求項10】 画像信号伝送方法であって、 入力画像信号において、注目画素を選出し、所定の方向
    に位置する1乃至複数の画素を候補画素として選出する
    候補選出ステップと、 それぞれ上記候補画素の周辺画素あるいは上記注目画素
    に基づいて、それぞれ上記候補画素の画素値をベクトル
    に変換するベクトル変換ステップと、 上記ベクトルに変換された上記候補画素の画素値に基づ
    いて、伝送する画素を上記候補画素内において決定する
    伝送画素決定ステップと、 上記注目画素の状況あるいは伝送方法に基づいた画像伝
    送状況を特徴として抽出するステップとを有し、 上記特徴に応じて、上記候補選出ステップにおける候補
    画素選出方法を変更することを特徴とする画像信号伝送
    方法。
  11. 【請求項11】 請求項10において、 上記候補画素の画素値のベクトルを表現するものとし
    て、注目画素と次に送信する画素との差分値をベクトル
    表現で表すようにした画像信号伝送方法。
  12. 【請求項12】 請求項10において、 上記候補画素の画素値のベクトルを表現するものとし
    て、画素値自体をベクトル表現で表すようにした画像信
    号伝送方法。
  13. 【請求項13】 請求項10において、 上記特徴が画素周辺の状況である画像信号伝送方法。
  14. 【請求項14】 請求項10において、 上記特徴がスキャンの状況である画像信号伝送方法。
  15. 【請求項15】 請求項10において、 上記特徴が候補になった回数である画像信号伝送方法。
  16. 【請求項16】 請求項10において、 上記特徴がスキャンの履歴である画像信号伝送方法。
  17. 【請求項17】 請求項10において、 上記特徴が画素データの色空間内の位置である画像信号
    伝送方法。
  18. 【請求項18】 請求項10において、 上記候補画素選出方法がラスタースキャン、上下左右に
    位置する画素の一つを選出するスキャンパターン、伝送
    画素を中心に分割した4領域に対してジグザグスキャン
    を行うスキャンパターン、上下左右および斜めに位置す
    る画素の一つを選出するスキャンパターンの何れかであ
    る画像信号伝送方法。
  19. 【請求項19】 入力画像信号において、注目画素を選
    出し、所定の方向に位置する1乃至複数の画素を候補画
    素として選出し、それぞれ上記候補画素の周辺画素ある
    いは上記注目画素に基づいて、それぞれ上記候補画素の
    画素値をベクトルに変換し、上記ベクトルに変換された
    上記候補画素の画素値に基づいて、伝送する画素を上記
    候補画素内において決定し、上記注目画素の状況あるい
    は伝送方法に基づいた画像伝送状況を特徴として抽出
    し、上記特徴に応じて、上記候補選出手段における候補
    画素選出方法を変更するようにした画像信号伝送装置か
    ら伝送されてくる伝送データを受信する画像信号受信装
    置において、 伝送データを受信する受信手段と、 受信されたデータから画素値を生成する画素値生成手段
    と、 受信されたデータから出力位置を決定する出力位置決定
    手段と、 上記注目画素の状況あるいは伝送方法に基づいた画像伝
    送状況を特徴として抽出する手段とを有し、 上記特徴に応じて、上記出力位置決定手段における出力
    位置決定方法を変更することを特徴とする画像信号受信
    装置。
  20. 【請求項20】 請求項19において、 上記特徴が画素周辺の状況である画像信号受信装置。
  21. 【請求項21】 請求項19において、 上記特徴がスキャンの状況である画像信号受信装置。
  22. 【請求項22】 請求項19において、 上記特徴が候補になった回数である画像信号受信装置。
  23. 【請求項23】 請求項19において、 上記特徴がスキャンの履歴である画像信号受信装置。
  24. 【請求項24】 請求項19において、 上記特徴が画素データの色空間内の位置である画像信号
    受信装置。
  25. 【請求項25】 入力画像信号において、注目画素を選
    出し、所定の方向に位置する1乃至複数の画素を候補画
    素として選出し、それぞれ上記候補画素の周辺画素ある
    いは上記注目画素に基づいて、それぞれ上記候補画素の
    画素値をベクトルに変換し、上記ベクトルに変換された
    上記候補画素の画素値に基づいて、伝送する画素を上記
    候補画素内において決定し、上記注目画素の状況あるい
    は伝送方法に基づいた画像伝送状況を特徴として抽出
    し、上記特徴に応じて、上記候補選出手段における候補
    画素選出方法を変更するようにした画像信号伝送装置か
    ら伝送されてくる伝送データを受信する画像信号受信方
    法において、 伝送データを受信する受信ステップと、 受信されたデータから画素値を生成する画素値生成ステ
    ップと、 受信されたデータから出力位置を決定する出力位置決定
    ステップと、 上記注目画素の状況あるいは伝送方法に基づいた画像伝
    送状況を特徴として抽出するステップとを有し、 上記特徴に応じて、上記出力位置決定ステップにおける
    出力位置決定方法を変更することを特徴とする画像信号
    受信方法。
  26. 【請求項26】 請求項25において、 上記特徴が画素周辺の状況である画像信号受信方法。
  27. 【請求項27】 請求項25において、 上記特徴がスキャンの状況である画像信号受信方法。
  28. 【請求項28】 請求項25において、 上記特徴が候補になった回数である画像信号受信方法。
  29. 【請求項29】 請求項25において、 上記特徴がスキャンの履歴である画像信号受信方法。
  30. 【請求項30】 請求項25において、 上記特徴が画素データの色空間内の位置である画像信号
    受信方法。
JP2001172925A 2001-06-07 2001-06-07 画像信号伝送装置および方法、並びに画像信号受信装置および方法 Pending JP2002369195A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001172925A JP2002369195A (ja) 2001-06-07 2001-06-07 画像信号伝送装置および方法、並びに画像信号受信装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001172925A JP2002369195A (ja) 2001-06-07 2001-06-07 画像信号伝送装置および方法、並びに画像信号受信装置および方法

Publications (2)

Publication Number Publication Date
JP2002369195A true JP2002369195A (ja) 2002-12-20
JP2002369195A5 JP2002369195A5 (ja) 2008-04-24

Family

ID=19014473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001172925A Pending JP2002369195A (ja) 2001-06-07 2001-06-07 画像信号伝送装置および方法、並びに画像信号受信装置および方法

Country Status (1)

Country Link
JP (1) JP2002369195A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114432A (ja) * 1997-06-12 1999-01-06 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP2000138939A (ja) * 1998-10-30 2000-05-16 Sony Corp 伝送装置および方法、受信装置および方法、並びに提供媒体
JP2000278679A (ja) * 1999-03-19 2000-10-06 Sony Corp 伝送装置、伝送方法、受信装置および受信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114432A (ja) * 1997-06-12 1999-01-06 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP2000138939A (ja) * 1998-10-30 2000-05-16 Sony Corp 伝送装置および方法、受信装置および方法、並びに提供媒体
JP2000278679A (ja) * 1999-03-19 2000-10-06 Sony Corp 伝送装置、伝送方法、受信装置および受信方法

Similar Documents

Publication Publication Date Title
EP2202748B1 (en) Reproducing apparatus using slow motion in a region of interest ROI in a video bitstream.
KR100518100B1 (ko) 화상처리장치및방법,및화상부호화장치및방법
US5347599A (en) Adaptive interpolation method and apparatus using correlation detection
US6859235B2 (en) Adaptively deinterlacing video on a per pixel basis
EP0671845B1 (en) Multi-dimensional image data compression and decompression
EP1500050A1 (en) Compression of images and image sequences through adaptive partitioning
JPH01265683A (ja) 鮮明度の改良されたテレビジョン方式
CA2255296C (en) Image encoding/decoding by eliminating color components in pixels
EP0892558B1 (en) Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium
JP2002369195A (ja) 画像信号伝送装置および方法、並びに画像信号受信装置および方法
JP4736242B2 (ja) 画像信号伝送装置および方法、並びに画像信号受信装置および方法
JP4736243B2 (ja) 画像信号伝送装置および方法、並びに画像信号受信装置および方法
JP4151134B2 (ja) 伝送装置および方法、受信装置および方法、並びに記録媒体
US6975771B1 (en) Coding device and method using a strong correlation noted pixel selection
FI90180C (fi) Hoegresolutionstelevision
JP4182676B2 (ja) 画像信号伝送装置および方法、並びに画像信号受信装置および方法
JP4734239B2 (ja) 空間的信号変換
JP4218117B2 (ja) 伝送装置、伝送方法、受信装置および受信方法
JP4085396B2 (ja) 学習装置及び学習方法
JPH08317347A (ja) 画像情報変換装置
JP4239465B2 (ja) 画像信号伝送装置および方法、並びに画像信号受信装置および方法
JP4182674B2 (ja) 画像信号伝送装置および方法、並びに画像信号受信装置および方法
JP4182675B2 (ja) 画像信号伝送装置および方法
JP2000200349A (ja) 画像情報変換装置および画像情報変換方法、学習装置および学習方法
JPH07147670A (ja) 画像データの補間装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101012