JP2001515679A - 高分解能静止画像を創出するための方法及び装置 - Google Patents

Abstract

(57)【要約】 高分解能静止画像を創出するための方法と装置とが開示されている。低分解能画像の系列が、好適には符号化された画像のＩＰＰＰ..系列を発生するＭＰＥＧ符号器により、運動補償された予測符号化（２）を受ける。イメージセンサ（１）の運動又はシーンにおける運動による、連続する画像間の比較的小さい差は、サブ画素精度による運動ベクトル（ｍ）において明らかになる。それで高分解能画像が解読された画像とその符号器により発生された運動ベクトルとから創出される(５)。本発明は特に記憶媒体（３）を有する電子静止画像カメラに応用できる。ＭＰＥＧ符号器（２）はデータ比較を処理し、且つデコーダー（４）は元の動くビデオ系列の再生をもまた許容する。

Description

【発明の詳細な説明】 高分解能静止画像を創出するための方法及び装置 発明の技術分野 本発明は次のステップ、すなわち低分解能画像の系列を受け取るステップ、サ ブ画素精度を有する低分解能画像の前記の系列における運動を算定するステップ 、及び低分解能画像の前記の系列と前記の算定された運動とから高分解能静止画 像を創出するステップ、を具えている高分解能静止画像を創出する方法に関する ものである。本発明はまた、高分解能静止画像を創出するための装置、例えば、 電子静止画像カメラにも関係している。 発明の背景 冒頭文節に定義された高分解能静止画像を創出する従来技術の方法は、欧州特 許出願明細書第ＥＰ−Ａ−０ ７３１ ６００号に開示されている。この従来技 術の方法においては、低分解能画像のうちの一つが基準画像として選択され、且 つその基準画像と他の画像の各々一つとの画素の間の総体運動がサブ画素精度に より算定される。かくして算定された運動を用いて、低分解能画像が高分解能領 域に合わせて調整され、且つ高分解能画像を形成するために結合される。相対運 動が写像変換の形で表現される。 発明の目的及び要約 性能と実際の履行とによって好都合な効果を有する静止画像を創出する方法を 提供することが本発明の目的である。 この目的のために、本発明による方法は、画像の系列に運動補償された予測符 号化を受けさせ、それにより前記の系列の連続する画像間の運動を表現する運動 ベクトルを発生するステップ、前記の符号化された画像を解読するステップ、及 び前記の解読された画像と前記の符号化ステップにおいて発生された運動ベクト ルとから高分解能画像を創出するステップを具えている。 低分解能画像の系列からの高分解能画像の創出はサブ画素運動情報の有効度を 頼りにする。(各画像と固定された基準画像との間の運動の代りに)連続する画像 の間の運動を基礎として運動補償された予測符号化を使用することが、サブ画素 精度を有する運動ベクトルが得られる可能性を増大する。この方法の性能はかく して大幅に改善される。本発明はまた運動補償された予測的に符号化された低分 解能画像の系列が、高分解能静止画像の圧縮された表現であると言う利点も有し ている。従って、その静止画像は効率的に記憶と送信との両方又はいずれか一方 をされ得る。その運動ベクトルは記憶されるデータの一部分であるから、それで もう一つの算定器を必要とすることなく高分解能静止画像を得ることができる。 再生に際して、ユーザが高分解能静止画像の創出か又はもとの低分解能ビデオ系 列の再生を選択できることが別の利点である。 好適には、画像の系列を符号化するステップは、符号化された画像のＩＰＰＰ ..系列を発生するために配設されたＭＰＥＧ符号器の使用を具えている。高圧縮 比を有する費用効果の良いＭＰＥＧ符号器は容易に利用できる。 本発明の一実施例においては、高分解能静止画像が先に創出された画像へ現在 解読されている画像を回帰的に加算することにより創出され、前記の先に創出さ れた画像は現在解読されている画像に関連する運動ベクトルに従って運動補償を 受ける。それにより静止画像が単一画像メモリ内に次第に形成されることが達成 される。 本発明はまた、運動補償された予測的に符号化された低分解能画像のすでに利 用できる（受信されるか又は記録された）系列、例えば、ＭＰＥＧビットストリ ームから、高分解能静止画像を創出するためにも用いられ得る。 図面の簡単な説明 図１は高分解能画像を創出する従来技術の方法を図解するための種々の画像を 示している。 図２は本発明による高分解能画像を創出する方法を実行するシステムのブロッ ク線図を示している。 図３及び４は図２に示されたシステムの動作を図解するための種々の画像を示 している。 実施例の記載 図１は高分解能画像を創出する従来技術の方法を図解するための種々の画像を 示している。この図においては、画像Ａ₁、Ａ₂及びＡ₃が動いている対象の３個 の連続する様相を示している。画像Ｂ₁、Ｂ₂及びＢ₃は低分解能イメージセンサ により発生されるような低分解能グリッド上の対応する画素値を示している。こ の記載全体を通して、画素は領域０〜１００内の値を有し、種々の画像図面に値 ０は示されていない。 従来技術においては、運動の総量は固定された基準画像の画素と次の画像の各 画素との間で計算される。図１に示された例においては、画像Ｂ₁が基準画像で ある。この例を単純化するために、対象の全画素が運動の同じ総量を有し、それ で単一運動ベクトルが各々次の画像に対して得られることが仮定される。従って 運動ベクトルｍ₁₂は画像Ｂ₁とＢ₂との間の運動の総量を表現している。そのベク トルは値ｍ₁₂＝（１，1/2）を有するように想定されて、右へ１画素及び上側へ1 /2画素だけの運動を表している。同様に、運動ベクトルｍ₁₃は画像Ｂ₁とＢ₃との 間の運動の総量を示している。このベクトルは値ｍ₁₃＝（１1/2，1/2）を有する ように想定される。 画像Ｃ₁、Ｃ₂及びＣ₃は高分解能グリッド上の画像Ｂ₁、Ｂ₂及びＢ₃の各自の変 形である。それらはアップ‐サンプリングにより得られる。運動算定が半画素精 度で実行されるこの例においては、高分解能が水平及び垂直方向の双方において 低分解能の２倍である。このアップ‐サンプリングは４回各画素を反復すること により実行される。 画像Ｄ₁、Ｄ₂及びＤ₃は、それらの運動ベクトルに対応する距離だけ画像Ｃ₁、 Ｃ₂及びＣ₃を動かし戻すことにより得られる画像である。その高分解能領域にお ける各自の運動ベクトルｍ'₁₂及びｍ'₁₃は、分解能強調係数−２により低分解能 領域における元の運動ベクトルｍ₁₂及びｍ₁₃を乗算することにより得られる。か くして、画像Ｃ₂は左へ２画素及び下側へ１画素シフトされ、且つ画像Ｃ₃は左へ ３画素及び下側へ１画素シフトされる。 最後に、画像Ｅは画像Ｄ₁、Ｄ₂及びＤ₃を一緒に加算し、且つ３（画像の数） によりその合計を除算した結果である。見られ得るように、画像Ｅは元の対象の 高分解能詳細を示すために始める。もっと別の画像がこの方法で処理されれば処 理されるほど、より良い画像になる。 図２は本発明による方法を実行するシステムのブロック線図を示している。こ のシステムは、イメージセンサ１、運動補償される予測符号器２、記憶媒体（又 は送信チャネル）３、運動補償される予測デコーダー４及び高分解能画像を創出 するための処理回路５を具えている。イメージセンサが図１に示された画像Ａ₁ 、Ａ₂及びＡ₃と対応するイメージＡ_iを受け取って、且つ図１に示された画像Ｂ₁ 、Ｂ₂及びＢ₃と対応するディジタル化された低分解能画像Ｂ_iを発生する。 運動補償される予測符号器２（好適にはフィリップス集積回路SAA7650のよう な標準ＭＰＥＧ符号器）が、ＭＰＥＧ２符号化標準に従って画像を符号化し且つ 圧縮する。その符号器は、減算器２１，加算器２２、フレームメモリ２３、運動 算定器２４及び運動補償器２５を具えている。離散余弦変換器、量子化器及び可 変長符号器のような、本発明を理解するために本質的でない素子は、省略されて しまった。符号器の動作は図３を参照してわずかに説明されるだろう。この図に おいては、入力映像Ａ₁、Ａ₂及びＡ₃とそれらのディジタル副本Ｂ₁、Ｂ₂及びＢ₃ とは、図１におけるのと同じである。 この系列の最初の画像Ｂ₁は自律的に符号化される。ＭＰＥＧ符号化において は、そのような画像は通常Ｉ画像と呼ばれる。図３においては、画像Ｄ₁が自律 的に符号化された画像の画素値を示している。この画像が符号器の出力端子へ加 えられ、且つまたフレームメモリ２３内に記憶される。 別の画像Ｂ₂及びＢ₃は予測的に符号化される。ＭＰＥＧ符号化においては、そ れらは通常Ｐ画像と呼ばれている。これらの画像を符号化するために、運動算定 器２４が現在の画像Ｂ_iと記憶された前に符号化された画像Ｂ_i-1との間の運動の 総量を計算する。普通は、前記の運動算定は１６×１６画素のブロックに基いて 実行される。計算された運動ベクトルを用いて、運動補償器２５が差出力画像Ｄ_i を形成するように符号化されるべき画像Ｂ_iから減算される予測画像Ｃ_iを発生 する。予測映像Ｃ_iと符号化された差Ｄ_iとが加算器２２により加算され、且つフ レームメモリ２３内に記憶される。 図３における画像Ｃ₂は画像Ｂ₂を符号化するための運動補償された予測画像で ある。従来技術におけるように、関連する運動ベクトルｍ₁₂は値（１，1/2）を 有すると想定される。画像Ｂ₂はかくして図３においてＤ₂として示されている 差画像の形で符号化さされる。 同様に、画像Ｃ₃は画像Ｂ₃を符号化するための、運動補償された予測画像であ る。運動ベクトルｍ₂₃は画像Ｂ₂とＢ₃の間の運動の総量の表現であることは注意 されたい。これは全運動ベクトルが同じ基準画像Ｂ₁に対して計算される従来技 術とは著しく違っている。本例においては、運動ベクトルｍ₂₃は値（1/2，０） を有している。画像Ｂ₃は今や差画像Ｄ₃の形に符号化される。 再び図２を参照して、運動ベクトルｍと一緒に符号化された画像Ｄ_iが記憶媒 体３上に記憶されるか、又は送信チャネルを通して伝達される。続いて、低分解 能画像の元の系列が運動補償される予測デコーダー４により解読される。再び、 この（ＭＰＥＧ）デコーダーの最も関連する素子のみが示されており、すなわち 加算器４１、フレームメモリ４２及び符号器により発生された運動ベクトルｍを 受け取る運動補償器４３が示されている。 元の低分解能画像を再構成の後に、高分解能静止画像が処理回路５により回帰 的に創出される。図２に示されたように、この処理回路５は、アップサンプラー ５１、乗算器５２、加算器５３、フレームメモリ５４及び運動補償器５５を具え ている。 図４は処理回路の動作を図解するために種々の画像を示している。画像Ｂ₁、 Ｂ₂及びＢ₃は予測デコーダー４により供給された解読された低分解能画像である 。符号器による圧縮の不備による加工品は別として、それらは図１及び３に示さ れた画像Ｂ₁、Ｂ₂及びＢ₃と対応している。画像Ｅ₁、Ｅ₂及びＥ₃は高分解能領域 におけるそれらの変形である。それらは画素予測によるアップサンプラー５１に より供給される。 第１反復ステップにおいて、処理回路５が第１高分解能画像Ｇ₁を出力し、且 つそれをフレームメモリ５４内へ供給する。第１画像はＩ画像であるから、出力 画像Ｇ₁は入力画像Ｅ₁と同じである。 第２反復ステップにおいて、次の高分解能画像Ｅ₂と運動補償された先の画像 Ｆ₂とが加算器５３により加算される。運動補償された画像Ｆ₂は、もとの運動ベ クトルｍ₁₂の２倍である運動ベクトルｍ'₁₂＝（２，１）に従って、右へ２画素 及び上側へ１画素記憶された画像Ｇ₁をシフトすることにより得られる。画像Ｇ₂ は この反復ステップの結果である。図示された画素値は正規化されており、すなわ ち今までに処理された画像の数である２により分割されている。見られ得るよう に、高分解能詳細は垂直方向に現れるように始まる。元の運動ベクトルｍ₁₂が垂 直方向においてのみサブ画素成分を有するので、水平方向においては詳細はまだ 現れない。（加えられる正規化係数無しで）出力画像Ｇ₂がフレームメモリ５４ 内に記憶される。 第３反復ステップにおいて、次の高分解能画像Ｅ₃と運動補償された先の画像 Ｆ₃とが加算される。運動補償された先の画像Ｆ₃は運動ベクトルｍ'₂₃＝（１， ０）に従って、右へ１画素記憶された画像Ｇ₂をシフトすることにより得られる 。画像Ｇ₃はこの反復ステップの結果である。図示された画素値は、今までに処 理された画像の数である３により除算の後に得られる。見られ得るように、元の 運動ベクトルｍ₂₃がこの方向においてサブ画素成分を有するので、高分解能詳細 は今や水平方向においてもまた現れ始める。 上記のステップは解読される画像の系列において各々別の画像に対して反復さ れる。もっと続くＰ画像がこの方法で処理されればされるほど、より良く出力画 像が元の対象に似るようになる。 認識されるように、本発明は符号化局面において得られた運動ベクトルもまた 静止画像創出局面において用いられると言う特別の利点を提供する。もう一つの 運動算定器を持つ必要はない。各画像に対してはメモリもまた必要でない。更に その上、運動ベクトルは一定の基準画像よりもむしろ直前の画像に関係する。連 続する画像間の運動は比較的小さいので、半画素精度（それは分解能を倍にする ために本質的である）を有する運動ベクトルを得る可能性は、それ故に従来技術 におけるよりも大幅に大きい。 本発明はまた、静止画像が適度の送信あるいは記憶容量を必要とする圧縮され た低分解能画像の系列として送信されるか又は記憶されることを許容する。広く 利用できる標準構成要素（ＭＰＥＧ符号器及びデコーダー）が用いられ得て、且 つ低分解能画像の系列が運動ビデオの形で任意に再生され得る。 要約すれば、高分解能静止画像を創出するための方法及び装置が開示されてい る。低分解能画像の系列が、好適には符号化された画像のＩＰＰＰ..系列を発生 するＭＰＥＧ符号器により、運動補償された予測符号化を受ける。イメージセン サの運動又はそのシーン内の運動による、連続する画像間の比較的小さい差が、 サブ画素精度を有する運動ベクトルにおいて明らかになる。それで高分解能画像 が解読された画像と符号器により発生された運動ベクトルとから創出される。 本発明は記憶媒体を有する電子静止画像カメラに特に適用できる。ＭＰＥＧ符 号器はデータ圧縮を処理し、且つデコーダーもまた元の動くビデオ系列の再生を 許す。

Claims (1)

1. 【特許請求の範囲】 １．低分解能画像の系列を受け取るステップ、 サブ画素精度を有する低分解能画像の前記の系列における運動を算定するス テップ、及び 低分解能画像の前記の系列と前記の算定された運動とから高分解能静止画像 を創出するステップ、 を具えている高分解能静止画像を創出する方法において、 該方法が 画像の系列に運動補償された予測符号化を受けさせ、それにより前記の系列 の連続する画像間の運動を表現する運動ベクトルを発生するステップ、 前記の符号化された画像を解読するステップ、及び 前記の解読された画像と前記の符号化ステップにおいて発生された運動ベク トルとから高分解能画像を創出するステップ、 を具えていることを特徴とする高分解能静止画像を創出する方法。 ２．請求項１記載の方法において、前記の創出するステップが、高分解能領域に おいて、先に創出された画像へ現在解読されている画像を回帰的に加算するこ とを含み、前記の先に創出された画像は現在解読されている画像と関連する運 動ベクトルに従って運動補償を受けることを特徴とする高分解能静止画像を創 出する方法。 ３．請求項１記載の方法において、更に記憶媒体上に符号化された画像を記憶す るステップを具えていることを特徴とする高分解能静止画像を創出する方法。 ４．請求項１記載の方法において、画像の系列を符号化するステップが符号化さ れた画像のＩＰＰＰ..系列を発生するために配設されているＭＰＥＧ符号器の 使用を具えていることを特徴とする高分解能静止画像を創出する方法。 ５．運動補償された予測的に符号化された画像の形で受け取られた低分解能画像 の系列と、前記の系列の連続する画像間の運動を表現する運動ベクトルとから 高分解能静止画像を創出する方法であって、 前記の符号化された画像を解読するステップ、及び 前記の解読された画像と受け取られた運動ベクトルとから高分解能画像を創 出するステップ、 を具えていることを特徴とする高分解能静止画像を創出する方法。 ６．請求項５記載の方法において、前記の創出するステップが、高分解能領域に おいて、先に創出された画像へ現在解読されている画像を回帰的に加算するス テップを含み、前記の先に創出された画像は前記の現在解読されている画像と 関連する運動ベクトルに従って運動補償を受けることを特徴とする高分解能静 止画像を創出する方法。 ７．請求項５記載の方法において、運動補償された予測的に符号化された画像の 前記系列及び運動ベクトルが、符号化された画像のＩＰＰＰ..系列を具えてい るＭＰＥＧビデオビットストリームの形で受け取られることを特徴とする高分 解能静止画像を創出する方法。 ８．低分解能画像の系列を受け取るための手段、 サブ画素精度を有する低分解能画像の前記の系列における運動を算定するた めの手段、及び 低分解能画像の前記の系列と前記の運動ベクトルとから高分解能静止画像を 創出するための手段、 を具えている高分解能静止画像を創出するための装置において、 該装置が更に 画像の前記の系列に前記の系列の連続する画像間の運動を表現する運動ベク トルを発生するための運動算定器を含んでいる、運動補償された予測的符号化 を受けさせるための段、 前記の符号化された画像を解読するためのデコーダー、 を具え、 前記の高分解能静止画像を創出するための手段が、前記の符号化された画像 と前記の符号器により発生された運動ベクトルとから高分解能画像を創出する ために配設されている ことを特徴とする高分解能静止画像を創出するための装置。 ９．請求項８記載の装置において、前記の高分解能静止画像を創出するための手 段が、高分解能領域において、先に創出された画像へ現在解読されている画像 を回帰的に加算するための手段を含み、前記の先に創出された画像は前記の現 在解読されている画像と関連する運動ベクトルに従って運動補償を受けること を特徴とする高分解能静止画像を創出するための装置。 １０．請求項８記載の装置において、前記の符号化された画像を記憶するための 記憶媒体を更に具えていることを特徴とする高分解能静止画像を創出するため の装置。 １１．請求項８記載の装置において、前記の符号器が符号化された画像のＩＰＰ Ｐ..系列を発生するために配設されたＭＰＥＧ符号器であることを特徴とする 高分解能静止画像を創出するための装置。 １２．運動補償された予測的に符号化された画像の形での低分解能画像の系列と 前記の系列の連続する画像間の運動を表現する運動ベクトルとを受け取るため の手段、 前記の符号化された画像を解読するためのデコーダー、及び 前記の解読された画像と前記の受け取られた運動ベクトルとから、高分解能 画像を創出するための手段、 を具えていることを特徴とする高分解能静止画像を創出するための装置。 １３．請求項１０に記載された装置を具え、且つ低分解能画像を得るためのイメ ージセンサを更に具えていることを特徴とするイメージ記録及び再生装置。