JP2002016867A

JP2002016867A - 静止画取込システム、静止画保存方法および静止画識別方法

Info

Publication number: JP2002016867A
Application number: JP2000199848A
Authority: JP
Inventors: Takashi Yajima; 貴志矢島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-06-30
Filing date: 2000-06-30
Publication date: 2002-01-18

Abstract

(57)【要約】【課題】限られた容量の画像メモリ（映像バッファ）に
比較的多量の静止画を自動的にストックできるシステム
を提供する。【解決手段】動画を含むビデオ映像において、時間経過
に伴う内容変化が実質的に認められない静止画フレーム
（ＳＴ１６イエス）が所定数以上続いた場合（ＳＴ２２
イエス）のみ、その静止画フレームを圧縮して（ＳＴ２
６）映像バッファに格納する（ＳＴ２８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、映像信号から抽
出された静止画を記憶媒体に取り込む画像取込システム
に関する。

【０００２】とくに、一過性の放送映像中の動画部分か
ら自動的に抽出された静止画を一旦ストックし、ストッ
クされた静止画からユーザが所望するものを記憶媒体に
取り込むことができるテレビジョン受信機あるいはテレ
ビジョンチューナ（セットトップボックス）に関する。

【０００３】また、この発明は、映像信号から自動的に
抽出された静止画を一旦ストックし、ストックされた静
止画からユーザが所望するものを記憶媒体に保存する静
止画保存方法に関する。

【０００４】さらに、この発明は、映像信号の動画部分
から静止画を識別する静止画識別方法に関する。

【０００５】

【従来の技術】従来より、放送中の番組を見ている最中
あるいはＤＶＤなど映像メディアの再生中に、「画像取
り込みボタン（画像取込を指示する手段）」などを押す
ことによって、その指示した瞬間の画像をメモリに取り
込むような機能を持つ映像機器（テレビジョン）が存在
する。

【０００６】このような映像機器では、取り込みたい画
像が表示された瞬間にユーザが取り込みを指示できる環
境にいる（たとえば常にリモートコントローラを手元に
持っている）必要がある。しかし、普段から絶えずリモ
ートコントローラを手にしているケースはまれなことな
ので、取り込みたい画像が表示された瞬間にユーザは取
り込み指示をすべくリモートコントローラなどを探すこ
とになる。しかし、それでは所望の画像を取り込むチャ
ンスを逸してしまう。

【０００７】この問題に対処した公知例として、特開平
９ー８３９２８号公報に開示されたテレビジョン受像機
がある。このテレビジョン受像機では、その内部に圧縮
画像をストックしている。そして、ストックした画像
（比較的短期間経過後に上書き消去される）の保存時
に、その保存対象画像をユーザが選択できるような構成
をとっている。

【０００８】このテレビジョン受像機は、圧縮画像スト
ックのために、内部に大容量映像バッファを備え、この
映像バッファに現在表示されている画像を常にストック
させている。その際、ユーザから静止画取り込みの指示
がないときも、常に現在の画像を内部映像バッファにス
トックし、映像バッファに空き容量がなくなると、映像
バッファ内の古い画像データから次々と上書き消去して
新たな画像をストックして行く方法を採用している。
（これと類似の考え方を用いたビデオライブラリシステ
ムが、特開平８ー２３７５９２号公報に開示されてい
る。）このテレビジョン受像機の構成によれば、過去に
表示された（時間的には既に流れ去ってしまっている）
画像を、映像バッファから取り出して記憶媒体に長期保
存することができる。しかし、このテレビジョン受像機
では、動画シーンから抽出された静止画成分も静止画シ
ーン（動画中でも全体として殆ど動きのないシーン）か
ら抽出された静止画成分も区別なく映像バッファに取り
込まれる。このため、映像バッファは比較的早く満杯と
なり、以前に取り込まれた画像は比較的短期間のうちに
新たな取込画像で次々と上書き消去される。この場合、
映像バッファの容量がよほど大きくない限り取込済みの
画像が間もなく上書き消去されてしまうので、ユーザが
必要な画像を保存したいと欲したときは、ユーザはあま
り悠長に構えてはいられない。

【０００９】この問題に対処し得る公知例として、特開
平９ー２２４２１３号公報に開示されたテレビ受信機が
ある。この公報のテレビ受信機では、任意のフレーム間
隔で自動的に画像を取り込み、取込画像を内部メモリ
（ＤＲＡＭ）にストックしておくように構成されてい
る。取込間隔が広ければ、内部メモリの容量が少なくて
も、見かけ上、長時間分の画像をストックすることがで
きる。たとえば、あるメモリに毎秒１フレームの割合で
１分間分の静止画を取り込むことができるとすれば、１
０秒に１フレームの割でなら１０分間分の静止画を取り
込むことができることになる（それ以上の画像取込分
は、メモリ内にストックされた画像データの古いものか
ら順に上書き消去される）。

【００１０】しかし、見かけ上長時間分の画像をストッ
クするために取込間隔を広く設定すると、ユーザが保存
したいと欲する画像がメモリにストックされない可能性
（画像取り逃がしの可能性）が高くなる。

【００１１】

【発明が解決しようとする課題】画像を取り逃がさない
ようにするには、メモリ（映像バッファ）に密間隔で常
に画像をストックしておく方法が有効である。しかし、
この方法では、十分な量の画像をストックしようとする
と必要なメモリ容量が膨大になってしまうため、高価な
システムになりがちである。逆に、システム価格を抑え
るためにメモリ容量をけちると、ストックしておける画
像の時間間隔が短くなってしまい、ユーザがあわてずに
所望画像を保存できるようにするという要求は満たされ
なくなる。さらに、映像ソースの高画質化に伴いその構
成画素数が増えれば増えるほど、ストックしなければな
らない画像データも大きくなり、必要なメモリ容量の肥
大化は大きな問題となる。

【００１２】この発明は上記事情に鑑みなされたもの
で、その目的は、限られた容量の画像メモリ（映像バッ
ファ）に比較的多量の静止画を自動的にストックできる
画像取込システムを提供することである。

【００１３】この発明の他の目的は、限られた容量の画
像メモリ（映像バッファ）に比較的多量の静止画を自動
的にストックできる静止画保存方法を提供することであ
る。

【００１４】この発明のさらに他の目的は、映像信号の
動画部分から静止画を識別する静止画識別方法を提供す
ることである。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に、この発明に係る画像取込システムでは、動画を含む
ビデオ映像において、時間経過に伴う内容変化が実質的
に認められない静止画フレーム（クイズ番組の視聴者応
募の宛先テロップ、公開番組の集合場所を示す地図、料
理番組のレシピのテロップなどを含む静止画フレーム）
が所定数以上続いた場合のみ、その静止画フレームを映
像バッファに自動的に取り込むようにしている。

【００１６】通常のビデオプログラムでは静止画フレー
ムで構成される割合は動画フレームで構成される割合よ
りもずっと低いので、上述したような構成をとれば、ビ
デオ映像中にまばらに散って含まれる静止画フレームの
画像を、比較的長期間に渡り映像バッファにストックし
ておくことができるようになる。

【００１７】このように静止画フレームを映像バッファ
に長期間ストックしておければ、ユーザはあわてずゆっ
くりとストックされた静止画フレームの内容を確認する
ことができる。したがって、ユーザは、余裕をもって、
映像バッファにストックされた静止画のうち所望のもの
を選択し、選択された静止画をメモリカードやフロッピ
ー（登録商標）ディスクなどに保存できるようになる。

【００１８】また、上記目的を達成するために、この発
明に係る画像取込システムは、同等な内容の画像（隣接
フレーム間で殆ど内容が変化しない画像）が連続した場
合にその画像を静止画と判定して静止画を検出する静止
画検出部（１００）と；前記静止画検出部（１００）に
より検出された静止画を格納する画像メモリ（２０）
と；前記画像メモリ（２０）に格納された静止画を、こ
の格納がなされたあとに記憶媒体（５０）に保存できる
ように構成（４８）される。

【００１９】上記「同等な内容の画像（隣接フレーム間
で殆ど内容が変化しない画像）が連続した場合に検出さ
れた静止画」は、動画が主体のビデオプログラム中では
相対的に発生頻度が少ないので、このような発生頻度の
少ない静止画を格納する画像メモリの記憶容量は、比較
的小さなもので済む。また、静止画記録に要するメモリ
容量は動画記録に比べてずっと少ない。このため、上記
構成では比較的小容量の画像メモリで長期間に渡り静止
画のストックを続けることができる。このように長期間
に渡る静止画ストックが可能なため、ストックされた静
止画を他の記憶媒体に保存する際にも、ユーザはあわて
ずゆっくり所望の静止画を保存できる。

【００２０】また、上記目的を達成するために、この発
明に係る画像取込システムにおいて、前記静止画検出部
（１００）および前記画像メモリ（２０）は、静止画お
よび動画の双方を含み得る映像ソース（１０）からの映
像信号より静止画を検出する静止画検出手段（１０１）
と；前記静止画検出手段（１０１）により検出された静
止画を圧縮する画像圧縮手段（１０２）と；前記画像圧
縮手段（１０２）により圧縮された静止画を記憶するバ
ッファメモリ（１０３→２０の一部）と；前記バッファ
メモリ（１０３）に記憶された圧縮静止画を伸張する画
像伸張手段（１０４）とを含んで構成できる。

【００２１】このように構成すれば、バッファメモリに
記憶される静止画は圧縮されるので、静止画記録に要す
るメモリ容量をさらに下げることができる。あるいは同
じ容量のメモリ容量でより多くの静止画をより長期間に
渡り上書きされずにストックしておくことができるよう
になる。

【００２２】ここで、前記静止画検出部（１００）は、
前記画像伸張手段（１０４）により伸張された静止画の
表示サイズを縮小する第２の画像圧縮手段（１０５）を
さらに含むことができる。

【００２３】また、前記静止画検出部（１００）は、前
記画像伸張手段（１０４）により伸張された静止画ある
いは前記第２の画像圧縮手段（１０５）により縮小され
た静止画と、前記映像ソース（１０）からの映像信号と
を合成して、合成された映像信号を提供する合成手段
（１０６）をさらに含むことができる。

【００２４】このように構成すれば、バッファメモリに
ストックされた静止画像を、現在流れている映像信号の
画像上に小さな画面で重ねて表示できるようになる。

【００２５】また、この発明に係る画像取込システム
は、映像信号を表示する表示手段（３０）をさらに備
え、この表示手段（３０）に前記画像メモリ（２０）に
格納された１以上の静止画を縮小してサムネール画像表
示（図７）するように構成することもできる。このシス
テムはさらに、前記サムネール画像表示から特定のサム
ネール画像を選択する操作部（４０＋４６）と；前記操
作部（４６）により選択されたサムネール画像に相当す
る静止画を前記記憶媒体（５０）に保存する手段（４０
＋４８）とを備えることができる。

【００２６】このように構成すれば、ユーザは画像メモ
リにストックされた過去の複数静止画を一度に確認する
ことができる。するとユーザは保存すべき静止画を素早
く決定でき、表示手段上のグラフィカルユーザインター
フェイス（ＧＵＩ）を介して、簡単に所望の静止画をメ
モリカードなどに保存できる。

【００２７】また、この発明に係る画像取込システム
は、前記合成手段（１０６）により合成された映像信号
を表示する表示手段（３０）をさらに備え、この表示手
段（３０）に前記縮小された静止画を子画面（３０Ａ）
として表示（図８）するように構成することもできる。
このシステムはさらに、この子画面（３０Ａ）に前記画
像メモリ（２０）に格納された１以上の静止画を順次切
り替えながら表示できるように構成できる。

【００２８】さらに、このシステムは、前記子画面（３
０Ａ）の現在表示に相当する静止画を前記記憶媒体（５
０）に保存する手段（４０＋４８）を備えることができ
る。

【００２９】このように構成すれば、ユーザは、現在の
映像信号の内容（たとえばＴＶドラマ）を視聴しつつ、
子画面表示から保存すべき静止画を捜すことができ、見
つかった静止画を簡単にメモリカードなどに保存でき
る。

【００３０】また、この発明に係る画像取込システム
は、前記合成手段（１０６）により合成された映像信号
を表示する表示手段（３０）をさらに備え、この表示手
段（３０）に、前記映像ソース（１０）からの映像信号
と前記縮小された静止画とを２画面表示（図９）し、こ
の２画面表示の一方（３０Ｂ）に前記画像メモリ（２
０）に格納された１以上の静止画を順次切り替えながら
表示するように構成できる。

【００３１】さらに、このシステムは、前記２画面表示
の一方の現在表示に相当する静止画を前記記憶媒体（５
０）に保存する手段（４０＋４８）を備えることができ
る。

【００３２】このように構成すれば、ユーザは、現在の
映像信号の内容（たとえば野球の実況中継）を視聴しつ
つ、２画面表示の一方を用いて保存すべき静止画を捜す
ことができ、見つかった静止画を簡単にメモリカードな
どに保存できる。

【００３３】また、上記目的を達成するために、この発
明に係る静止画保存方法は、静止画および動画の双方を
含み得る映像信号を取り込む第１の処理工程（ＳＴ１
２）と；前記取り込まれた映像信号中で、同等な内容の
画像が連続した場合に、その画像を静止画と判定する第
２の処理工程（ＳＴ１４、ＳＴ１６イエス）と；前記同
等な内容の画像が連続した場合の画像フレーム数が所定
数以上である場合に（ＳＴ２２イエス）、前記第２の処
理工程で静止画と判定された画像フレームを画像メモリ
に格納する第３の処理工程（ＳＴ２８）とを備えてい
る。

【００３４】この方法によれば、同等な内容の画像（隣
接フレーム間で殆ど内容が変化しない画像）が所定数以
上連続した場合の画像フレームだけが、画像メモリに格
納される。

【００３５】通常のビデオプログラムでは、同等な内容
の画像が所定数以上連続する発生頻度は動画の発生頻度
よりもずっと低いので、上述したような構成をとれば、
ビデオ映像中にまばらに散って含まれる静止画フレーム
の画像を、比較的長期間に渡り映像バッファにストック
しておくことができるようになる。

【００３６】ここで、時間軸に沿って並んだ複数フレー
ムを含む映像情報の各フレーム内に存在する画素から任
意に選択された画素番号をｉとし、ｍ番目のフレームに
含まれるｉ個目の画素の輝度レベルを示すパラメータを
Ｐｍｉとし、ｍ＋１番目のフレームに含まれるｉ個目の
画素の輝度レベルを示すパラメータをＰ（ｍ＋１）ｉと
したときに、前記Ｐｍｉと前記Ｐ（ｍ＋１）ｉとの差分
の大きさをｉの最小値（ｉ＝０）からｉの最大値（ｉ＝
ｉｍａｘ）まで累算した値（Ｓｍ＝Σ｜Ｐｍｉ−Ｐ（ｍ
＋１）ｉ｜）が、所定のしきい値（Ｓ_ＴＨ）よりも小さ
いときに、前記ｍ番目またはｍ＋１番目のフレームが静
止画であると判定する処理を、前記第２の処理工程（Ｓ
Ｔ１４、ＳＴ１６イエス）において実行できる。

【００３７】また、上記目的を達成するために、この発
明に係る静止画識別方法では、時間軸に沿って並んだ複
数フレームあるいは複数フィールドを含む映像情報から
静止画フレームあるいは静止画フィールドを識別してい
る。この方法において、各フレーム内あるいは各フィー
ルド内に存在する画素から任意に選択された画素番号を
ｉとし、ｍ番目のフレームあるいはフィールドに含まれ
るｉ個目の画素の輝度レベルを示すパラメータをＰｍｉ
とし、ｍ＋１番目のフレームあるいはフィールドに含ま
れるｉ個目の画素の輝度レベルを示すパラメータをＰ
（ｍ＋１）ｉとしたときに、前記Ｐｍｉと前記Ｐ（ｍ＋
１）ｉとの差分の大きさをｉの最小値（ｉ＝０）からｉ
の最大値（ｉ＝ｉｍａｘ）まで累算した値（Ｓｍ＝Σ｜
Ｐｍｉ−Ｐ（ｍ＋１）ｉ｜）が所定のしきい値
（Ｓ_ＴＨ）よりも小さいときに、前記ｍ番目またはｍ＋
１番目のフレームあるいはフィールドが静止画であると
判定するようにしている。

【００３８】このような方法によれば、実用上の見地か
らは無視できる程度の若干の不正確さを認めた上で、ｍ
番目のフレーム（あるいはフィールド）とｍ＋１番目の
フレーム（あるいはフィールド）との一致度をチェック
できる。（ｍ番目のフレームあるいはフィールドとｍ＋
１番目のフレームあるいはフィールドとが１００％一致
するかどうかは見ない。たとえば、実用上は、フレーム
ｍの画面中央でレシピカードを持つ料理番組出演者の目
がフレームｍ＋１で少し動いた程度ならフレーム間に一
致があると判定することができる）。

【００３９】このように実用上の見地から若干の不正確
さを認めたことから、隣接フレーム（あるいはフィール
ド）からサンプルした所定ポイント（Ｐｍｉ、Ｐ（ｍ＋
１）ｉ）に関する累算値（Ｓｍ＝Σ｜Ｐｍｉ−Ｐ（ｍ＋
１）ｉ｜）と所定のしきい値（Ｓ_ＴＨ）との大小比較と
いうシンプルな処理だけで、元々の映像情報がインター
レースビデオ映像であってもプログレッシブビデオ映像
であっても、そのフレーム（あるいはフィールド）が同
等な内容（隣接フレーム間で殆ど内容が変化しない）の
静止画であると判定できる。

【００４０】さらに、この発明に係る静止画識別方法で
は、前記各フレーム内あるいは各フィールド内に存在す
る画素から任意に選択された画素番号がｉであり、その
次に選択される画素番号がｉ＋１であるときに、画素番
号ｉの前記輝度レベルパラメータＰｍｉと画素番号ｉ＋
１の輝度レベルパラメータＰｍ（ｉ＋１）との間に、前
記フレームあるいはフィールドを構成する画素数（図３
のｎ）が１以上存在するように設定できる。

【００４１】このようにすれば、隣接フレーム（あるい
はフィールド）からサンプルした所定ポイント（Ｐｍ
ｉ、Ｐ（ｍ＋１）ｉ）に関する累算値（Ｓｍ＝Σ｜Ｐｍ
ｉ−Ｐ（ｍ＋１）ｉ｜）の計算量が、上記画素数（ｎ→
Ｓｍ計算時のサンプル間引き数）が大きいほど、フレー
ム（あるいはフィールド）内画素全てについて計算する
場合と比べて少なくなる。そうすると、この累算値（Ｓ
ｍ）を計算するマイクロコンピュータに対する負担が軽
くなり、静止画識別の処理速度を早めることができる。

【００４２】上記累算値（Ｓｍ）を計算するマイクロコ
ンピュータの負担増を軽減する具体的な方法として、前
記各フレーム内あるいは各フィールド内に存在する画素
の合計数が多いほど（つまり高解像度画像であるほど）
前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との間に存在する画素
数（ｎ；サンプル間引き数）を多くする方法がある。

【００４３】さらに、この発明に係る静止画識別方法で
は、前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との間に存在する
画素数（ｎ）が前記各フレーム内あるいは各フィールド
内の中央部分で相対的に小さく（中央部分でＰｍｉのサ
ンプルが密）、前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との間
に存在する画素数（ｎ）が前記各フレーム内あるいは各
フィールド内の周辺部分で相対的に大きく（周辺部分で
Ｐｍｉのサンプルが粗）なるように設定することもでき
る。

【００４４】このようにすれば、重要な情報が集中する
画面中央部分での隣接フレーム間（隣接フィールド間）
の一致度を相対的に高い精度でチェックできるようにな
る。たとえば、フレームｍの画面中央に大写しされた地
図は隣接フレーム間で変化しないが、この地図の枠外
（画面の隅）に僅かに写っている番組スタッフの手が動
いた程度なら、フレーム間に一致があると判定すること
ができる。

【００４５】

【発明の実施の形態】以下、図面を参照して、この発明
の一実施の形態に係る静止画取込システム、静止画保存
方法および静止画識別方法を説明する。

【００４６】図１は、この発明の一実施の形態に係る画
像取込システムの構成を説明するブロック図である。こ
こでは、テレビチューナ（セットトップボックス）ある
いはＤＶＤプレーヤなどの映像ソース１０からの映像信
号は、デジタル映像信号であるとする。また、表示系３
０は、デジタル映像入力を受け付けることができるデジ
タルＴＶ（あるいはデジタルビデオ入力対応のＡＶカー
ドが装着されたパーソナルコンピュータ）を想定してい
る。

【００４７】映像ソース１０からのデジタル映像信号
は、グラフィックチップ１００に入力される。グラフィ
ックチップ１００は、静止画検出や画面合成など、映像
の加工、圧縮／伸張処理を行う回路ブロックである。こ
のグラフィックチップ１００は、隣接フレーム間（ある
いは隣接フィールド間）それぞれから抽出された所定数
のサンプル画素の内容変化（たとえば輝度レベル変化）
に基づいて、入力された映像信号中の静止画を検出する
ように構成されている（この静止画検出方法の詳細につ
いては後述する）。また、グラフィックチップ１００内
においては、静止画が検出されると、その圧縮（ＪＰＥ
Ｇ圧縮など）も行なえるようになっている。

【００４８】マイクロコンピュータ（ＭＰＵ）４０は、
図１に示された全ての回路構成ブロックを制御できるよ
う構成されている。このＭＰＵ４０上で走るプログラム
（ファームウエア）は、ＲＯＭ（不揮発性メモリ）４２
に格納されている。ＲＡＭ（揮発性メモリ）４４は、こ
のプログラムを実行する際のワークエリアおよび圧縮映
像の一時保管場所として利用できる。

【００４９】ＭＰＵ４０は、ＲＯＭ４２に書き込まれた
プログラムを実行することにより、グラフィックチップ
１００により検出され圧縮された静止画のデータを、フ
レームメモリ（映像バッファとしての機能を持つ）２０
に書き込む。このフレームメモリ２０は、グラフィック
チップ１００を動作させるためのワークメモリとしての
機能も持っている。

【００５０】映像ソース１０からのデジタル映像信号
は、静止画成分も動画成分も、表示系３０に転送され
る。表示系３０は、その内部にビデオＤＡＣ（図示せ
ず）を持ち、転送されてきたデジタル映像信号をアナロ
グＲＧＢ信号などに変換して、ＣＲＴ画面上あるいは液
晶画面上に表示する。

【００５１】表示系３０は、映像ソース１０から今現在
入力されている映像をリアルタイム表示するだけでな
く、フレームメモリ２０から読み出された静止画も、実
寸であるいは縮小して、表示できるようになっている。

【００５２】表示系３０に表示された静止画のうち、特
定のものが、操作部（リモートコントローラ、マウス、
トラックボール、タッチパネル、キーボード、マイクか
ら入力されたユーザ指示を音声認識して対応コードに変
換する装置など）４６からのユーザ操作により適宜選択
される。選択された特定静止画のデータ（たとえばＪＰ
ＥＧ圧縮された静止画データ）は、ユーザ操作に基づい
て、所定のインターフェイス４８を介して、記憶媒体
（メモリカード、フロッピーディスクなど）５０に保存
することができる。これらのユーザ操作を司るプログラ
ムも、ＲＯＭ４２に書き込まれている。

【００５３】図１の回路ブロック２０〜４８、１００を
含む装置と表示系３０とが個別に製造され販売される実
施形態をとるときは、図示しないＩＥＥＥ１３９４イン
ターフェイスを介して、グラフィックチップ１００と表
示系３０とをＩＥＥＥ１３９４シリアルバス（図示せ
ず）で結ぶことができる。

【００５４】図１のブロック２０〜４８、１００を含む
装置と表示系３０とが一体化されて製品化されるとき
は、グラフィックチップ１００と表示系３０とは、内部
配線で接続される。

【００５５】なお、回路ブロック２０〜４８、１００は
パーソナルコンピュータを利用して構成することもでき
る。この場合パーソナルコンピュータのＭＰＵの処理能
力が高いときは、グラフィックチップ１００の処理もこ
のＭＰＵで実行できる。

【００５６】図１の構成の要点をまとめると、同等な内
容の画像（隣接フレーム間で殆ど内容が変化しない画
像）が連続した場合にその画像を静止画と判定して静止
画を検出する静止画検出部（グラフィックチップ１０
０）と；前記静止画検出部（１００）により検出された
静止画を格納する画像メモリ（フレームメモリ２０）
と；前記画像メモリ（２０）に格納された静止画を、こ
の格納がなされたあとに記憶媒体（メモリカード５０）
に保存する構成（カードＩ／Ｆ４８）となる。

【００５７】上記「同等な内容の画像（隣接フレーム間
で殆ど内容が変化しない画像）が連続した場合に検出さ
れた静止画」は、動画が主体のビデオプログラム中では
相対的に発生頻度が少ない（ビデオ映像中にまばらに散
って含まれる）ので、このような発生頻度の少ない静止
画を格納する画像メモリ（フレームメモリ２０）の記憶
容量は、比較的小さなもので済む。また、静止画記録に
要するメモリ容量は動画記録に比べてずっと少ない。こ
のため、上記構成では比較的小容量の画像メモリで長期
間に渡り静止画のストックを続けることができる。この
ように長期間に渡る静止画ストックが可能なため、スト
ックされた静止画を他の記憶媒体（メモリカード５０）
に保存する際にも、ユーザはあわてずゆっくり所望の静
止画を保存できる。

【００５８】図２は、図１のグラフィックチップ１００
の内部構成を機能別に分けて例示する機能ブロック図で
ある。このブロック図は、システムの動作手順も示して
いる。

【００５９】映像ソース１０からのデジタル映像信号
は、静止画検出手段１０１および画像圧縮手段（１）１
０２に入力される。このデジタル映像信号は、オンエア
のＴＶ放送やビデオの再生画像、ＤＶＤプレーヤの再生
画像など、テレビ受信機（映像モニタ機器）で表示でき
るあらゆる映像のソースを指す。

【００６０】静止画検出手段１０１は、後述する静止画
検出方法により、静止画と動画とを識別して、静止画を
検出する。その検出結果により、画像圧縮手段１０２で
映像ソース１０からのデジタル映像信号に含まれる静止
画が圧縮され、バッファメモリ１０３に圧縮された静止
画データが格納される（格納するかどうかは静止画検出
手段１０１により決定される）。画像圧縮手段１０２は
静止画像をデータ圧縮するもので、ＪＰＥＧ等を用いて
実現できる。

【００６１】すなわち、静止画検出手段１０１が映像ソ
ース１０からのデジタル映像信号中から静止画を検出す
ると、画像圧縮手段（たとえばＪＰＥＧエンコーダ）１
０２は、検出された静止画を圧縮（ＪＰＥＧ圧縮）し
て、バッファメモリ１０３に格納（ストック）する。こ
の圧縮から格納までの動作タイミングは、静止画検出手
段１０１により制御される。

【００６２】上記構成では、映像ソース１０からのデジ
タル映像信号（たとえば放送中の番組画像）について常
に静止画／動画検出が行なわれ、静止画と判断されたも
のについてだけ、順にバッファメモリ（システム内部の
映像バッファ）１０３に格納される。この格納過程にお
いてバッファメモリ１０３を使いきってしまった場合
は、その後の新たな静止画データは、このバッファメモ
リ１０３内に既にストックされた静止画データの格納エ
リアに対して、古い静止画データの格納順に上書きしな
がら格納されて行く。

【００６３】上記構成では、映像ソース１０からのデジ
タル映像信号（動画を含むビデオ映像）において、時間
経過に伴う内容変化が実質的に認められない静止画フレ
ーム（たとえばクイズ番組の視聴者応募の宛先テロップ
や料理番組のレシピのテロップを含む静止画フレーム）
が所定数以上続いた場合のみ、その静止画フレームをバ
ッファメモリ１０３（映像バッファ）に自動的に取り込
むようにしている。

【００６４】バッファメモリ１０３にストックされた圧
縮静止画データは、図１の操作部４６からのユーザ指示
に基づいて、あるいはＭＰＵ４０上を走るプログラムか
らの指示に基づいて、画像伸張手段（ＪＰＥＧデコー
ダ）１０４に供給される。画像伸張手段１０４は、供給
された圧縮静止画データを伸張（ＪＰＥＧデコード）
し、１または複数のデジタル静止画データを出力する。

【００６５】画像伸張手段１０４から出力された１また
は複数のデジタル静止画データは、画像圧縮手段（２）
１０５において、適宜圧縮される。この画像圧縮手段１
０５における圧縮は、画像圧縮手段（ＪＰＥＧエンコー
ダ）１０２のようにデータのコードサイズを小さくする
ような圧縮ではなく、表示画面サイズを小さくするよう
な圧縮（縮小）である。

【００６６】たとえば、画像圧縮手段１０５で圧縮（縮
小）される前の映像（映像ソース１０からのデジタル映
像信号に相当）の表示サイズを７２０×４８０画素とす
れば、画像圧縮手段１０５で圧縮（縮小）された後の映
像の表示サイズは、たとえば３６０×４８０画素あるい
はそれ以下のサイズ（ピクチャ・イン・ピクチャサイ
ズ、サムネールサイズなど）とされる。

【００６７】このような画像圧縮手段１０５による表示
サイズの圧縮（縮小）により、後述する図９の２画面表
示、図８のピクチャ・イン・ピクチャ表示、あるいは図
７のサムネール表示が可能となる。

【００６８】画像伸張手段１０４から出力される１また
は複数のデジタル静止画データ、あるいは画像圧縮手段
１０５から出力される表示サイズが圧縮（縮小）された
静止画データは、合成手段１０６に入力される。この合
成手段１０６には映像ソース１０からのデジタル映像信
号（リアルタイムの動画／静止画を含む）も入力されて
いる。合成手段１０６に入力された静止画データは、さ
まざまな加工処理（ピクチャ・イン・ピクチャ表示や２
画面表示など）を経て画面表示されるようになってい
る。

【００６９】合成手段１０６は、ユーザ指示（ＭＰＵ４
０からの指示）に基づいて、映像ソース１０からのデジ
タル映像信号データと、画像伸張手段１０４からのデジ
タル静止画データあるいは画像圧縮手段１０５からの圧
縮（縮小）静止画データとを、所定の位置関係で合成す
ることができる。画像圧縮手段１０５からの圧縮（縮
小）静止画データが映像ソース１０からのデジタル映像
信号データの表示エリア中のどの位置に合成されるか
は、図１のＭＰＵ４０上で走るプログラムにより自動的
に設定できる。

【００７０】こうして、映像ソース１０からのデジタル
映像信号にバッファメモリ１０３からの静止画が適宜ス
ーパーインポーズされたデジタル映像信号が、表示系
（デジタルＴＶなど）３０のデジタル映像入力端子に供
給される。

【００７１】表示系３０の表示画面（後述する図７〜図
９参照）には、バッファメモリ１０３にストックされた
静止画が表示される。ユーザは、表示された静止画のう
ち、保存を希望するものが見つかれば、図１の操作部４
６を介して、所望の静止画の保存をＭＰＵ４０に指示で
きる。この保存指示がなされると、ＭＰＵ４０は、指示
された静止画データ（ＪＰＥＧ圧縮されている）をバッ
ファメモリ１０３からカードＩ／Ｆ４８に転送する。こ
のＩ／Ｆ４８に必要な空き容量のあるメモリカード（フ
ラッシュメモリ）５０が装填されておれば、Ｉ／Ｆ４８
に転送された静止画データ（ＪＰＥＧ圧縮されている）
がメモリカード５０に書き込まれ保存される。

【００７２】バッファメモリ１０３にストックされた静
止画データはいずれは上書き消去されてしまうが、メモ
リカード５０に保存された静止画データはずっと保存し
ておくことができる。

【００７３】メモリカード５０に保存された静止画デー
タの内容を見たいとユーザが欲したときは、ユーザはそ
のカード５０をＩ／Ｆ４８に装填し、図１の操作部４６
でＭＰＵ４０にカード読み出しの指示を与える。する
と、カード５０内に保存された静止画データが、フル画
面サイズで、またはサムネール形式（図７）で、あるい
は子画面／２画面順次切り替え形式で（図８、図９）、
表示部３０に表示される。

【００７４】サムネール形式で表示されるときは、ユー
ザが所望のサムネールを選択すると、選択されたサムネ
ールに相当する静止画が、フル画面サイズで表示され
る。子画面／２画面順次切り替え形式で表示されるとき
は、ユーザが所望の静止画を表示させたあと、操作部
（リモートコントローラ）４６のエンターキーを押す
と、その静止画がフル画面サイズで表示される。

【００７５】なお画像圧縮手段１０２および画像伸張手
段１０４には、ＪＰＥＧエンコード／ＪＰＥＧデコード
の代わりに、ＭＰＥＧのＩピクチャを用いたＭＰＥＧエ
ンコード／ＭＰＥＧデコードを利用することもできる。

【００７６】また、実際にシステムを組む場合は、上記
静止画検出による自動静止画取込処理とはまた別に、ユ
ーザから要求指示があったその瞬間に映像ソース１０の
動画表示中のある一瞬をバッファメモリ１０３取り込む
手段をさらに設けてもよい。

【００７７】図３は、ある画像フレームにおいてサンプ
ルされたピクセル（画素）を例示する図である。この図
を適宜参照しながら、図１のグラフィックチップ１００
あるいは図２の静止画検出手段１０１において用いられ
る静止画検出方法（静止画識別方法）を説明する。

【００７８】図３は、映像信号を構成するｍ番目のフレ
ーム（フレームｍ）を示している。ここでは、時間軸に
沿って並んだ複数フレーム（あるいは複数フィールド）
を含む映像情報から静止画フレーム（あるいは静止画フ
ィールド）を識別している。この方法において、各フレ
ーム内（あるいは各フィールド内）に存在する画素から
任意に選択された画素番号をｉとし、ｍ番目のフレーム
（あるいはフィールド）に含まれるｉ個目の画素の輝度
レベルを示すパラメータをＰｍｉとし、ｍ＋１番目のフ
レーム（あるいはフィールド）に含まれるｉ個目の画素
の輝度レベルを示すパラメータをＰ（ｍ＋１）ｉとす
る。すなわち、Ｐｍｉはフレームｍ中の任意のサンプル
ピクセルｉにおける輝度を指し、ｉは０からｉｍａｘま
で存在する。

【００７９】図３では、フレームｍにおいてｎドット間
隔でサンプルピクセルを設けている。このｎ（サンプリ
ングの間引き数）の値を大きくすればするほど下記式
（１）でＳｍを求める計算量は少なくなるが、静止画の
検出精度は甘くなる。逆に、ｎの値を小さくするとＳｍ
を求める計算量は多なり、静止画の検出精度は高くなる
（静止画検出がより厳格に行われるようになる）。

【００８０】静止画が理想的に続いた場合、フレームｍ
内の任意の位置（ｉ）における輝度レベルとフレームｍ
＋１内の同じ位置（ｉ）における輝度レベルとは１００
％一致するので、これら同位置（ｉ）における輝度レベ
ルの差分は０となる。このことから、各フレーム（ｍ、
ｍ＋１）内の画像が同一である度合い（＝フレーム間で
動きがない度合い、つまり静止画である可能性の高さ）
は次式によって評価できる：Ｓｍ＝Σ｜Ｐｍｉ−Ｐ（ｍ＋１）ｉ｜ …式（１）ここで、Σは、ｉの最小値（ｉ＝０）からｉの最大値
（ｉ＝ｉｍａｘ）まで、ＰｍｉとＰ（ｍ＋１）ｉとの差
分の大きさ（差分の絶対値）が合計される（累算され
る）ことを示す。

【００８１】上記式（１）で求めたＳｍの値と所定のし
きい値Ｓ_ＴＨとを比較し、ＳｍがＳ _ＴＨより小さい（Ｓ
ｍ≦Ｓ_ＴＨまたはＳｍ＜Ｓ_ＴＨ）とき、フレームｍの画
像内容とフレームｍ＋１の画像内容との違いが少ない、
つまりフレームｍとフレームｍ＋１は実質的に内容変化
のない静止画であると、判定できる。

【００８２】上述したような方法によれば、実用上の見
地からは無視できる程度の若干の不正確さを認めた上
で、ｍ番目のフレーム（あるいはフィールド）とｍ＋１
番目のフレーム（あるいはフィールド）との一致度をチ
ェックできる。

【００８３】ここでは、ｍ番目のフレーム（あるいはフ
ィールド）とｍ＋１番目のフレーム（あるいはフィール
ド）とが１００％一致するかどうかは見ていない。実用
上は、たとえば、フレームｍの画面中央でレシピカード
を持つ料理番組出演者の顔がフレームｍ＋１で少し動い
た程度なら、フレーム間に一致があると判定することが
できる。

【００８４】映像ソース（放送局）のプログラム構成に
もよるが、通常は、ビデオ映像が完全な静止画（動きの
ない壁に掛けられた絵画をカメラ固定で撮影したビデオ
映像など）を含む可能性は、ほぼ静止画と見なせる静止
画（ニュース番組などでアナウンサが手で持った解説ボ
ードをカメラ撮影したビデオ映像など）を含む可能性よ
りも低い。このため、もし１００％一致を厳密に見て静
止画検出を行うと、ユーザが取り込みたいと思うような
静止画（アナウンサが手で持った解説ボードなど）を検
出し損ねる恐れもある。

【００８５】この発明では、実用上の見地から若干の不
正確さを認めたことから、このような「検出し損ねの恐
れ」も取り除けるようになる。

【００８６】また、以上のように実用上の見地から若干
の不正確さを認めたことから、隣接フレーム（あるいは
フィールド）からサンプルした所定ポイント（Ｐｍｉ、
Ｐ（ｍ＋１）ｉ）に関する累算値（Ｓｍ＝Σ｜Ｐｍｉ−
Ｐ（ｍ＋１）ｉ｜）と所定のしきい値（Ｓ_ＴＨ）との大
小比較というシンプルな処理だけで、元々の映像情報が
インターレースビデオ映像であってもプログレッシブビ
デオ映像であっても、そのフレーム（あるいはフィール
ド）が同等な内容（隣接フレーム間で殆ど内容が変化し
ない）の静止画であると判定できるようになる。

【００８７】さらに、この発明に係る静止画識別方法で
は、前記各フレーム内あるいは各フィールド内に存在す
る画素から任意に選択された画素番号がｉであり、その
次に選択される画素番号がｉ＋１であるときに、画素番
号ｉの前記輝度レベルパラメータＰｍｉと画素番号ｉ＋
１の輝度レベルパラメータＰｍ（ｉ＋１）との間に、前
記フレームあるいはフィールドを構成する画素数（図３
のｎ）が１以上の任意数存在するように設定できる。

【００８８】このようにすれば、隣接フレーム（あるい
はフィールド）からサンプルした所定ポイント（Ｐｍ
ｉ、Ｐ（ｍ＋１）ｉ）に関する累算値（式（１）のＳ
ｍ）の計算量が、フレーム（あるいはフィールド）内画
素全てについて計算する場合と比べて、上記画素数（ｎ
→Ｓｍ計算時のサンプル間引き数）が大きいほど少なく
なる。そうすると、この累算値（Ｓｍ）を計算するマイ
クロコンピュータ（図１ではグラフィックチップ１００
またはＭＰＵ４０）に対する負担が軽くなり、静止画識
別（静止画検出）の処理速度を早めることができる。

【００８９】上記累算値（Ｓｍ）を計算するマイクロコ
ンピュータの負担増を軽減する具体的な方法として、前
記各フレーム内あるいは各フィールド内に存在する画素
の合計数が多いほど（つまり高解像度画像であるほど）
前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との間に存在する画素
数（ｎ；サンプル間引き数）を多くする方法がある。

【００９０】さらに、この発明に係る静止画識別方法で
は、前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との間に存在する
画素数（ｎ）が前記各フレーム内あるいは各フィールド
内の中央部分で相対的に小さく（中央部分でＰｍｉのサ
ンプルが密）、前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との間
に存在する画素数（ｎ）が前記各フレーム内あるいは各
フィールド内の周辺部分で相対的に大きく（周辺部分で
Ｐｍｉのサンプルが粗）なるように設定することもでき
る。

【００９１】このようにすれば、重要な情報が集中する
画面中央部分での隣接フレーム間（隣接フィールド間）
の一致度を相対的に高い精度でチェックできるようにな
る。たとえば、フレームｍの画面中央に大写しされた動
きのない地図は隣接フレーム間で変化しないが、この地
図の枠外（画面の周辺あるいは隅）に僅かに写っている
番組スタッフが動いた程度なら、フレーム間に一致があ
ると判定することができる。

【００９２】図４は、映像ソースが静止画から動画に移
った場合のフレーム内容の変化を例示する図である。図
４に例示されたＳｍ〜Ｓｍ＋３の数値は、前述した式
（１）により算出される。これらの数値はあくまで例示
であり、その具体的数値（Ｓｍ＝５１、Ｓｍ＋１＝９１
など）でこの発明が限定されることはない。

【００９３】算出されたＳｍは、静止画の誤検出を避け
るために設定されたしきい値Ｓ_ＴＨと比較される。たと
えばＳ_ＴＨ＝１００と設定されているとすれば、フレー
ムｍ〜ｍ＋２まではＳｍ≦Ｓ_ＴＨ（またはＳｍ＜
Ｓ_ＴＨ）なので、フレームｍ〜ｍ＋２は静止画と判定さ
れる。一方、フレームｍ＋３からはＳｍ＞Ｓ_ＴＨ（Ｓｍ
＝２＝６２０＞Ｓ_ＴＨ＝１００）となるので、フレーム
ｍ＋３以降は動画と判定されることになる。

【００９４】図５は、映像ソースが動画から静止画に移
ったあとすぐに動画に戻った場合のフレーム内容の変化
を例示する図である。

【００９５】実際のビデオ映像に含まれる動画の中に
は、数フレーム（図５の例ではＳ≦Ｓ _ＴＨとなるフレー
ムｍ＋２からフレームｍ＋５までの４フレーム）のみ同
一画像となるケースが存在する（１フレームはＮＴＳＣ
ビデオでは１／３０秒）。この場合、数フレームの静止
画では、人間の目で見た場合は殆ど動画と区別がつかな
いが、機械的に見たときには静止画であると判定される
ことになる。そこで、静止画が繰り返えされる回数（静
止画が継続する時間）についても別のしきい値（ＦＴ
Ｈ）を設け、ある程度静止画が続いたときだけ静止画と
認識させる方が実用的であるし、ユーザにとっても親切
といえる。

【００９６】そこで、ここでは、前記しきい値Ｓ_ＴＨの
設定操作の他に静止画フレーム連続数（静止画継続時
間）を判定するしきい値ＦＴＨの設定操作をユーザに解
放し、静止画／動画検出の度合いをユーザの自由意志に
委ねることができるようにしている。

【００９７】たとえば、ユーザがＦＴＨ＝５とした場合
は、図５のフレームｍ＋２からフレームｍ＋５までの４
フレームは動画と見なされ、ユーザがＦＴＨ＝３あるい
は４とした場合は、フレームｍ＋２からフレームｍ＋５
までの４フレームは静止画として検出されることにな
る。

【００９８】ただし、上記しきい値ＦＴＨの値をあまり
大きく設定すると、静止画として検出できる映像が殆ど
無くなってしまう恐れがある。そこで、Ｓｍ≦Ｓ
_ＴＨ（またはＳｍ＜Ｓ_ＴＨ）が満たされる連続フレーム
数を定めるしきい値ＦＴＨは、この発明の実施製品それ
ぞれにおいて、実験などにより適当な数値に定められ
る。

【００９９】図６は、この発明の一実施の形態に係る画
像取込システムの動作を説明するフローチャートであ
る。このフローチャートの処理は、図１のＭＰＵ４０お
よびグラフィックチップ１００により、実行できる。

【０１００】まず、パラメータＦおよびＣが、それぞれ
ゼロにリセットされる（ステップＳＴ１０）。ここで、
パラメータＦはＳｍ≦Ｓ_ＴＨ（またはＳｍ＜Ｓ_ＴＨ）を
満たしたフレームの数、つまり静止画と判定されたフレ
ームが何フレーム続いたかを示す。Ｃは現在の画像がフ
レームメモリ２０（あるいはバッファメモリ１０３）に
格納されたがどうかを示すフラグである。

【０１０１】次に、静止画および動画の双方を含み得る
映像信号が、映像ソース１０からグラフィックチップ１
００に取り込まれる（ステップＳＴ１２）。

【０１０２】グラフィックチップ１００内の静止画検出
手段１０１は、前記式（１）に基づいて、取り込まれた
映像信号の隣接フレーム間の一致度を示すＳｍを算出す
る（ステップＳＴ１４）。

【０１０３】前記式（１）に基づいて算出されたＳｍ
は、所定のしきい値Ｓ_ＴＨと比較される（ステップＳＴ
１６）。Ｓｍ＞Ｓ_ＴＨなら（ステップＳＴ１６ノー）、
ステップＳＴ１４でＳｍの計算を行う対象となったフレ
ームは動画であると見なされ、前記パラメータＦおよび
Ｃがゼロにリセットされて（ステップＳＴ１８）、ステ
ップＳＴ１２に戻る。

【０１０４】一方、Ｓｍ≦Ｓ_ＴＨなら（ステップＳＴ１
６イエス）、ステップＳＴ１４でＳｍの計算を行う対象
となったフレームは静止画であると見なされ、パラメー
タＦが１つインクリメントされる（ステップＳＴ２
０）。最初はＦ＝０だったので、この時点ではＦ＝１と
なる。

【０１０５】続いて、パラメータＦが連続静止画フレー
ム数を判定するしきい値ＦＴＨ（たとえばＦＴＨ＝４）
と比較される（ステップＳＴ２２）。この時点ではＦ＝
１なので（ステップＳＴ２２ノー）ステップＳＴ１２に
戻り、次のフレームについて、再び静止画フレームの判
定が行われる（ステップＳＴ１４〜ＳＴ１６）。

【０１０６】このフレーム判定の処理ループが４回反復
され、Ｆ＝４になると（ステップＳＴ２２イエス）、格
納済みフラグＣがチェックされる（ステップＳＴ２
４）。その時点での静止画が既にフレームメモリ２０
（あるいはバッファメモリ１０３）に書き込まれている
ならば（ステップＳＴ２４ノー）、ステップＳＴ１２に
戻り、その後のフレームに対する静止画検出処理が行わ
れる。

【０１０７】その時点での静止画がフレームメモリ２０
（あるいはバッファメモリ１０３）に書き込まれていな
いならば（ステップＳＴ２４イエス）、その静止画は図
２の画像圧縮手段１０２によりＪＰＥＧ圧縮され（ステ
ップＳＴ２６）、圧縮された静止画データがフレームメ
モリ２０（あるいはバッファメモリ１０３）に格納され
る（ステップＳＴ２８）。

【０１０８】この格納が済むと、その時点での静止画デ
ータの格納が済んだことを示すフラグＣが“１”にセッ
トされ（ステップＳＴ３０）、ステップＳＴ１２に戻
る。

【０１０９】その後、動画が検出され（ステップＳＴ１
６ノー）パラメータＦおよびＣが０にリセットされると
（ステップＳＴ１８）、図６の処理の開始時点（ステッ
プＳＴ１０）と同じ状態に戻り、以下同様な静止画検出
〜静止画のメモリストックが反復される。

【０１１０】図７は、図１のフレームメモリに取り込ま
れた複数静止画を、サムネール化して同時表示する場合
の画面表示例を示す。

【０１１１】取り込み画像（フレームメモリ２０にスト
ックした画像）の表示要求あるいはその画像を記憶媒体
へ保存する要求がユーザからあった場合、いくつかの画
像選択手法を用いて、ユーザに表示／保存したい画像を
選択させることができる。図７に示した例は、図２の画
像圧縮手段（表示サイズを縮小する手段）１０５を使っ
てサムネール画像の一覧を表示した場合である。

【０１１２】すなわち、ユーザは、ストックされた静止
画を現在の画面に表示したいとき、あるいはそれを記憶
媒体に保存したいときに、システム（ＭＰＵ４０）にそ
の要求を出す。すると、バッファメモリ１０３にストッ
クされた画像データが縮小サイズ（サムネール）で表示
系３０に表示される。同時に、システム（ＭＰＵ４０）
により、ＲＯＭ４２などに事前に格納されている保存媒
体のアイコン（ここではメモリカードのアイコン）５０
Ａも、表示系３０に表示される。

【０１１３】ユーザは、表示系３０に表示されたサムネ
ールの中から（リモートコントローラ操作あるいはマウ
ス操作などで）自分の要求している画像を選択できる。
ユーザが、リモートコントローラ（図１の操作部４６）
などを用いて、特定のサムネール（たとえば図７の画像
５）をアクティブにしてからアイコン５０Ａを選択して
エンターキーを押すと、そのサムネールに対応する画像
５の静止画データ（ＪＰＥＧ圧縮されている）が、メモ
リカード５０Ａ（記憶媒体５０）に書き込まれる。ある
いは、ユーザが、マウス（図１の操作部４６）などを用
いて特定のサムネール（たとえば図７の画像９）のアイ
コンをアイコン５０Ａの上までドラッグして重ねると、
そのサムネールアイコンに対応する画像９の静止画デー
タ（ＪＰＥＧ圧縮されている）が、メモリカード５０Ａ
に書き込まれる。

【０１１４】このようにして、ユーザは、過去に表示さ
れた（時間的に既に流れ去ってしまっている）画像を再
び表示させ、必要に応じてその内容を記憶媒体（メモリ
カード、フロッピーディスクなど）５０に保存すること
ができる。

【０１１５】以上のように構成すれば、ユーザは画像メ
モリ（フレームメモリ２０および／またはバッファメモ
リ１０３）にストックされた過去の複数静止画を一度に
確認することができる。すると、ユーザは、表示系３０
上のグラフィカルユーザインターフェイス（ＧＵＩ）を
介して保存すべき静止画を素早く決定でき、決定された
静止画を簡単にメモリカード５０などに保存できる。

【０１１６】図８は、図１のフレームメモリに取り込ま
れた複数静止画を、ピクチャ・イン・ピクチャ（Ｐｉｎ
Ｐ）により表示する場合の画面表示例を示す。

【０１１７】表示系３０の画面上にスーパーインポーズ
されたピクチャ・イン・ピクチャの子画面３０Ａには、
図１のフレームメモリ２０（あるいは図２のバッファメ
モリ１０３）にストックされた静止画が順次表示される
ようになっている。

【０１１８】子画面３０Ａに表示された静止画の切り替
えは、たとえばリモートコントローラ（操作部４６）の
カーソルキーを用いて行うことができる。すなわち、左
矢印（←）のカーソルキーが１回押される毎に子画面表
示された静止画が１枚づつ新しいものに切り替えられ、
右矢印（→）のカーソルキーが１回押される毎に子画面
表示された静止画が１枚づつ古いものに切り替えられ
る。

【０１１９】図８の構成では、図１の映像ソース１０か
ら現在出力されているオンエア放送映像をリアルタイム
で視聴しつつ、ユーザは、子画面表示から保存すべき静
止画を捜すことができ、見つかった静止画を簡単にメモ
リカード５０などに保存できる。

【０１２０】図９は、図１のフレームメモリに取り込ま
れた複数静止画を、２画面表示により表示する場合の画
面表示例を示す。図９の例は、図８の子画面３０Ａを表
示系３０の全体画面の半分まで拡大した場合に相当す
る。

【０１２１】図９の構成では、オンエア放送映像の画面
サイズが図８より小さくなってしまうが、図１のフレー
ムメモリ２０（あるいは図２のバッファメモリ１０３）
にストックされた静止画の表示画面（３０Ｂ）を大きく
することができる。

【０１２２】図９の構成では、ユーザは、現在の映像信
号の内容（たとえば野球の実況中継）を視聴しつつ、比
較的大画面となる２画面表示の一方（３０Ｂ）を用い
て、保存すべき静止画を捜すことができ、見つかった静
止画を簡単にメモリカード５０どに保存できる。

【０１２３】なお、ユーザは、図７〜図９の画面表示方
法のいずれでも好きな方法を選択できる。

【０１２４】以上述べた種々な実施の形態によれば、一
旦過ぎ去れば取り戻すことができないオンエアの画像で
あっても、静止画に限り、所望の画像を記憶媒体に保存
することができる。また、高品位テレビジョン放送であ
っても、静止画像のみをストックするので、搭載するバ
ッファ容量は比較的少なくて済む。

【０１２５】また、静止画の検出条件を厳しくすれば
（つまり、前記式（１）で求めたＳｍに対する判定しき
い値Ｓ_ＴＨを小さめに選んで隣接フレーム間に僅かな違
いでもあれば静止画でないと判定するようにすれば）、
同容量のバッファでありながら長い間画像を保持できる
ため、静止画の保存をする際、過去にさかのぼって画像
の選択をするときに、時間的な余裕を大きく取れるよう
になる。

【０１２６】なお、この発明は上記各実施の形態に限定
されるものではなく、その実施の段階ではその要旨を逸
脱しない範囲で種々な変形・変更が可能である。また、
各実施の形態は可能な限り適宜組み合わせて実施されて
もよく、その場合組み合わせによる効果が得られる。

【０１２７】さらに、上記実施の形態には種々な段階の
発明が含まれており、この出願で開示される複数の構成
要件における適宜な組み合わせにより種々の発明が抽出
され得る。たとえば、実施の形態に示される全構成要件
から１または複数の構成要件が削除されても、この発明
の効果あるいはこの発明の実施に伴う効果のうち少なく
とも１つが得られるときは、この構成要件が削除された
構成が発明として抽出され得るものである。

【０１２８】

【発明の効果】以上述べたように、この発明の画像取込
システムでは、映像ソースから静止画部分を検出して取
り出し、取り出した静止画のみを（適宜ＪＰＥＧなどで
圧縮して）画像メモリに記憶している。静止画は動画の
ようにメモリを大喰いしないので、動画ストックとの比
較において、過去の画像を相対的に多くストックできる
ようになる。また、通常のビデオプログラムにおける静
止画部分の発生頻度は動画部分よりずっと少ないので、
比較的長期間に渡って取り込んだ静止画を画像メモリに
（上書き消去されずに）ストックしておくことができ
る。

【０１２９】すなわち、この発明が適用された製品（テ
レビジョン受信機、セットトップボックスなど）のコス
トアップ要因の一つである画像メモリ（映像バッファ）
の肥大化を抑えつつ、比較的長期間に渡り多くの静止画
をストックしておくことができるようになる。

【０１３０】このため、ユーザは、画像メモリにストッ
クされた静止画の内容をあわてずゆっくり確認すること
ができ、確認された静止画のうち所望のものをメモリカ
ードなどの記憶媒体に保存することができる。

【図面の簡単な説明】

【図１】この発明の一実施の形態に係る画像取込システ
ムの構成を説明するブロック図。

【図２】図１のグラフィックチップの内部構成を機能別
に分けて例示する機能ブロック図。

【図３】ある画像フレームにおいてサンプルされたピク
セルを例示する図。

【図４】映像ソースが静止画から動画に移った場合のフ
レーム内容の変化を例示する図。

【図５】映像ソースが動画から静止画に移ったあとすぐ
に動画に戻った場合のフレーム内容の変化を例示する
図。

【図６】この発明の一実施の形態に係る画像取込システ
ムの動作を説明するフローチャート図。

【図７】図１のフレームメモリに取り込まれた複数静止
画を、サムネール化して同時表示する場合の画面表示例
を示す図。

【図８】図１のフレームメモリに取り込まれた複数静止
画を、ピクチャインピクチャにより表示する場合の画面
表示例を示す図。

【図９】図１のフレームメモリに取り込まれた複数静止
画を、２画面表示により表示する場合の画面表示例を示
す図。

【符号の説明】

１０…映像ソース（チューナ、外部入力など）；２０…
フレームメモリ；３０…表示系（ＣＲＴモニタ、液晶モ
ニタなど）；３０Ａ…ピクチャ・イン・ピクチャ（Ｐｉ
ｎＰ）の子画面；３０Ｂ…２画面表示の一方画面；４０
…マイクロコンピュータ（ＭＰＵ）；４２…ＲＯＭ（フ
ァームウエアなどを格納）；４４…ＲＡＭ（ワークエリ
ア）；４６…ユーザ操作部（リモートコントローラある
いはマウスなどを利用したグラフィカルユーザインター
フェイス）；４８…カードインターフェイス；５０…記
憶媒体（メモリカードなど）；５０Ａ…記憶媒体（メモ
リカードなど）のアイコン；１００…グラフィックチッ
プ（静止画検出など）；１０１…静止画検出手段；１０
２…画像圧縮手段１；１０３…バッファメモリ；１０４
…画像伸張手段；１０５…画像圧縮手段２；１０６…画
像合成手段。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｊ 5/92 5/92 ＨＦターム(参考） 5B050 AA08 BA10 CA07 EA10 EA18 EA19 FA12 FA19 5C023 AA02 AA14 AA31 AA34 BA01 BA12 CA03 DA04 EA03 5C025 AA30 BA27 BA28 CA06 CA11 DA10 5C052 AA17 AC02 CC11 DD04 EE08 GA01 GA03 GA04 GA07 GB04 GB06 GC03 GC05 GC10 GD05 GE04 GE06 GE08 5C053 FA06 FA07 FA23 FA27 GA11 GB08 GB36 HA22 KA03 KA20 KA22 KA24 LA01 LA06 LA07 LA15

Claims

【特許請求の範囲】

【請求項１】同等な内容の画像が連続した場合にその画
像を静止画と判定して静止画を検出する静止画検出部
と；前記静止画検出部により検出された静止画を格納す
る画像メモリと；前記画像メモリに格納された静止画
を、この格納がなされたあとに記憶媒体に保存できるよ
うに構成したことを特徴とする静止画取込システム。
【請求項２】前記静止画検出部および前記画像メモリ
が、静止画および動画の双方を含み得る映像ソースからの映
像信号より静止画を検出する静止画検出手段と；前記静
止画検出手段により検出された静止画を圧縮する画像圧
縮手段と；前記画像圧縮手段により圧縮された静止画を
記憶するバッファメモリと；前記バッファメモリに記憶
された圧縮静止画を伸張する画像伸張手段とを含んで構
成されたことを特徴とする請求項１に記載のシステム。
【請求項３】前記静止画検出部が、前記画像伸張手段
により伸張された静止画の表示サイズを縮小する第２の
画像圧縮手段をさらに含んで構成されたことを特徴とす
る請求項２に記載のシステム。
【請求項４】前記静止画検出部が、前記画像伸張手段
により伸張された静止画あるいは前記第２の画像圧縮手
段により縮小された静止画と、前記映像ソースからの映
像信号とを合成して、合成された映像信号を提供する合
成手段をさらに含んで構成されたことを特徴とする請求
項２または請求項３に記載のシステム。
【請求項５】映像信号を表示する表示手段をさらに備
え、この表示手段に前記画像メモリに格納された１以上
の静止画を縮小してサムネール画像表示するように構成
されたシステムにおいて、前記サムネール画像表示から特定のサムネール画像を選
択する操作部と；前記操作部により選択されたサムネー
ル画像に相当する静止画を前記記憶媒体に保存する手段
とをさらに備えたことを特徴とする請求項１ないし請求
項４のいずれか１項に記載のシステム。
【請求項６】前記合成手段により合成された映像信号
を表示する表示手段をさらに備え、この表示手段に前記
縮小された静止画を子画面として表示し、この子画面に
前記画像メモリに格納された１以上の静止画を順次切り
替えながら表示できるように構成したことを特徴とする
請求項４に記載のシステム。
【請求項７】前記子画面の現在表示に相当する静止画
を前記記憶媒体に保存する手段をさらに備えたことを特
徴とする請求項６に記載のシステム。
【請求項８】前記合成手段により合成された映像信号
を表示する表示手段をさらに備え、この表示手段に、前
記映像ソースからの映像信号と前記縮小された静止画と
を２画面表示し、この２画面表示の一方に前記画像メモ
リに格納された１以上の静止画を順次切り替えながら表
示できるように構成したことを特徴とする請求項４に記
載のシステム。
【請求項９】前記２画面表示の一方の現在表示に相当
する静止画を前記記憶媒体に保存する手段をさらに備え
たことを特徴とする請求項８に記載のシステム。
【請求項１０】静止画および動画の双方を含み得る映像
信号を取り込む第１の処理工程と；前記取り込まれた映
像信号中で、同等な内容の画像が連続した場合に、その
画像を静止画と判定する第２の処理工程と；前記同等な
内容の画像が連続した場合の画像フレーム数が所定数以
上である場合に、前記第２の処理工程で静止画と判定さ
れた画像フレームを画像メモリに格納する第３の処理工
程とを備えたことを特徴とする静止画保存方法。
【請求項１１】時間軸に沿って並んだ複数フレームを
含む映像情報の各フレーム内に存在する画素から任意に
選択された画素番号をｉとし、ｍ番目のフレームに含ま
れるｉ個目の画素の輝度レベルを示すパラメータをＰｍ
ｉとし、ｍ＋１番目のフレームに含まれるｉ個目の画素
の輝度レベルを示すパラメータをＰ（ｍ＋１）ｉとした
ときに、前記Ｐｍｉと前記Ｐ（ｍ＋１）ｉとの差分の大
きさをｉの最小値からｉの最大値まで累算した値が、所
定のしきい値よりも小さいときに、前記ｍ番目またはｍ
＋１番目のフレームが静止画であると判定する処理が、
前記第２の処理工程において実行されるように構成した
ことを特徴とする請求項１０に記載の方法。
【請求項１２】時間軸に沿って並んだ複数フレームある
いは複数フィールドを含む映像情報から静止画フレーム
あるいは静止画フィールドを識別する方法であって、各
フレーム内あるいは各フィールド内に存在する画素から
任意に選択された画素番号をｉとし、ｍ番目のフレーム
あるいはフィールドに含まれるｉ個目の画素の輝度レベ
ルを示すパラメータをＰｍｉとし、ｍ＋１番目のフレー
ムあるいはフィールドに含まれるｉ個目の画素の輝度レ
ベルを示すパラメータをＰ（ｍ＋１）ｉとしたときに、前記Ｐｍｉと前記Ｐ（ｍ＋１）ｉとの差分の大きさをｉ
の最小値からｉの最大値まで累算した値が所定のしきい
値よりも小さいときに、前記ｍ番目またはｍ＋１番目の
フレームあるいはフィールドが静止画であると判定する
ことを特徴とする静止画識別方法。
【請求項１３】前記各フレーム内あるいは各フィール
ド内に存在する画素から任意に選択された画素番号がｉ
であり、その次に選択される画素番号がｉ＋１であると
きに、画素番号ｉの前記輝度レベルパラメータＰｍｉと
画素番号ｉ＋１の輝度レベルパラメータＰｍ（ｉ＋１）
との間に、前記フレームあるいはフィールドを構成する
画素数が１以上存在するように設定されることを特徴と
する請求項１２に記載の方法。
【請求項１４】前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との
間に存在する画素数が、前記各フレーム内あるいは各フ
ィールド内に存在する画素の合計数が多いほど多くなる
ように設定されることを特徴とする請求項１２または請
求項１３に記載の方法。
【請求項１５】前記Ｐｍｉと前記Ｐｍ（ｉ＋１）との
間に存在する画素数が前記各フレーム内あるいは各フィ
ールド内の中央部分で相対的に小さく、前記Ｐｍｉと前
記Ｐｍ（ｉ＋１）との間に存在する画素数が前記各フレ
ーム内あるいは各フィールド内の周辺部分で相対的に大
きくなるように設定されることを特徴とする請求項１２
ないし請求項１４のいずれか１項に記載の方法。