JP2003143533A

JP2003143533A - 情報信号処理装置、および情報信号処理方法、並びにコンピュータ・プログラム

Info

Publication number: JP2003143533A
Application number: JP2001333816A
Authority: JP
Inventors: Akira Ogino; 晃荻野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-10-31
Filing date: 2001-10-31
Publication date: 2003-05-16

Abstract

(57)【要約】【課題】ノイズ、電子透かし等の付加された情報から
信号劣化を抑えて、ノイズ、電子透かし等を除去し元信
号を出力する情報信号処理装置を提供する。【解決手段】ノイズ、電子透かし情報付加等の信号処
理データを複数、入力情報とし、多数決方式による出力
値算出、平均値算出、最大値算出、中間値算出、最小値
算出、あるいはランダム抽出処理、これらいずれかの方
式により出力値を算出決定して出力する。本構成によ
り、ランダムノイズ、バーストノイズが入っているよう
な情報信号、ユーザー固有の付加情報などが入り混じっ
て画質、音質を損なっている情報について、従来のノイ
ズリダクションや、ドロップアウト補正等の特定の情報
信号に対する信号処理を行なうことなく補正した信号を
出力することが可能となり、画質、音質の劣化や、情報
の変形を伴わずに、画質、音質の向上を図ることが可能
となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画、静止画等の
画像データ、あるいは音楽、音声、その他の各種データ
に存在するノイズ信号、あるいは電子透かし等、意図的
に付加された情報信号を効率的に取り除き、元の画像信
号、音声信号等、元データの再現処理を行なう情報信号
処理装置、および情報信号処理方法、並びにコンピュー
タ・プログラムに関する。

【０００２】

【従来の技術】デジタル技術の進歩に伴い、記録、再生
処理の繰り返し実行による画質劣化、音質劣化等の発生
しないデジタル記録再生装置が普及し、また一方では、
様々な画像、音楽等のデジタテルコンテンツがデジタル
ＶＴＲ、ＤＶＤ，ＣＤなどの媒体またはネットワーク等
を通じて配信、流通可能な状態となってきている。

【０００３】このようなコンテンツに対して、コンテン
ツの著作権情報、コンテンツ加工情報、コンテンツ構成
情報、コンテンツ処理情報、コンテンツ編集情報、コン
テンツ再生処理方式、あるいはコンテンツ複製制御情報
等、様々な情報をコンテンツに対応する付加情報として
電子透かし（ＷＭ：ウォーターマーク）を利用して埋め
込む方法が実現されている。電子透かしは、通常のコン
テンツ（画像データまたは音声データ）の再生状態では
視覚あるいは知覚困難であり、電子透かしの検出、埋め
込みは特定のアルゴリズムの実行、または特定のデバイ
スによる処理によってのみ可能となる。受信器、記録再
生装置等におけるコンテンツ処理時に電子透かしを検出
して、電子透かしに従った制御を行なうことにより、よ
り信頼度の高い制御が可能となる。

【０００４】データに対する電子透かしの埋め込みおよ
び検出態様としては様々な手法が提案されている。１つ
の代表的な電子透かし埋め込み検出態様には、元信号と
してのデータ、例えば画像のもつ統計的性質に基づいた
手法がある。デジタルビデオ信号等の画像信号の持つ統
計的な性質に基づいて、ＰＮ系列の乱数データを基本パ
ターンとして電子透かしを埋め込む方法について説明す
る。簡単のため輝度信号のフレームデータを水平サイズ
８画素、垂直サイズ６画素とする。

【０００５】まずＰＮ系列の乱数データＰＮを、下記式
のように設定する。

【０００６】

【数１】

【０００７】この乱数データＰＮは統計的に総和が０に
なるように生成される。次に埋め込み情報ＤＣを、上記
式のような性質を持つ乱数データＰＮによりスペクトラ
ム拡散する。すなわち埋め込み情報ＤＣの極性が“１”
の場合には、乱数データＰＮのパターンをそのまま使用
することにより、電子透かしパターンＷＭは、下記式の
ようになる。

【０００８】

【数２】

【０００９】また埋め込み情報ＤＣの極性が“０”の場
合には、乱数データＰＮのパターンを反転したものを使
用することにより、電子透かしパターンＷＭは、下記式
のようになる。

【００１０】

【数３】

【００１１】なお埋め込み情報ＤＣが複数の情報ビット
から構成される場合には、例えば輝度信号のフレームデ
ータを適当な小領域に分割し、各情報ビットをそれぞれ
の小領域に対応させればよい。また、例えば互いに直行
するような複数の異なる電子透かしパターンを使用し、
各情報ビットをそれぞれの電子透かしパターンに対応さ
せればよい。また、これらの手法を組み合わせて使用し
てもよい。

【００１２】一方デジタルビデオ信号等の画像信号にお
いて、あるフレームデータの輝度信号画素値を示すフレ
ームデータＤＶ１が以下のような式で示されたとする。
なお、デジタルビデオ信号の画像信号において、近接す
る輝度信号は同程度の画素値を持つという性質があり、
隣接する画素の値は近似した値に設定してある。

【００１３】

【数４】

【００１４】電子透かしの埋め込みは、輝度信号のフレ
ームデータＤＶ１に電子透かしパターンＷＭを加算する
ことによって実現する。電子透かし埋め込み情報ＤＣの
極性が“１”の場合には、前述の［数２］に示される電
子透かしパターンＷＭを、上述の［数４］に示される輝
度信号に加算する処理となり、電子透かしを埋め込んだ
輝度信号のフレームデータＤＶ２は、下記式によって示
されるデータとなる。

【００１５】

【数５】

【００１６】このようにして電子透かしを埋め込んだ輝
度信号のフレームデータＤＶ２から、埋め込み情報ＤＣ
を検出するためには、埋め込み時と同一のＰＮ系列の乱
数データＰＮを使用する。まず元の輝度信号のフレーム
データＤＶ１と乱数データＰＮとの内積値Ｐ１は、下記
式によって示される値を持つ。

【００１７】

【数６】Ｐ１＝ＤＶ１・ＰＮ＝１

【００１８】画像信号の持つ統計的な性質から内積値Ｐ
１は０近傍の値となる。これに対して電子透かしを埋め
込んだ輝度信号のフレームデータＤＶ２と乱数データＰ
Ｎとの内積値Ｐ２は、埋め込み情報ＤＣの極性が“１”
の場合には、下記式によって示される値を持つ。

【００１９】

【数７】Ｐ２＝ＤＶ２・ＰＮ＝（ＤＶ１＋ＷＭ）・ＰＮ＝（ＤＶ１＋ＰＮ）・ＰＮ＝Ｐ１＋ＰＮ² ＝１＋４８

【００２０】一方、埋め込み情報ＤＣの極性が“０”の
場合には、下記式によって示される値を持つ。

【００２１】

【数８】Ｐ２＝ＤＶ２・ＰＮ＝（ＤＶ１＋ＷＭ）・ＰＮ＝（ＤＶ１−ＰＮ）・ＰＮ＝Ｐ１−ＰＮ² ＝１−４８

【００２２】すなわち内積値Ｐ２の絶対値は、乱数デー
タＰＮ自身の内積値ＰＮ²近傍の値となる。元の輝度信
号のフレームデータＤＶ１と乱数データＰＮの内積値Ｐ
１および、電子透かしを埋め込んだ輝度信号のフレーム
データＤＶ２と乱数データＰＮの内積値Ｐ２を様々な画
像に対して計算すると、内積値Ｐ１およびＰ２の分布は
図６に示すような確率密度関数で表現することができ
る。したがって、適当な非負の閾値ＴＨを設定すること
によって、以下に示すように電子透かしの有無および極
性を判別することが可能となる。

【００２３】

【数９】Ｐ２≦−ＴＨ：電子透かしあり（極性０）｜Ｐ２｜＜ＴＨ：電子透かしなしＰ２≧ＴＨ：電子透かしあり（極性１）

【００２４】上記式のように、電子透かしを埋め込んだ
輝度信号のフレームデータＤＶ２から埋め込み情報ＤＣ
を検出することができる。

【００２５】実際に電子透かしを実現する際には、電子
透かし検出の信頼性と、電子透かしの画質に及ぼす影響
の２点が重要なポイントである。電子透かしの有無を正
確に判別するためには、図６における“電子透かしあ
り”の場合の確率密度関数と、“電子透かしなし”の場
合の確率密度関数の分離を精度良く行うような閾値ＴＨ
を設定しなければならない。しかし実際には確率密度関
数の裾野が重なり合い、電子透かしの有無を正確に判別
できるような閾値ＴＨの選択は難しい。電子透かしが埋
め込まれていないのに“電子透かしあり”と判断されて
しまう確率を特にＦａｌｓｅＰｏｓｉｔｉｖｅと呼
び、健全なコンテンツ流通を保証するためには極めて小
さいＦａｌｓｅＰｏｓｉｔｉｖｅ値が要求される。し
たがって電子透かし検出の信頼性を向上するためには、
非負のスカラー量Ｃを用いて電子透かしの埋め込み強度
を大きくする処理が実行される。スカラー量Ｃを用いて
電子透かしの埋め込み強度を大きくして電子透かしを埋
め込んだ場合の輝度信号のフレームデータＤＶ２は、下
記式によって示される値を持つ。

【００２６】

【数１０】ＤＶ２＝ＤＶ１＋ＣＷＭ

【００２７】電子透かしを埋め込んだ輝度信号のフレー
ムデータＤＶ２と乱数データＰＮの内積値Ｐ２を十分に
大きくすればよい。具体的には、フレームデータＤＶ２
は、下記式によって示される値を持つ。

【００２８】

【数１１】Ｐ２＝ＤＶ２・ＰＮ＝（ＤＶ１＋ＣＷＭ）・ＰＮ＝（ＤＶ１±ＰＮ）・ＰＮ＝Ｐ１±ＣＰＮ²

【００２９】しかし、このようにして電子透かしの埋め
込み強度を大きくした場合、電子透かしの画質に及ぼす
影響は無視できないものになってしまう。電子透かし検
出の信頼性と電子透かしの画質に及ぼす影響とは、トレ
ードオフの関係にある。

【００３０】電子透かし検出の信頼性を確保しつつ、電
子透かしの画質に及ぼす影響を極力抑えるために、人間
の視覚特性を効果的に利用して電子透かしを埋め込む手
法が提案されている。これらの手法は人間の視覚特性を
考慮して、電子透かしパターンを画像内で配分しなおす
ものや、電子透かしパターンを画像の動きに追従させる
もの等であり、全体の埋め込み強度を変えることなく電
子透かしの画質に及ぼす影響を効果的に抑えている。人
間の目は平坦部分等の低周波領域での変化には敏感であ
るが、エッジ部分等の高周波領域での変化には鈍感であ
る。これを利用して電子透かしパターンを目立ちやすい
平坦部分から目立ちにくいエッジ部分へと再配分するこ
とにより、電子透かし検出の信頼性を確保しつつ、電子
透かしの画質に及ぼす影響を抑えることができる。また
画像が静止している場合には電子透かしパターンも静止
させ、画像が動いている場合には電子透かしパターンも
追従して動かすことにより、人間の目に感知しにくくな
るように電子透かしを埋め込むことができる。

【００３１】電子透かしのように情報信号に直接重畳す
るものは、改竄耐性が強いため、セキュアな付加情報と
して期待されている。しかし、この電子透かしの技術に
おいては、電子透かしを埋め込んだデータの劣化、例え
ば画像の画質の劣化、あるいは音声データの劣化が問題
となることがある。すなわち、電子透かしは、埋め込み
対象データに対して信号処理を加える処理であるためこ
の処理によりノイズの発生をもたらすという問題があ
る。

【００３２】電子透かし情報中、例えば複製制御情報、
著作権情報等は、コンテンツ流通後も、必要な限り、電
子透かしを埋め込んだ元の画像データ、音声データ中に
残すべき情報であるが、例えば、編集情報等、コンテン
ツ流通後において不要な付加情報等を、コンテンツの流
通後も埋め込んだままにしておくと、画像、音声データ
に対するノイズを増大させるのみであり、好ましくな
い。

【００３３】画像データ、あるいは音声データ中に存在
するランダムノイズ、バーストノイズの除去処理技術と
して、例えばドロップアウト補正、その他のノイズリダ
クション技術が使用されている。しかし、このようなノ
イズリダクション技術の多くは、ノイズの減少という効
果をもたらす一方、元データの特性を劣化させるという
マイナスの現象も発生させる問題を有している。

【００３４】

【発明が解決しようとする課題】本発明は、上述した従
来技術の問題点に鑑みてなされたものであり、例えばノ
イズを含む画像あるいは音声等の情報信号中に含まれる
ノイズ、または電子透かし情報の除去を、画質、音質
等、元データの特性の劣化を抑えながら効率的に実行す
ることを可能とする情報信号処理装置、および情報信号
処理方法、並びにコンピュータ・プログラムを提供する
ことを目的とする。

【００３５】

【課題を解決するための手段】本発明の第１の側面は、
同一のオリジナル信号を基礎情報とした複数の情報信号
を入力する複数の情報入力手段と、前記複数の情報入力
手段から入力する複数の情報信号中の対応するデータポ
ーション部分を抽出するポーション抽出手段と、前記ポ
ーション抽出手段の抽出した複数の情報信号中の対応す
る複数のデータ値に基づいて出力データ値を決定する信
号処理手段と、を有することを特徴とする情報信号処理
装置にある。

【００３６】さらに、本発明の情報信号処理装置の一実
施態様において、前記複数の情報入力手段に入力する複
数の情報信号中には、オリジナル信号に対するノイズ重
畳処理、ノイズ除去処理、電子透かし情報付加処理、電
子透かし情報除去処理のいずれかの信号処理を施したデ
ータ信号を含むことを特徴とする。

【００３７】さらに、本発明の情報信号処理装置の一実
施態様において、前記信号処理手段は、複数の情報信号
中の対応する複数のデータ値について多数決方式による
出力値算出処理を実行する構成を有することを特徴とす
る。

【００３８】さらに、本発明の情報信号処理装置の一実
施態様において、前記信号処理手段は、複数の情報信号
中の対応する複数のデータ値について平均値算出方式に
よる出力値算出処理を実行する構成を有することを特徴
とする。

【００３９】さらに、本発明の情報信号処理装置の一実
施態様において、前記信号処理手段は、複数の情報信号
中の対応する複数のデータ値について最小値算出方式に
よる出力値算出処理を実行する構成を有することを特徴
とする。

【００４０】さらに、本発明の情報信号処理装置の一実
施態様において、前記信号処理手段は、複数の情報信号
中の対応する複数のデータ値について中間値算出方式に
よる出力値算出処理を実行する構成を有することを特徴
とする。

【００４１】さらに、本発明の情報信号処理装置の一実
施態様において、前記信号処理手段は、複数の情報信号
中の対応する複数のデータ値について最大値算出方式に
よる出力値算出処理を実行する構成を有することを特徴
とする。

【００４２】さらに、本発明の情報信号処理装置の一実
施態様において、前記信号処理手段は、複数の情報信号
中の対応する複数のデータ値についてランダム抽出処理
による出力値算出処理を実行する構成を有することを特
徴とする。

【００４３】さらに、本発明の情報信号処理装置の一実
施態様において、前記オリジナル信号を基礎情報とした
複数の情報信号は画像データであり、前記ポーション抽
出手段は、複数の情報入力手段から入力する複数の画像
データ中の対応するフレームで、かつ対応する画素部分
を抽出する処理を実行する構成を有することを特徴とす
る。

【００４４】さらに、本発明の第２の側面は、同一のオ
リジナル信号を基礎情報とした複数の情報信号を入力す
る複数の情報入力ステップと、前記複数の情報入力ステ
ップにおいて入力された複数の情報信号中の対応するデ
ータポーション部分を抽出するポーション抽出ステップ
と、前記ポーション抽出ステップにおいて抽出した複数
の情報信号中の対応する複数のデータ値に基づいて出力
データ値を決定する信号処理ステップと、を有すること
を特徴とする情報信号処理方法にある。

【００４５】さらに、本発明の情報信号処理方法の一実
施態様において、前記複数の情報入力ステップにおいて
入力する複数の情報信号中には、オリジナル信号に対す
るノイズ重畳処理、ノイズ除去処理、電子透かし情報付
加処理、電子透かし情報除去処理のいずれかの信号処理
を施したデータ信号を含むことを特徴とする。

【００４６】さらに、本発明の情報信号処理方法の一実
施態様において、前記信号処理ステップは、複数の情報
信号中の対応する複数のデータ値について多数決方式に
よる出力値算出処理を実行するステップを含むことを特
徴とする。

【００４７】さらに、本発明の情報信号処理方法の一実
施態様において、前記信号処理ステップは、複数の情報
信号中の対応する複数のデータ値について平均値算出方
式による出力値算出処理を実行するステップを含むこと
を特徴とする。

【００４８】さらに、本発明の情報信号処理方法の一実
施態様において、前記信号処理ステップは、複数の情報
信号中の対応する複数のデータ値について最小値算出方
式による出力値算出処理を実行するステップを含むこと
を特徴とする。

【００４９】さらに、本発明の情報信号処理方法の一実
施態様において、前記信号処理ステップは、複数の情報
信号中の対応する複数のデータ値について中間値算出方
式による出力値算出処理を実行するステップを含むこと
を特徴とする。

【００５０】さらに、本発明の情報信号処理方法の一実
施態様において、前記信号処理ステップは、複数の情報
信号中の対応する複数のデータ値について最大値算出方
式による出力値算出処理を実行するステップを含むこと
を特徴とする。

【００５１】さらに、本発明の情報信号処理方法の一実
施態様において、前記信号処理ステップは、複数の情報
信号中の対応する複数のデータ値についてランダム抽出
処理による出力値算出処理を実行するステップを含むこ
とを特徴とする。

【００５２】さらに、本発明の情報信号処理方法の一実
施態様において、前記オリジナル信号を基礎情報とした
複数の情報信号は画像データであり、前記ポーション抽
出ステップは、複数の情報入力ステップにおいて入力す
る複数の画像データ中の対応するフレームで、かつ対応
する画素部分を抽出する処理を実行することを特徴とす
る。

【００５３】さらに、本発明の第３の側面は、入力情報
の情報信号処理を実行するコンピュータ・プログラムで
あって、同一のオリジナル信号を基礎情報とした複数の
情報信号を入力する複数の情報入力ステップと、前記複
数の情報入力ステップにおいて入力された複数の情報信
号中の対応するデータポーション部分を抽出するポーシ
ョン抽出ステップと、前記ポーション抽出ステップにお
いて抽出した複数の情報信号中の対応する複数のデータ
値に基づいて出力データ値を決定する信号処理ステップ
と、を具備することを特徴とするコンピュータ・プログ
ラムにある。

【００５４】なお、本発明のコンピュータ・プログラム
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、ＣＤや
ＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。

【００５５】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。なお、本明細
書においてシステムとは、複数の装置の論理的集合構成
であり、各構成の装置が同一筐体内にあるものには限ら
ない。

【００５６】

【発明の実施の形態】以下、図面を参照して本発明の情
報信号処理装置、および情報信号処理方法の詳細につい
て説明する。

【００５７】本発明の情報信号処理装置の構成例を図１
に示す。図１に示す情報信号処理装置は、ノイズを含む
画像あるいは音声等の情報信号中に含まれるノイズ、ま
たは電子透かし情報の除去を、画質、音質等、元データ
の特性の劣化を抑えながら効率的に実行する情報信号処
理装置である。

【００５８】以下、説明する実施例においては、ノイズ
または電子透かし情報を含むデータとして画像データを
例として説明する。ただし、本発明は、画像データに限
らず、音声データ、その他プログラム情報等、各種情報
信号全般に対して適用可能である。

【００５９】図１に示す情報信号処理装置の構成、およ
び処理について、以下、説明する。本発明の情報信号処
理装置は、複数の情報入力手段、図１に示す構成例では
３つの情報入力手段、第１の情報入力手段１０１、第２
の情報入力手段１０２、第３の情報入力手段１０３と、
ポーション抽出部１０４、信号処理部１０５を有し、信
号処理部１０５からの出力データを格納する記録メディ
ア１０６を有する。

【００６０】３つの情報入力手段１０１，１０２，１０
３には、同一のオリジナル信号を基礎情報とした複数の
情報信号を入力する。例えばある動画像データをオリジ
ナルとする３つの情報信号を入力する。入力情報信号
は、例えばノイズの混入したデータ、電子透かし（Ｗ
Ｍ）埋め込みデータであり、ハードディスク、ＤＶＤな
どの記憶媒体から読み出されたり、あるいはスキャナ、
デジタルカメラなどの画像取り込み装置から供給された
画像など、様々な電子透かしの埋め込まれた画像、音声
データ、プログラムデータ等が含まれる。なお、この例
では、３つの情報信号を入力する例を示すが、これらは
複数のデータであればよく、４以上の多数のデータを入
力する構成としてもよい。

【００６１】これら複数の入力情報は、同一の情報信
号、例えば動画像データをオリジナルとするが、それぞ
れ異なる流通過程、あるいは処理過程を経たデータをラ
ンダムに選択してそれぞれの情報入力手段に入力する。
入力データは、例えばノイズ重畳処理、ノイズ除去処
理、電子透かし情報付加処理、電子透かし情報除去処理
等の様々な処理が実行され、元データに対して何らかの
信号処理が実行されたデータ、あるいは何らの信号処理
のなされていない元データを含んでいてもよい。

【００６２】第１の情報入力手段１０１、第２の情報入
力手段１０２、第３の情報入力手段１０３の各々には、
処理対象となる情報信号が蓄積され、情報信号同士のフ
レーム同期がそろえられてポーション抽出部１０４に供
給される。

【００６３】例えば動画像の場合を例として、図２を参
照して説明する。動画像データは、連続するフレームデ
ータによって構成される。図２に示す例では、第１の画
像情報〜第３の画像情報についてのフレームｋ〜ｋ＋ｎ
の連続フレームを示している。動画像の場合は、例えば
１秒間に数十フレームのデータを順次、表示する処理を
行なっている。

【００６４】本発明の情報信号処理装置において動画像
の処理を実行する場合は、図２に示すような複数の動画
像データ、（ａ）第１の画像情報、（ｂ）第２の画像情
報、（ｃ）第３の画像情報を、それぞれ第１の情報入力
手段１０１、第２の情報入力手段１０２、第３の情報入
力手段１０３に蓄積し、蓄積した画像情報信号同士のフ
レームを同期させてポーション抽出部１０４に出力す
る。例えばフレームｋの出力時には、第１の情報入力手
段１０１、第２の情報入力手段１０２、第３の情報入力
手段１０３から同期してフレームｋのデータがポーショ
ン抽出部１０４に出力される。

【００６５】ポーション抽出部１０４では、第１の情報
入力手段１０１、第２の情報入力手段１０２、第３の情
報入力手段１０３の各入力情報について、同一フレー
ム、同一ポーションからなる３つの情報信号に対する対
象画素成分情報を抽出する。

【００６６】例えばあるフレーム画像データが、図３に
示すような画像データ３０１であるとする。この画像デ
ータはｎ×ｍ画素のデータからなるとする。それぞれの
画素値によって図３に示すようなフレーム画像データ３
０１が構成される。

【００６７】ポーション抽出部１０４では、第１の情報
入力手段１０１、第２の情報入力手段１０２、第３の情
報入力手段１０３から入力した３つの画像について、同
一フレーム、同一ポーションからなる３つの情報信号に
対する対象画素成分情報を抽出する。図３に示すよう
に、画素（ｉ，ｊ）＝（ｘ１，ｙ１）〜（ｘｎ，ｙｍ）
を有する場合、第１の情報入力手段１０１からの画素
値：Ｖ１（ｉ，ｊ）、第２の情報入力手段１０２からの
画素値：Ｖ２（ｉ，ｊ）、第３の情報入力手段１０３か
らの画素値：Ｖ３（ｉ，ｊ）をそれぞれ信号処理部１０
５に出力する。

【００６８】信号処理部１０５では、これらの３つの画
素値Ｖ１，Ｖ２，Ｖ３についての信号処理を実行して、
記録メディア１０６に出力して格納する。

【００６９】信号処理部１０５において実行される信号
処理の態様について説明する。信号処理部は、入力する
複数の画素値：Ｖ１，Ｖ２，Ｖ３について、多数決方式
による出力値算出、平均値算出、最大値算出、中間値算
出、最小値算出、あるいはランダム抽出処理、これらい
ずれかの方式により画素値を算出決定して出力する。

【００７０】具体的な算出処理は、下式によって示され
る。以下の式において、Ｖ（ｉ，ｊ）は、信号処理部１
０５において実行される信号処理の結果として出力する
画素（ｉ，ｊ）の画素値を示し、Ｖ０（ｉ，ｊ）、Ｖ１
（ｉ，ｊ）、Ｖ２（ｉ，ｊ）、・・Ｖｎ（ｉ，ｊ）は、
それぞれ複数の画像入力手段に蓄積され、ポーション抽
出部１０４において抽出され信号処理部１０５に入力さ
れる複数の画像データの画素（ｉ，ｊ）の画素値を示
す。

【００７１】

【数１２】

【００７２】上記式中、（１）は、入力する複数の画素
値：Ｖ０，Ｖ２，…について多数決方式による出力値算
出処理を実行する式を示す。多数決方式は、同一の値を
持つ画素値のうち、最も数の多い値を出力画素値として
選択して出力する処理である。上記式中、（２）は、入
力する複数の画素値：Ｖ０，Ｖ２，…について平均値算
出方式による出力値算出処理を実行する式を示す。これ
は、入力画素値の平均値を算出して、算出された値を出
力画素値とする処理である。上記式中、（３）は、入力
する複数の画素値：Ｖ０，Ｖ２，…について最小値算出
方式による出力値算出処理を実行する式を示す。これ
は、入力画素値の中の最小値を選択して、選択した値を
出力画素値とする処理である。

【００７３】上記式中、（４）は、入力する複数の画素
値：Ｖ０，Ｖ２，…について中間値算出方式による出力
値算出処理を実行する式を示す。これは、入力画素値の
中の中間値を選択して、選択した値を出力画素値とする
処理である。上記式中、（５）は、入力する複数の画素
値：Ｖ０，Ｖ２，…について最大値算出方式による出力
値算出処理を実行する式を示す。これは、入力画素値の
中の最大値を選択して、選択した値を出力画素値とする
処理である。上記式中、（６）は、入力する複数の画素
値：Ｖ０，Ｖ２，…についてランダム抽出処理による出
力値算出処理を実行する式を示す。これは、入力画素値
の中からランダムに値を選択して、選択した値を出力画
素値とする処理である。

【００７４】信号処理部１０５は、上記（１）〜（６）
のいずれかの処理を実行して出力画素値を決定する。

【００７５】上述した、本発明の情報信号処理装置によ
れば、例えばノイズ重畳処理、ノイズ除去処理、電子透
かし情報付加処理、電子透かし情報除去処理等の様々な
処理が実行され、元データに対して何らかの信号処理が
実行されたデータ、あるいは何らの信号処理のなされて
いない元データ等の複数の情報を入力情報として、これ
らの入力情報に基づいて、上述した多数決方式による出
力値算出、平均値算出、最大値算出、中間値算出、最小
値算出、あるいはランダム抽出処理、これらいずれかの
方式により画素値を算出決定して出力する構成としたの
で、ランダムノイズ、バーストノイズが入っているよう
な情報信号、ユーザー固有の付加情報などが入り混じっ
て画質、音質を損なっている情報について、従来のノイ
ズリダクションや、ドロップアウト補正等の特定の情報
信号に対する信号処理を行なうことなく補正した信号を
出力することが可能となり、画質、音質の劣化や、情報
の変形を伴わずに、画質、音質の向上を図ることが可能
となる。

【００７６】図４に本発明の情報信号処理装置における
処理フローを示す。図４に示す処理フローの各ステップ
について説明する。

【００７７】まず、ステップＳ１０１において、複数の
情報入力手段に入力済みの情報信号、例えば同一の動画
像データをオリジナルとする複数の情報信号を各情報入
力手段から、ポーション抽出部に入力する。

【００７８】ステップＳ１０２において、ポーション抽
出部で、複数の情報入力手段からの各入力情報について
対応信号部を抽出する処理を実行する。例えば動画像デ
ータであれば、同一フレーム、同一ポーションの各情報
信号における画素情報、Ｖ１（ｉ，ｊ）、Ｖ２（ｉ，
ｊ）、Ｖ３（ｉ，ｊ）…をそれぞれを抽出し、ステップ
Ｓ１０３において、抽出信号を信号処理部に出力する。

【００７９】ステップＳ１０４において、信号処理部
は、入力した信号についての処理を実行して、出力デー
タを生成する。この処理は、複数の入力データについて
の処理であり、上述した多数決方式による出力値算出、
平均値算出、最大値算出、中間値算出、最小値算出、あ
るいはランダム抽出処理、これらいずれかの方式により
出力値を算出決定する処理であり、生成データを例えば
記録メディアに出力（Ｓ１０５）して処理を終了する。

【００８０】なお、本発明の情報信号処理装置において
処理対象とするデータは、映像信号でも、画像情報で
も、動画、静止画、映画、ＴＶ放送、有料コンテンツ、
個人製作画像、音声信号、音楽等であってもよい。ま
た、情報信号は、ベースバンド信号であれば、画素情
報、音声レベルとして扱われるが、周波数変換、座標変
換、圧縮符号化を行った後、当該画素情報に対応する係
数同士を用いて、処理を行ってもよい。なお、周波数変
換、座標変換、符号化処理については、ＦＥＴ、ＤＣ
Ｔ、ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラク
タル変換、ＡＤＰＣＭ、ＡＴＲＡＣ、ＭＰ３などの符号
化処理、直交変換処理など画像、音声符号化で使われる
どのような処理を行ってもよい。記録媒体は、ＤＶＤ、
ＤＶＨＳ、ＤＶＣ、ＭＤ、ＣＤ、ＶＨＳ、８ｍｍ、半導
体メモリー、ハードディスク、などの記録媒体であって
もよい。また、上述した複数のフィルター処理を同時も
しくは、繰り返し適用してもよい。除去される情報は、
複製制御情報または、著作権者情報、ユーザー固有のＩ
Ｄなどの付加情報であってもよい。付加情報は、スペク
トラム拡散、パッチワークなどの処理による符号化がな
されたものであってもよい。

【００８１】また、信号処理部における信号処理は、上
述した多数決方式による出力値算出、平均値算出、最大
値算出、中間値算出、最小値算出、あるいはランダム抽
出処理に限らず、複数の情報信号から、最終的に一つの
情報情報を生成するような情報信号処理を採用すること
が可能である。

【００８２】［システム構成］上述の実施例で述べた一
連の処理は、ハードウェア、またはソフトウェア、ある
いは両者の複合構成によって実行することが可能であ
る。ソフトウェアによる処理を実行する場合は、処理シ
ーケンスを記録したプログラムを、専用のハードウェア
に組み込まれたデータ処理装置内のメモリにインストー
ルして実行させるか、あるいは、各種処理が実行可能な
汎用コンピュータにプログラムをインストールして実行
させることが可能である。一連の処理をソフトウェアに
よって行う場合には、そのソフトウェアを構成するプロ
グラムが、例えば汎用のコンピュータや１チップのマイ
クロコンピュータ等にインストールされる。図５は、上
述した処理を実行する装置のシステム構成例を示してい
る。図５の構成について説明する。

【００８３】ＣＰＵ(Central processing Unit)８０２
は、各種アプリケーションプログラムや、ＯＳ（Operat
ing System）を実際に実行する。ＲＯＭ（Read-Only-Me
mory）８０３は、ＣＰＵ８０２が実行するプログラム、
あるいは演算パラメータとしての固定データを格納す
る。ＲＡＭ（Random Access Memory）８０４は、ＣＰＵ
８０２の処理において実行されるプログラム、およびプ
ログラム処理において適宜変化するパラメータの格納エ
リア、ワーク領域として使用される。ＣＰＵ８０２、Ｒ
ＯＭ８０３、ＲＡＭ８０４、およびハードディスク８０
５はバス８０１によって接続されており、相互にデータ
転送が実行可能である。さらに入出力インタフェース８
１４に接続された各種入出力装置とのデータ転送が可能
となっている。

【００８４】キーボード８１２、マウス８１３はＣＰＵ
８０２に各種の指令を入力するためにユーザにより操作
され、コマンド入力データ入力などの際にユーザによっ
て操作され、キーボードマウスコントローラ８１１介し
て入力される。

【００８５】ドライブ８０９は、フロッピー（登録商
標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only
Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Dig
ital Versatile Disc)、磁気ディスク、半導体メモリな
どのリムーバブル記録媒体８１０の記録再生を実行する
ドライブであり、各リムーバブル記録媒体８１０からの
プログラムまたはデータ再生、リムーバブル記録媒体８
１０に対するプログラムまたはデータ格納を実行する。

【００８６】ＣＰＵ８０２は、入出力インタフェース８
１４を介して、キーボード８１２やマウス８１３等を介
して指令が入力されると、入力にしたがって、ＲＯＭ(R
eadOnly Memory)８０３に格納されているプログラムを
実行する。

【００８７】上述の実施例における処理対象となる画
像、音声等のデータは、入力部８０７に接続されたカメ
ラ８０７１他の入力機器、例えばスキャナ等のデータ入
力装置、あるいはドライブ８０９に接続されたフロッピ
ーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Me
mory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digit
al Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体８１０から入力可能である。な
お、本システムは音声データの入力もマイク８０７２を
介して可能な構成である。さらに、通信部８０８を介し
て受信するデータを処理対象データとして処理すること
も可能である。

【００８８】ＣＰＵ８０２は、ＲＯＭ格納プログラムに
限らず、ハードディスク８０５に格納されているプログ
ラム、衛星若しくはネットワークから転送され、通信部
８０８で受信されてハードディスク８０５にインストー
ルされたプログラム、またはドライブ８０９に装着され
たリムーバブル記録媒体８１０から読み出されてハード
ディスク８０５にインストールされたプログラムを、Ｒ
ＡＭ(Random Access Memory)８０４にロードして実行す
ることも可能である。

【００８９】ここで、本明細書において、プログラム
は、１つのコンピュータにより処理されるものであって
も良いし、複数のコンピュータによって分散処理される
ものであっても良い。さらに、プログラムは、遠方のコ
ンピュータに転送されて実行されるものであっても良
い。

【００９０】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【００９１】

【発明の効果】以上、説明してきた本発明の情報信号処
理装置および情報信号処理方法によれば、ノイズ、電子
透かし等の付加された情報から効率的にかつ、元信号に
対する劣化を抑えて、ノイズ、電子透かし等を除去し元
信号を出力することが可能となる。

【００９２】本発明の情報信号処理装置および情報信号
処理方法によれば、例えばノイズ重畳処理、ノイズ除去
処理、電子透かし情報付加処理、電子透かし情報除去処
理等の様々な処理が実行され、元データに対して何らか
の信号処理が実行されたデータ、あるいは何らの信号処
理のなされていない元データ等の複数の情報を入力情報
として、これらの入力情報に基づいて、上述した多数決
方式による出力値算出、平均値算出、最大値算出、中間
値算出、最小値算出、あるいはランダム抽出処理、これ
らいずれかの方式により出力値を算出決定して出力する
構成としたので、ランダムノイズ、バーストノイズが入
っているような情報信号、ユーザー固有の付加情報など
が入り混じって画質、音質を損なっている情報につい
て、従来のノイズリダクションや、ドロップアウト補正
等の特定の情報信号に対する信号処理を行なうことなく
補正した信号を出力することが可能となり、画質、音質
の劣化や、情報の変形を伴わずに、画質、音質の向上を
図ることが可能となる。

【図面の簡単な説明】

【図１】本発明の情報信号処理装置の構成例を示すブロ
ック図である。

【図２】本発明の情報信号処理装置で処理するデータが
動画像データである場合の処理を説明する図である。

【図３】本発明の情報信号処理装置で処理するデータが
画像データである場合のポーション抽出処理について説
明する図である。

【図４】本発明の情報信号処理装置の処理フローを示す
図である。

【図５】本発明の情報信号処理装置のシステム構成例を
示す図である。

【図６】電子透かし埋め込みおよび検出処理について説
明する図である。

【符号の説明】

１０１第１の情報入力手段１０２第２の情報入力手段１０３第３の情報入力手段１０４ポーション抽出部１０５信号処理部１０６記録メディア８０１バス８０２ＣＰＵ８０３ＲＯＭ８０４ＲＡＭ８０５ハードディスク８０６出力部８０７入力部８０８通信部８０９ドライブ８１０リムーバフル記録媒体８１１キーボードマウスコントローラ８１２キーボード８１３マウス８０６１表示装置８０６２スピーカ８０７１カメラ８０７２マイク

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/08 Ｈ０４Ｎ 7/08 Ｚ５Ｊ１０４ 7/081 Ｆターム(参考） 5C053 FA15 FA23 HA06 LA11 5C063 AC10 CA40 DA20 5C076 AA14 BA06 5D044 AB05 AB07 DE50 FG23 FG30 GK14 5D080 BA02 BA03 FA13 FA60 5J104 AA14

Claims

【特許請求の範囲】

【請求項１】同一のオリジナル信号を基礎情報とした複
数の情報信号を入力する複数の情報入力手段と、前記複数の情報入力手段から入力する複数の情報信号中
の対応するデータポーション部分を抽出するポーション
抽出手段と、前記ポーション抽出手段の抽出した複数の情報信号中の
対応する複数のデータ値に基づいて出力データ値を決定
する信号処理手段と、を有することを特徴とする情報信号処理装置。
【請求項２】前記複数の情報入力手段に入力する複数の
情報信号中には、オリジナル信号に対するノイズ重畳処
理、ノイズ除去処理、電子透かし情報付加処理、電子透
かし情報除去処理のいずれかの信号処理を施したデータ
信号を含むことを特徴とする請求項１に記載の情報信号
処理装置。
【請求項３】前記信号処理手段は、複数の情報信号中の対応する複数のデータ値について多
数決方式による出力値算出処理を実行する構成を有する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項４】前記信号処理手段は、複数の情報信号中の対応する複数のデータ値について平
均値算出方式による出力値算出処理を実行する構成を有
することを特徴とする請求項１に記載の情報信号処理装
置。
【請求項５】前記信号処理手段は、複数の情報信号中の対応する複数のデータ値について最
小値算出方式による出力値算出処理を実行する構成を有
することを特徴とする請求項１に記載の情報信号処理装
置。
【請求項６】前記信号処理手段は、複数の情報信号中の対応する複数のデータ値について中
間値算出方式による出力値算出処理を実行する構成を有
することを特徴とする請求項１に記載の情報信号処理装
置。
【請求項７】前記信号処理手段は、複数の情報信号中の対応する複数のデータ値について最
大値算出方式による出力値算出処理を実行する構成を有
することを特徴とする請求項１に記載の情報信号処理装
置。
【請求項８】前記信号処理手段は、複数の情報信号中の対応する複数のデータ値についてラ
ンダム抽出処理による出力値算出処理を実行する構成を
有することを特徴とする請求項１に記載の情報信号処理
装置。
【請求項９】前記オリジナル信号を基礎情報とした複数
の情報信号は画像データであり、前記ポーション抽出手段は、複数の情報入力手段から入
力する複数の画像データ中の対応するフレームで、かつ
対応する画素部分を抽出する処理を実行する構成を有す
ることを特徴とする請求項１に記載の情報信号処理装
置。
【請求項１０】同一のオリジナル信号を基礎情報とした
複数の情報信号を入力する複数の情報入力ステップと、前記複数の情報入力ステップにおいて入力された複数の
情報信号中の対応するデータポーション部分を抽出する
ポーション抽出ステップと、前記ポーション抽出ステップにおいて抽出した複数の情
報信号中の対応する複数のデータ値に基づいて出力デー
タ値を決定する信号処理ステップと、を有することを特徴とする情報信号処理方法。
【請求項１１】前記複数の情報入力ステップにおいて入
力する複数の情報信号中には、オリジナル信号に対する
ノイズ重畳処理、ノイズ除去処理、電子透かし情報付加
処理、電子透かし情報除去処理のいずれかの信号処理を
施したデータ信号を含むことを特徴とする請求項１０に
記載の情報信号処理方法。
【請求項１２】前記信号処理ステップは、複数の情報信号中の対応する複数のデータ値について多
数決方式による出力値算出処理を実行するステップを含
むことを特徴とする請求項１０に記載の情報信号処理方
法。
【請求項１３】前記信号処理ステップは、複数の情報信号中の対応する複数のデータ値について平
均値算出方式による出力値算出処理を実行するステップ
を含むことを特徴とする請求項１０に記載の情報信号処
理方法。
【請求項１４】前記信号処理ステップは、複数の情報信号中の対応する複数のデータ値について最
小値算出方式による出力値算出処理を実行するステップ
を含むことを特徴とする請求項１０に記載の情報信号処
理方法。
【請求項１５】前記信号処理ステップは、複数の情報信号中の対応する複数のデータ値について中
間値算出方式による出力値算出処理を実行するステップ
を含むことを特徴とする請求項１０に記載の情報信号処
理方法。
【請求項１６】前記信号処理ステップは、複数の情報信号中の対応する複数のデータ値について最
大値算出方式による出力値算出処理を実行するステップ
を含むことを特徴とする請求項１０に記載の情報信号処
理方法。
【請求項１７】前記信号処理ステップは、複数の情報信号中の対応する複数のデータ値についてラ
ンダム抽出処理による出力値算出処理を実行するステッ
プを含むことを特徴とする請求項１０に記載の情報信号
処理方法。
【請求項１８】前記オリジナル信号を基礎情報とした複
数の情報信号は画像データであり、前記ポーション抽出ステップは、複数の情報入力ステッ
プにおいて入力する複数の画像データ中の対応するフレ
ームで、かつ対応する画素部分を抽出する処理を実行す
ることを特徴とする請求項１０に記載の情報信号処理方
法。
【請求項１９】入力情報の情報信号処理を実行するコン
ピュータ・プログラムであって、同一のオリジナル信号を基礎情報とした複数の情報信号
を入力する複数の情報入力ステップと、前記複数の情報入力ステップにおいて入力された複数の
情報信号中の対応するデータポーション部分を抽出する
ポーション抽出ステップと、前記ポーション抽出ステップにおいて抽出した複数の情
報信号中の対応する複数のデータ値に基づいて出力デー
タ値を決定する信号処理ステップと、を具備することを特徴とするコンピュータ・プログラ
ム。