JP2003132354A - 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 - Google Patents

信号処理方法及び装置、信号処理プログラム、並びに記録媒体

Info

Publication number
JP2003132354A
JP2003132354A JP2001324255A JP2001324255A JP2003132354A JP 2003132354 A JP2003132354 A JP 2003132354A JP 2001324255 A JP2001324255 A JP 2001324255A JP 2001324255 A JP2001324255 A JP 2001324255A JP 2003132354 A JP2003132354 A JP 2003132354A
Authority
JP
Japan
Prior art keywords
image data
similarity
similar
signal processing
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001324255A
Other languages
English (en)
Other versions
JP2003132354A5 (ja
JP3997749B2 (ja
Inventor
Mototsugu Abe
素嗣 安部
Masayuki Nishiguchi
正之 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2001324255A priority Critical patent/JP3997749B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2002/010749 priority patent/WO2003036563A1/ja
Priority to CNB028032691A priority patent/CN100365661C/zh
Priority to US10/451,360 priority patent/US7729545B2/en
Priority to EP02802019A priority patent/EP1439491B1/en
Priority to DE60239627T priority patent/DE60239627D1/de
Publication of JP2003132354A publication Critical patent/JP2003132354A/ja
Publication of JP2003132354A5 publication Critical patent/JP2003132354A5/ja
Application granted granted Critical
Publication of JP3997749B2 publication Critical patent/JP3997749B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 任意の２つ以上の画像に対して、それらの部
分的な類似性を評価して類似する。 【解決手段】 類似性を比較したい２つの画像のうち、
第１の画像を小領域に分割し、１つの小領域を選択して
相関法を用いて第２の画像との相関を計算する。そし
て、相関値の自乗である類似度が最大となる領域の位置
差、輝度比及び類似度を求め、その位置差及び輝度比で
表される位置に類似度に基づく値を積算していく。全て
の小領域について同様の処理を行い、類似度の積算値が
最大となるピークにおいて、その大きさを閾値と比較し
て、類似性の評価を行う。また、そのピークに投票した
小領域を抽出することで、類似する領域を検出すること
ができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、信号処理方法及び
装置に関し、特に、複数の画像データ内に類似するパタ
ーンが含まれる場合の類似性を評価する信号処理方法及
びその装置、信号処理プログラム、並びに信号処理プロ
グラムの記録された記録媒体に関する。
【０００２】
【従来の技術】例えば、映像中の類似するシーン（映像
中でひとまとまりとなる時区間）の画像や、コマーシャ
ル中の会社名のロゴや、画像中に挿入された所有者を示
す文字やパターンなど、異なる画像中に部分的に同一又
は類似するパターンが含まれる場合がある。これらは多
くの場合、何らかの関連性を有するために類似するパタ
ーンが含まれているのであり、このような類似性を検出
し評価することができれば、関連のある画像或いは映像
シーンの検索、分類又は収集等を行うことができる。
【０００３】具体例として、異なる画像上に同一のロゴ
“ＡＢＥ”が挿入された画像を図９（Ａ）、（Ｂ）に示
す。このようなロゴは、例えば、この２枚の画像の所有
者やコマーシャル映像中の商品の提供企業等の情報を表
すものである。このように、画像中のどこかの位置にほ
ぼ同じロゴが挿入されることがある。しかしながら、こ
のようなロゴが挿入される位置は、通常予め特定するこ
とはできず、また、どのようなパターンが挿入されてい
るのかも通常予め知ることはできない。
【０００４】また、ロゴのようなものに限らず、同一の
人物、動物、物体又は背景等が、異なる画像や映像に挿
入されている場合もある。
【０００５】
【発明が解決しようとする課題】ところで、従来、この
ように類似するパターンの検索手法としては、予めその
パターンを何らかの方法で別途用意し、相関法やヒスト
グラム比較法等によって、そのパターンの検出を行う手
法が用いられている。
【０００６】例えば、特開２０００−３１２３４３号公
報には、予め登録された映像と同一の映像を高速に検索
する技術が開示されている。しかし、このためには予め
検索したいものと同一の映像を用意する必要があり、ま
た、映像を構成する画像の一部が類似するものの検出に
は、この技術が適用できないという問題があった。
【０００７】また、特開平１１−３２８３１１号公報に
は、予め登録されたパターンと類似するパターンが他の
画像中のどこかの位置に存在する場合に、それを相関法
を用いて検出する技術が開示されている。しかし、この
技術においても類似するパターンを予め登録しておく必
要があり、類似するパターンが予め分からないような任
意の２つの画像から、部分的な類似性を検出し評価する
ことができないという問題があった。
【０００８】本発明は、このような従来の実情に鑑みて
提案されたものであり、任意の２つ以上の画像に対し
て、それらの部分的な類似性を評価し、類似する領域を
自動的に抽出する信号処理方法及びその装置、信号処理
プログラム、並びに信号処理プログラムの記録された記
録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】上述した目的を達成する
ために、本発明に係る信号処理方法は、複数の画像デー
タを入力し、当該複数の画像データのうち、少なくとも
１つを複数の小領域に分割する分割工程と、上記小領域
を他の画像データと類似するように変換したときの変換
パラメータを抽出するパラメータ抽出工程と、上記変換
パラメータに基づいて求めた類似の度合いを示す値を集
計する集計工程と、当該集計の結果に基づき、上記複数
の画像データ間の類似性を評価する類似性評価工程とを
有することを特徴としている。
【００１０】ここで、信号処理方法は、上記複数の画像
データ間の類似する領域を抽出する類似領域抽出工程を
さらに有してもよい。
【００１１】また、信号処理方法では、相関法を用いて
上記変換パラメータを求めることができる。この場合、
上記変換パラメータは、例えば上記小領域と上記他の画
像データとの相関値が最大となるところにおける位置差
及び／又は輝度比であり、上記集計工程では、この変換
パラメータを軸とする空間に、上記複数の画像データ間
の類似の度合いを示す値が集計される。
【００１２】このような信号処理方法では、入力された
複数の画像データの少なくとも１つが複数の小領域に分
割され、その小領域毎に他の画像データとの類似性が求
められ、それらを集計することによって複数の画像デー
タ間の類似性が評価される。また、その類似性に基づい
て、複数の画像データ間の類似する領域が抽出される。
【００１３】また、上述した目的を達成するために、本
発明に係る信号処理方法は、記録手段に記録されている
画像データを再生する再生工程と、再生されている上記
画像データの中から所望の画像データを指定する指定工
程と、上記所望の画像データを複数の小領域に分割する
分割工程と、上記小領域を上記記録手段に記録されてい
る検索対象画像データと類似するように変換したときの
変換パラメータを抽出するパラメータ抽出工程と、上記
変換パラメータに基づいて求めた類似の度合いを示す値
を集計する集計工程と、当該集計の結果に基づき、上記
所望の画像データと上記検索対象画像データとの類似性
を評価する類似性評価工程と、上記所望の画像データと
上記検索対象画像データとが類似する領域を検出する類
似領域検出工程とを有することを特徴としている。
【００１４】このような信号処理方法では、再生されて
いる画像データの中から所望の画像データが指定される
と、その画像データが複数の小領域に分割され、その小
領域毎に記録手段に記録されている検索対象画像データ
との類似性が求められ、それらを集計することによって
複数の画像データ間の類似性が評価され、その類似性に
基づいて類似する領域が抽出される。
【００１５】また、上述した目的を達成するために、本
発明に係る信号処理方法は、複数の画像データを入力
し、当該複数の画像データのうち、少なくとも１つの画
像データを複数の小領域に分割する分割工程と、上記小
領域を他の画像データと類似するように変換したときの
変換パラメータを抽出するパラメータ抽出工程と、上記
変換パラメータに基づいて求めた類似の度合いを示す値
を集計する集計工程と、当該集計の結果に基づき、上記
複数の画像データ間の類似性を評価する類似性評価工程
と、上記複数の画像データ間の類似する領域を検出する
類似領域抽出工程と、上記類似領域抽出工程で抽出され
た上記複数の画像データ間の類似する領域を符号化する
第１の符号化工程と、上記類似する領域以外を符号化す
る第２の符号化工程とを有することを特徴としている。
【００１６】ここで、上記第１の符号化工程では、例え
ば上記類似する区間の位置差、輝度比及び当該類似する
領域の形状の情報が符号化される。
【００１７】このような信号処理方法では、入力された
複数の画像データの少なくとも１つが複数の小領域に分
割され、その小領域毎に他の画像データとの類似性が求
められ、それらを集計することによって複数の画像デー
タ間の類似性が評価される。そして、その類似性に基づ
いて、複数の画像データ間の類似する領域が抽出され、
その類似する領域とそれ以外の領域とが別々に符号化さ
れる。
【００１８】また、上述した目的を達成するために、本
発明に係る信号処理装置は、複数の画像データを入力
し、当該複数の画像データのうち、少なくとも１つを複
数の小領域に分割する分割手段と、上記小領域を他の画
像データと類似するように変換したときの変換パラメー
タを抽出するパラメータ抽出手段と、上記変換パラメー
タに基づいて求めた類似の度合いを示す値を集計する集
計手段と、当該集計の結果に基づき、上記複数の画像デ
ータ間の類似性を評価する類似性評価手段とを備えるこ
とを特徴としている。
【００１９】ここで、信号処理装置は、上記複数の画像
データ間の類似する領域を抽出する類似領域抽出手段を
さらに備えてもよい。
【００２０】また、信号処理装置は、相関法を用いて上
記変換パラメータを求めることができる。この場合、上
記変換パラメータは、例えば上記小領域と上記他の画像
データとの相関値が最大となるところにおける位置差及
び／又は輝度比であり、上記集計手段は、上記変換パラ
メータを軸とする空間に、上記複数の画像データ間の類
似の度合いを示す値を集計する。
【００２１】このような信号処理装置は、入力された複
数の画像データの少なくとも１つを複数の小領域に分割
し、その小領域毎に他の画像データとの類似性を求め、
それらを集計することによって複数の画像データ間の類
似性を評価する。また、その類似性に基づいて、複数の
画像データ間の類似する領域を抽出する。
【００２２】また、上述した目的を達成するために、本
発明に係る信号処理装置は、複数の画像データを記録す
る記録手段と、上記記録手段に記録されている画像デー
タを再生する再生手段と、再生されている上記画像デー
タの中から所望の画像データを指定する指定手段と、上
記所望の画像データを複数の小領域に分割する分割手段
と、上記小領域を上記記録手段に記録されている検索対
象画像データと類似するように変換したときの変換パラ
メータを抽出するパラメータ抽出手段と、上記変換パラ
メータに基づいて求めた類似の度合いを示す値を集計す
る集計手段と、当該集計の結果に基づき、上記所望の画
像データと上記検索対象画像データとの類似性を評価す
る類似性評価手段と、上記所望の画像データと上記検索
対象画像データとが類似する領域を検出する類似領域検
出手段とを備えることを特徴としている。
【００２３】このような信号処理装置は、再生されてい
る画像データの中から所望の画像データが指定される
と、その画像データを複数の小領域に分割し、その小領
域毎に記録手段に記録されている検索対象画像データと
の類似性を求め、それらを集計することによって複数の
画像データ間の類似性を評価して、その類似性に基づい
て類似する領域を抽出する。
【００２４】また、上述した目的を達成するために、本
発明に係る信号処理装置は、複数の画像データを入力
し、当該複数の画像データのうち、少なくとも１つの画
像データを複数の小領域に分割する分割手段と、上記小
領域を他の画像データと類似するように変換したときの
変換パラメータを抽出するパラメータ抽出手段と、上記
変換パラメータに基づいて求めた類似の度合いを示す値
を集計する集計手段と、当該集計の結果に基づき、上記
複数の画像データ間の類似性を評価する類似性評価手段
と、上記複数の画像データ間の類似する領域を検出する
類似領域抽出手段と、上記類似領域抽出手段によって抽
出された上記複数の画像データ間の類似する領域を符号
化する第１の符号化手段と、上記類似する領域以外を符
号化する第２の符号化手段とを備えることを特徴として
いる。
【００２５】ここで、上記第１の符号化手段は、例えば
上記類似する区間の位置差、輝度比及び当該類似する領
域の形状の情報を符号化する。
【００２６】このような信号処理装置は、入力された複
数の画像データの少なくとも１つを複数の小領域に分割
し、その小領域毎に他の画像データとの類似性を求め、
それらを集計することによって複数の画像データ間の類
似性を評価する。そして、その類似性に基づいて、複数
の画像データ間の類似する領域を抽出して、その類似す
る領域とそれ以外の領域とを別々に符号化する。
【００２７】また、上述した目的を達成するために、本
発明に係る信号処理プログラムは、複数の画像データを
入力し、当該複数の画像データのうち、少なくとも１つ
を複数の小領域に分割する分割工程と、上記小領域を他
の画像データと類似するように変換したときの変換パラ
メータを抽出するパラメータ抽出工程と、上記変換パラ
メータに基づいて求めた類似の度合いを示す値を集計す
る集計工程と、当該集計の結果に基づき、上記複数の画
像データ間の類似性を評価する類似性評価工程とを有す
ることを特徴としている。
【００２８】ここで、信号処理プログラムは、上記複数
の画像データ間の類似する領域を抽出する類似領域抽出
工程をさらに有してもよい。
【００２９】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めることができる。この
場合、上記変換パラメータは、例えば上記小領域と上記
他の画像データとの相関値が最大となるところにおける
位置差及び／又は輝度比であり、上記集計工程では、こ
の変換パラメータを軸とする空間に、上記複数の画像デ
ータ間の類似の度合いを示す値が集計される。
【００３０】このような信号処理プログラムは、入力さ
れた複数の画像データの少なくとも１つを複数の小領域
に分割し、その小領域毎に他の画像データとの類似性を
求め、それらを集計することによって複数の画像データ
間の類似性を評価する。また、その類似性に基づいて、
複数の画像データ間の類似する領域を抽出する。
【００３１】また、上述した目的を達成するために、本
発明に係る信号処理プログラムは、記録手段に記録され
ている画像データを再生する再生工程と、再生されてい
る上記画像データの中から所望の画像データを指定する
指定工程と、上記所望の画像データを複数の小領域に分
割する分割工程と、上記小領域を上記記録手段に記録さ
れている検索対象画像データと類似するように変換した
ときの変換パラメータを抽出するパラメータ抽出工程
と、上記変換パラメータに基づいて求めた類似の度合い
を示す値を集計する集計工程と、当該集計の結果に基づ
き、上記所望の画像データと上記検索対象画像データと
の類似性を評価する類似性評価工程と、上記所望の画像
データと上記検索対象画像データとが類似する領域を検
出する類似領域検出工程とを有することを特徴としてい
る。
【００３２】このような信号処理プログラムは、再生さ
れている画像データの中から所望の画像データが指定さ
れると、その画像データを複数の小領域に分割し、その
小領域毎に記録手段に記録されている検索対象画像デー
タとの類似性を求め、それらを集計することによって複
数の画像データ間の類似性を評価して、その類似性に基
づいて類似する領域を抽出する。
【００３３】また、上述した目的を達成するために、本
発明に係る信号処理プログラムは、複数の画像データを
入力し、当該複数の画像データのうち、少なくとも１つ
の画像データを複数の小領域に分割する分割工程と、上
記小領域を他の画像データと類似するように変換したと
きの変換パラメータを抽出するパラメータ抽出工程と、
上記変換パラメータに基づいて求めた類似の度合いを示
す値を集計する集計工程と、当該集計の結果に基づき、
上記複数の画像データ間の類似性を評価する類似性評価
工程と、上記複数の画像データ間の類似する領域を検出
する類似領域抽出工程と、上記類似領域抽出工程で抽出
された上記複数の画像データ間の類似する領域を符号化
する第１の符号化工程と、上記類似する領域以外を符号
化する第２の符号化工程とを有することを特徴としてい
る。
【００３４】ここで、上記第１の符号化工程では、例え
ば上記類似する区間の位置差、輝度比及び当該類似する
領域の形状の情報が符号化される。
【００３５】このような信号処理プログラムは、入力さ
れた複数の画像データの少なくとも１つを複数の小領域
に分割し、その小領域毎に他の画像データとの類似性を
求め、それらを集計することによって複数の画像データ
間の類似性を評価する。そして、その類似性に基づい
て、複数の画像データ間の類似する領域を抽出して、そ
の類似する領域とそれ以外の領域とを別々に符号化す
る。
【００３６】また、上述した目的を達成するために、本
発明に係る記録媒体は、複数の画像データを入力し、当
該画像データのうち、少なくとも１つを複数の小領域に
分割する分割工程と、上記小領域を他の画像データと類
似するように変換したときの変換パラメータを抽出する
パラメータ抽出工程と、上記変換パラメータに基づいて
求めた類似の度合いを示す値を集計する集計工程と、当
該集計の結果に基づき、上記複数の画像データ間の類似
性を評価する類似性評価工程とを有することを特徴とす
る信号処理プログラムが記録されたコンピュータ制御可
能なものである。
【００３７】ここで、信号処理プログラムは、上記複数
の画像データ間の類似する領域を抽出する類似領域抽出
工程をさらに有してもよい。
【００３８】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めることができる。この
場合、上記変換パラメータは、例えば上記小領域と上記
他の画像データとの相関値が最大となるところにおける
位置差及び／又は輝度比であり、上記集計工程では、こ
の変換パラメータを軸とする空間に、上記複数の画像デ
ータ間の類似の度合いを示す値が集計される。
【００３９】このような記録媒体に記録されている信号
処理プログラムは、入力された複数の画像データの少な
くとも１つを複数の小領域に分割し、その小領域毎に他
の画像データとの類似性を求め、それらを集計すること
によって複数の画像データ間の類似性を評価する。ま
た、その類似性に基づいて、複数の画像データ間の類似
する領域を抽出する。
【００４０】また、上述した目的を達成するために、本
発明に係る記録媒体は、記録手段に記録されている画像
データを再生する再生工程と、再生されている上記画像
データの中から所望の画像データを指定する指定工程
と、上記所望の画像データを複数の小領域に分割する分
割工程と、上記小領域を上記記録手段に記録されている
検索対象画像データと類似するように変換したときの変
換パラメータを抽出するパラメータ抽出工程と、上記変
換パラメータに基づいて求めた類似の度合いを示す値を
集計する集計工程と、当該集計の結果に基づき、上記所
望の画像データと上記検索対象画像データとの類似性を
評価する類似性評価工程と、上記所望の画像データと上
記検索対象画像データとが類似する領域を検出する類似
領域検出工程とを有することを特徴とする信号処理プロ
グラムが記録されたコンピュータ制御可能なものであ
る。
【００４１】このような記録媒体に記録されている信号
処理プログラムは、再生されている画像データの中から
所望の画像データが指定されると、その画像データを複
数の小領域に分割し、その小領域毎に記録手段に記録さ
れている検索対象画像データとの類似性を求め、それら
を集計することによって複数の画像データ間の類似性を
評価して、その類似性に基づいて類似する領域を抽出す
る。
【００４２】また、上述した目的を達成するために、本
発明に係る記録媒体は、複数の画像データを入力し、当
該複数の画像データのうち、少なくとも１つの画像デー
タを複数の小領域に分割する分割工程と、上記小領域を
他の画像データと類似するように変換したときの変換パ
ラメータを抽出するパラメータ抽出工程と、上記変換パ
ラメータに基づいて求めた類似の度合いを示す値を集計
する集計工程と、当該集計の結果に基づき、上記複数の
画像データ間の類似性を評価する類似性評価工程と、上
記複数の画像データ間の類似する領域を検出する類似領
域抽出工程と、上記類似領域抽出工程で抽出された上記
複数の画像データ間の類似する領域を符号化する第１の
符号化工程と、上記類似する領域以外を符号化する第２
の符号化工程とを有することを特徴とする信号処理プロ
グラムが記録されたコンピュータ制御可能なものであ
る。
【００４３】ここで、信号処理プログラムの上記第１の
符号化工程では、例えば上記類似する区間の位置差、輝
度比及び当該類似する領域の形状の情報が符号化され
る。
【００４４】このような記録媒体に記録されている信号
処理プログラムは、入力された複数の画像データの少な
くとも１つを複数の小領域に分割し、その小領域毎に他
の画像データとの類似性を求め、それらを集計すること
によって複数の画像データ間の類似性を評価する。そし
て、その類似性に基づいて、複数の画像データ間の類似
する領域を抽出して、その類似する領域とそれ以外の領
域とを別々に符号化する。
【００４５】
【発明の実施の形態】以下、本発明を適用した具体的な
実施の形態について、図面を参照しながら詳細に説明す
る。この実施の形態は、本発明を、任意の２つ以上の画
像に対して、それらの部分的な類似性を評価し、類似す
る領域を自動的に抽出する信号処置装置に適用したもの
である。なお、以下では、入力される画像は、異なる２
枚の画像として説明するが、２枚以上の画像であっても
よく、また、映像データから得られる複数の画像や、１
枚の画像から得られる複数の部分画像であってもよい。
【００４６】先ず、本実施の形態における信号処理装置
の概略構成を図１に示す。図１に示すように、信号処理
装置１０は、第１の前処理部１１と、領域分割部１２
と、第２の前処理部１３と、類似度計算部１４と、投票
部１５と、類似判定部１６と、類似領域検出部１７とを
備えている。
【００４７】第１の前処理部１１は、比較する２つの画
像のうち、第１の画像に対して微分、高次微分等の画像
特徴を抽出する公知のフィルタ処理や、減色演算、単色
化処理又は２値化処理等の公知の変換処理や、エッジ検
出、エッジ密度検出又は局所カラーヒストグラム等の特
徴量に基づき以降の処理範囲を限定するような処理を施
す。なお、上述した処理を組み合わせた前処理を施すよ
うにしてもよく、また、何も処理を施さず、恒等変換を
行ってもよい。
【００４８】領域分割部１２は、第１の画像を小領域に
分割する。例えば、図２（Ａ）に示すように、６３個の
小領域に分割する。なお、分割数がこれに限定されない
ことは勿論であり、任意に設定することができる。但
し、小領域のサイズは、想定する類似領域よりも十分細
かく設定することが好ましい。例えば、前述した図９の
例では、ロゴ“ＡＢＥ”が少なくとも複数個に分割され
る程度に設定するのがよい。また、図２（Ａ）では、そ
れぞれの小領域が重ならないように分割しているが、重
なりを持たせて小領域をとるようにしても構わない。
【００４９】第２の前処理部１３は、比較する２つの画
像のうち、第２の画像に対して、第１の前処理部１１と
同様の前処理を施す。なお、第１の画像と同様に、何も
処理を施さず、恒等変換を行ってもよい。
【００５０】類似度計算部１４は、領域分割部１２にお
いて分割された小領域のそれぞれについて、第２の画像
との間で相関を計算する。相関を計算するには、通常
は、図２（Ｂ）に示すように、小領域のそれぞれをテン
プレートとし、第２の画像の全範囲について相関演算を
行う。そして類似度計算部１４は、得られた相関値の中
で最も相関値の高いものを探索し、その相関値ｓ、位置
差ｄｘ，ｄｙ及び輝度比ｌを取得する。ここで、位置差
とは、この小領域の第１の画像における本来の位置と相
関値が最大となる位置との相対的な位置関係を示すパラ
メータである。また、輝度比とは、相関値が最大となる
位置において小領域のパターンと第２の画像のパターン
との輝度が最も一致するような小領域のパターンに対す
る乗算係数である。例えば、映像データの揺らぎなど、
第１の画像及び第２の画像を取得したときの条件の違い
により全体的に画像の輝度が違っている場合には、その
違いがこの係数となる。また、類似度には相関値の２乗
を用いればよい。なお、上述した位置差ｄｘ，ｄｙ、輝
度比ｌ、類似度ｓは、相関法以外の方法で等価な特徴量
を求めてもよい。
【００５１】投票部１５は、得られた位置差ｄｘ，ｄ
ｙ、輝度比ｌ及び類似度ｓを投票空間に投票する。投票
空間は、図２（Ｃ）に示すように、位置差ｄｘ，ｄｙと
輝度比ｌを変数とし、類似度ｓの積算値を値とする特徴
空間であり、小領域から得られる位置差ｄｘ，ｄｙ、輝
度比ｌの位置に類似度ｓを積算する。なお、図２（Ｃ）
では、位置差ｄｘ，ｄｙを１つの軸で図示したが、一般
の画像の場合、水平方向と垂直方向との２つの軸がある
ため、投票空間の変数は３つとなる。また、演算効率を
上げる場合には、いずれかの軸を省略して次元を減らす
ようにしてもよい。
【００５２】第１の画像と第２の画像との間に類似する
部分が含まれている場合、該当する小領域においては、
そのパターンが類似するため、類似度ｓは高く、その位
置差ｄｘ，ｄｙ及び輝度比ｌは他の小領域と概ね一致す
る。
【００５３】一方、類似しない部分に該当する小領域で
は、偶然に最も類似する位置にて最大となる類似度が取
得されるため、概してその類似度ｓは低く、その位置差
ｄｘ，ｄｙ及び輝度比ｌは、他の小領域とは無関係なも
のとなる。
【００５４】従って、類似する部分がある場合には、そ
れに対応する複数の小領域の投票が同じ位置に集中する
ため、有意な大きさのピークを形成することが期待さ
れ、類似する部分がない場合には、そもそも類似度が小
さく、また、全ての投票が異なる位置に分散するため、
有意なピークは形成されない。そこで類似判定部１６
は、全ての小領域に関して投票が行われた後、投票空間
中の最大類似度ｓｍを探索し、その最大類似度ｓｍを閾
値ｓｔｈｓｄと比較することで、類似判定を行う。
【００５５】類似領域検出部１７は、類似判定部１６に
おいて類似していると判定された場合に、類似している
領域を検出する。類似領域検出部１７は、例えば、各小
領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク位置の位
置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近いもののみ
を選択することで、類似領域を検出する。
【００５６】以下、上述したような構成を有する信号処
理装置１０の動作について、図３のフローチャートを用
いて説明する。先ずステップＳ１０において、第１の画
像及び第２の画像に対して上述したような前処理を施
す。
【００５７】次にステップＳ１１において、第１の画像
を上述したように小領域に分割し、続くステップＳ１２
において、その小領域の中から１つの小領域を選択す
る。
【００５８】ステップＳ１３では、ステップＳ１２にお
いて選択された小領域について、第２の画像との相関を
計算する。すなわち例えば、選択した小領域について、
第２の画像の全範囲で相関法を用いることにより、第２
の画像との相関を計算する。
【００５９】ステップＳ１４では、ステップＳ１３にお
いて得られた類似度の中で最も大きいものを探索し、そ
の類似度ｓ、位置差ｄｘ，ｄｙ及び輝度比ｌを取得す
る。
【００６０】続くステップＳ１５では、ステップＳ１４
において得られた類似度ｓ、位置差ｄｘ，ｄｙ及び輝度
比ｌを投票空間に投票する。すなわち、小領域から得ら
れる位置差ｄｘ，ｄｙ及び輝度比ｌの位置に類似度ｓを
積算する。
【００６１】ステップＳ１６では、全ての小領域につい
て処理を終えたか否かが判別される。ステップＳ１６に
おいて、処理を終えていない小領域がある場合には、ス
テップＳ１２に戻って、残りの小領域について上述の処
理を繰り返し、全ての小領域の処理を終えている場合に
は、ステップＳ１７に進む。
【００６２】ステップＳ１７では、投票空間中の最大類
似度ｓｍを探索して取得し、続くステップＳ１８では、
その最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えてい
るか否かが判別される。ステップＳ１８において、最大
類似度ｓｍが所定の閾値ｓｔ ｈｓｄを超えていない場合
（No）、有意なピークが形成されていないとしてステッ
プＳ２１に進み、第１の画像と第２の画像とは類似しな
いと判定して終了する。ステップＳ１８において、最大
類似度ｓｍが所定の閾値ｓｔｈｓｄを超えている場合
（Yes）、有意なピークが形成されているとしてステッ
プＳ１９に進む。
【００６３】ステップＳ１９では、第１の画像と第２の
画像とは類似していると判定し、その位置差ｄｘｍ，ｄ
ｙｍ及び輝度比ｌｍを取得する。また、第１の画像と第
２の画像との類似度をｓｍとする。
【００６４】ステップＳ２０では、類似している領域を
検出する。すなわち、各小領域の位置差ｄｘ，ｄｙ及び
輝度比ｌがピーク位置の位置差ｄｘｍ，ｄｙｍ及び輝度
比ｌ ｍと十分近いもののみを選択して終了する。
【００６５】このように、本実施の形態における信号処
理装置１０は、類似するパターンが予め分からないよう
な任意の２つの画像に対しても、有意に類似又は非類似
の検出、評価が可能とされる。
【００６６】また、上述したように、信号処理装置１０
は、各小領域の位置差ｄｘ，ｄｙ及び輝度比ｌがピーク
位置の位置差ｄｘｍ，ｄｙｍ及び輝度比ｌｍと十分近い
もののみを選択することで、類似している領域を検出す
ることができる。
【００６７】なお、上述の説明では、小領域毎に第２の
画像との相関が最も高くなる１カ所における類似度ｓ、
位置差ｄｘ，ｄｙ及び輝度比ｌを取得して投票するもの
として説明したが、これに限定されるものではなく、相
関の高い数カ所の類似度ｓ、位置差ｄｘ，ｄｙ及び輝度
比ｌを取得して投票するようにしても構わない。
【００６８】また、上述の説明では、投票空間のピーク
位置での最大類似度ｓｍについてのみ閾値sｔｈｓｄと
比較し、閾値sｔｈｓｄを超えている場合に、そのピー
クに投票した小領域を逆に求めたが、これに限定される
ものではなく、閾値sｔｈｓｄを超えるピーク全てにつ
いて、そのピークに投票した小領域を求めるようにして
も構わない。これにより、第２の画像中に第１の画像と
類似する部分が複数ある場合にも、それらの全てを抽出
することができる。
【００６９】以上説明した信号処理装置１０は、例えば
図４に示すような映像／画像検索装置２０に用いること
ができる。この映像／画像検索装置２０は、記録された
映像若しくは画像等から類似する部分を検索するもので
ある。
【００７０】図４に示すように、映像／画像検索装置２
０は、記録部２１と、再生／表示部２２と、入力部２３
と、類似探索部２４とを備えている。ここで、類似探索
部２４は、上述した信号処理装置１０に相当するもので
ある。
【００７１】このような構成を有する映像／画像検索装
置２０の動作について、図５のフローチャートを用いて
説明する。ここで、記録部２１には、映像データや画像
データが記録されている。先ずステップＳ３０におい
て、ユーザは、記録部２１に記録されている信号、或い
は実時間で放送されている信号を再生／表示部２２にて
再生する。
【００７２】次にステップＳ３１において、その中で検
索したい画像或いはフレームを入力部２３を介して指定
する。指定された箇所は、類似探索部２４に通知され
る。
【００７３】続いてステップＳ３２において、類似探索
部２４は、記録部２１に記録されている検索対象データ
から類似部分がある映像データ又は画像データを探索す
る。
【００７４】なお、検索対象となる映像データ、画像デ
ータは、磁気記録媒体等に予め記録されているものに限
らず、実時間で放送されている信号やネットワークを介
して得られる信号であってもよい。ここで、実時間放送
の場合には、受信しながら類似部分がある映像データ又
は画像データを待つことになる。
【００７５】類似部分が発見されると、ステップＳ３３
において、それを再生／表示部２２に表示して終了す
る。
【００７６】なお、上述の例では、ユーザが再生されて
いる映像データ又は画像データの中で検索したい画像或
いはフレームを指定するものとして説明したが、これに
限定されるものではなく、例えばユーザが映像データ又
は画像データのファイル名等を指定し、指定されたファ
イル名の映像データ又は画像データに類似する映像デー
タ又は画像データを検索するようにしても構わない。ま
た、上述の例では、ユーザが検索したい画像或いはフレ
ームを直接指定するものとして説明したが、これに限定
されるものではなく、例えば他の装置とのインターフェ
ースを介して指定されるようにしても構わない。
【００７７】このような映像／画像検索装置２０によれ
ば、例えば放送のコマーシャル部分をユーザが指定した
場合、通例、同一会社の提供するコマーシャル等の関連
の強いコマーシャルには類似する部分が含まれているた
め、そのような関連の強いコマーシャルを検索すること
ができる。また、ユーザが指定した映像データ又は画像
データが類似する放送番組に共通に用いられている場
合、そのような類似する放送番組を検索することができ
る。
【００７８】また、上述した信号処理装置１０は、図６
に示すような画像符号化装置３０に用いることもでき
る。すなわち、上述した信号処理装置１０を画像符号化
装置に設け、複数の画像（１つの画像の異なる部分画像
である場合を含む）から予め類似する部分を別途まとめ
て符号化する前処理を行うことで、符号化効率（圧縮効
率）を向上させることができる。
【００７９】この画像符号化装置３０は、図６に示すよ
うに、類似領域検出部３１と、類似成分分離部３２と、
類似成分符号化部３３と、類似成分減算部３４と、画像
符号化部３５と、統合部３６とを備える。ここで、類似
領域検出部３１は、上述した信号処理装置１０に相当す
るものである。
【００８０】以上のような構成を有する画像符号化装置
３０の動作について、図７のフローチャート及び図８を
用いて説明する。先ずステップＳ４０において、類似領
域検出部３１は、第１の画像及び第２の画像を入力す
る。
【００８１】続いてステップＳ４１において、類似領域
検出部３１は、第２の画像の中に第１の画像と類似する
部分があるか否かを検出する。ステップＳ４１におい
て、類似する部分がある場合（Yes）にはステップＳ４
２に進み、類似する部分がない場合にはステップＳ４３
に進む。
【００８２】ステップＳ４２では、図８（Ａ）に示すよ
うに、類似成分分離部３２がその類似領域ａの位置ず
れ、輝度比及び領域形状を抽出し、類似成分符号化部３
３がこれらを符号化してステップＳ４１に戻り、さらに
類似する部分を検出する。これにより、図８（Ｂ）に示
すように、類似領域ｂが検出され、この類似領域ｂの位
置差、輝度比及び領域形状が符号化される。
【００８３】類似する区間を全て抽出及び符号化した
後、ステップＳ４３では、図８（Ｃ）に示すように、類
似成分減算部３４が、第２の画像から第１の画像と類似
する部分を減算する。
【００８４】ステップＳ４４では、画像符号化部３５が
第１の画像と類似部分が減算された第２の画像とを符号
化する。この符号化には、例えばＤＣＴ（Discrete Cos
ineTransform）法やWavelet法等の，一般的な画像符号
化法を用いることができる。
【００８５】ステップＳ４５では、統合部３６が、ステ
ップＳ４２で符号化された類似領域の位置差等の情報と
ステップＳ４４で符号化された第１の画像及び第２の画
像とを１つの符号系列として統合して出力して終了す
る。
【００８６】この画像符号化装置３０によれば、第１の
画像では、一般的な符号化方法がそのまま適用されるた
め、符号化効率は、一般的な符号化方法によるものと変
わらないが、第２の画像では、第１の画像と類似する部
分が予め減算されており、情報量が減少する。このた
め、通常の符号化方法をそのまま適用するよりも符号化
効率を向上させることができる。
【００８７】また、この画像符号化装置３０の手法を、
複数画像が連続する動画の圧縮に適用すると、ＭＰＥＧ
２（Moving Picture Experts Group 2）等の圧縮方式で
用いられている動きベクトルの効果的な検出手法として
利用することができる。
【００８８】以上説明したように、本実施の形態におけ
る信号処理装置によれば、入力された複数の画像データ
の少なくとも１つを小領域に分割し、その小領域毎に他
の画像データとの類似性を求め、それらを統合して全体
の類似性を評価することにより、従来検出できなかっ
た、部分的に類似するパターンを含む任意の画像データ
の類似性を評価し、また、類似領域を抽出することがで
きる。
【００８９】また、信号処理装置を映像／画像検索装置
に設けることにより、再生している映像データ或いは画
像データのうち所望の映像若しくは画像を指定すること
で、記録媒体に記録されている映像データ若しくは画像
データ、又はネットワーク等を介して取得した映像デー
タ若しくは画像データの中から、当該所望の映像若しく
は画像と部分的に類似するパターンを有する映像データ
若しくは画像データを検索することができる。
【００９０】また、この信号処理装置を画像符号化装置
に設け、予め類似するパターンを別途まとめて符号化す
る前処理を行うことにより、符号化効率を向上させるこ
とができる。
【００９１】なお、本発明は上述した実施の形態のみに
限定されるものではなく、本発明の要旨を逸脱しない範
囲において種々の変更が可能であることは勿論である。
【００９２】例えば、上述の説明では、最も一般的な類
似性評価量である２次誤差エネルギを最小化する手法、
すなわち相関法を用いたが、これに限定されるものでは
なく、他の類似性評価量に対しても適用することができ
る。
【００９３】
【発明の効果】以上詳細に説明したように本発明に係る
信号処理方法は、複数の画像データを入力し、当該複数
の画像データのうち、少なくとも１つを複数の小領域に
分割する分割工程と、上記小領域を他の画像データと類
似するように変換したときの変換パラメータを抽出する
パラメータ抽出工程と、上記変換パラメータに基づいて
求めた類似の度合いを示す値を集計する集計工程と、当
該集計の結果に基づき、上記複数の画像データ間の類似
性を評価する類似性評価工程とを有することを特徴とし
ている。
【００９４】ここで、信号処理方法は、上記複数の画像
データ間の類似する領域を抽出する類似領域抽出工程を
さらに有してもよい。
【００９５】また、信号処理方法では、相関法を用いて
上記変換パラメータを求めることができる。この場合、
上記変換パラメータは、例えば上記小領域と上記他の画
像データとの相関値が最大となるところにおける位置差
及び／又は輝度比であり、上記集計工程では、このパラ
メータを軸とする空間に、上記複数の画像データ間の類
似度に基づく値が集計される。
【００９６】このような信号処理方法では、入力された
複数の画像データの少なくとも１つが複数の小領域に分
割され、その小領域毎に他の画像データとの類似性が求
められ、それらを集計することによって複数の画像デー
タ間の類似性が評価される。また、その類似性に基づい
て、複数の画像データ間の類似する領域が抽出される。
【００９７】これにより、従来検出できなかった、部分
的に類似するパターンを含む任意の画像データの類似性
を評価し、また、類似領域を抽出することができる。
【００９８】また、本発明に係る信号処理方法は、記録
手段に記録されている画像データを再生する再生工程
と、再生されている上記画像データの中から所望の画像
データを指定する指定工程と、上記所望の画像データを
複数の小領域に分割する分割工程と、上記小領域を上記
記録手段に記録されている検索対象画像データと類似す
るように変換したときの変換パラメータを抽出するパラ
メータ抽出工程と、上記変換パラメータに基づいて求め
た類似の度合いを示す値を集計する集計工程と、当該集
計の結果に基づき、上記所望の画像データと上記検索対
象画像データとの類似性を評価する類似性評価工程と、
上記所望の画像データと上記検索対象画像データとが類
似する領域を検出する類似領域検出工程とを有すること
を特徴としている。
【００９９】このような信号処理方法では、再生されて
いる画像データの中から所望の画像データが指定される
と、その画像データが複数の小領域に分割され、その小
領域毎に記録手段に記録されている検索対象画像データ
との類似性が求められ、それらを集計することによって
複数の画像データ間の類似性が評価され、その類似性に
基づいて類似する領域が抽出される。
【０１００】これにより、再生している画像データのう
ち所望の画像データを指定することで、記録媒体に記録
されている画像データの中から、当該所望の画像データ
と部分的に類似するパターンを有する画像データを検索
することができる。
【０１０１】また、本発明に係る信号処理方法は、複数
の画像データを入力し、当該複数の画像データのうち、
少なくとも１つの画像データを複数の小領域に分割する
分割工程と、上記小領域を他の画像データと類似するよ
うに変換したときの変換パラメータを抽出するパラメー
タ抽出工程と、上記変換パラメータに基づいて求めた類
似の度合いを示す値を集計する集計工程と、当該集計の
結果に基づき、上記複数の画像データ間の類似性を評価
する類似性評価工程と、上記複数の画像データ間の類似
する領域を検出する類似領域抽出工程と、上記類似領域
抽出工程で抽出された上記複数の画像データ間の類似す
る領域を符号化する第１の符号化工程と、上記類似する
領域以外を符号化する第２の符号化工程とを有すること
を特徴としている。
【０１０２】ここで、上記第１の符号化工程では、例え
ば上記類似する区間の位置差、輝度比及び当該類似する
領域の形状の情報が符号化される。
【０１０３】このような信号処理方法では、入力された
複数の画像データの少なくとも１つが複数の小領域に分
割され、その小領域毎に他の画像データとの類似性が求
められ、それらを集計することによって複数の画像デー
タ間の類似性が評価される。そして、その類似性に基づ
いて、複数の画像データ間の類似する領域が抽出され、
その類似する領域とそれ以外の領域とが別々に符号化さ
れる。
【０１０４】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【０１０５】また、本発明に係る信号処理装置は、複数
の画像データを入力し、当該複数の画像データのうち、
少なくとも１つを複数の小領域に分割する分割手段と、
上記小領域を他の画像データと類似するように変換した
ときの変換パラメータを抽出するパラメータ抽出手段
と、上記変換パラメータに基づいて求めた類似の度合い
を示す値を集計する集計手段と、当該集計の結果に基づ
き、上記複数の画像データ間の類似性を評価する類似性
評価手段とを備えることを特徴としている。
【０１０６】ここで、信号処理装置は、上記複数の画像
データ間の類似する領域を抽出する類似領域抽出手段を
さらに備えてもよい。
【０１０７】また、信号処理装置では、相関法を用いて
上記変換パラメータを求めることができる。この場合、
上記変換パラメータは、例えば上記小領域と上記他の画
像データとの相関値が最大となるところにおける位置差
及び／又は輝度比であり、上記集計手段は、上記変換パ
ラメータを軸とする空間に、上記複数の画像データ間の
類似の度合いを示す値を集計する。
【０１０８】このような信号処理装置は、入力された複
数の画像データの少なくとも１つを複数の小領域に分割
し、その小領域毎に他の画像データとの類似性を求め、
それらを集計することによって複数の画像データ間の類
似性を評価する。また、その類似性に基づいて、複数の
画像データ間の類似する領域を抽出する。
【０１０９】これにより、従来検出できなかった、部分
的に類似するパターンを含む任意の画像データの類似性
を評価し、また、類似領域を抽出することができる。
【０１１０】また、本発明に係る信号処理装置は、複数
の画像データを記録する記録手段と、上記記録手段に記
録されている画像データを再生する再生手段と、再生さ
れている上記画像データの中から所望の画像データを指
定する指定手段と、上記所望の画像データを複数の小領
域に分割する分割手段と、上記小領域を上記記録手段に
記録されている検索対象画像データと類似するように変
換したときの変換パラメータを抽出するパラメータ抽出
手段と、上記変換パラメータにに基づいて求めた類似の
度合いを示す値を集計する集計手段と、当該集計の結果
に基づき、上記所望の画像データと上記検索対象画像デ
ータとの類似性を評価する類似性評価手段と、上記所望
の画像データと上記検索対象画像データとが類似する領
域を検出する類似領域検出手段とを備えることを特徴と
している。
【０１１１】このような信号処理装置は、再生されてい
る画像データの中から所望の画像データが指定される
と、その画像データを複数の小領域に分割し、その小領
域毎に記録手段に記録されている検索対象画像データと
の類似性を求め、それらを集計することによって複数の
画像データ間の類似性を評価して、その類似性に基づい
て類似する領域を抽出する。
【０１１２】これにより、再生している画像データのう
ち所望の画像を指定することで、記録媒体に記録されて
いる画像データの中から、当該所望の画像と部分的に類
似するパターンを有する画像データを検索することがで
きる。
【０１１３】また、本発明に係る信号処理装置は、複数
の画像データを入力し、当該複数の画像データのうち、
少なくとも１つの画像データを複数の小領域に分割する
分割手段と、上記小領域を他の画像データと類似するよ
うに変換したときの変換パラメータを抽出するパラメー
タ抽出手段と、上記変換パラメータに基づいて求めた類
似の度合いを示す値を集計する集計手段と、当該集計の
結果に基づき、上記複数の画像データ間の類似性を評価
する類似性評価手段と、上記複数の画像データ間の類似
する領域を検出する類似領域抽出手段と、上記類似領域
抽出手段によって抽出された上記複数の画像データ間の
類似する領域を符号化する第１の符号化手段と、上記類
似する領域以外を符号化する第２の符号化手段とを備え
ることを特徴としている。
【０１１４】ここで、上記第１の符号化手段は、例えば
上記類似する区間の位置差、輝度比及び当該類似する領
域の形状の情報を符号化する。
【０１１５】このような信号処理装置は、入力された複
数の画像データの少なくとも１つを複数の小領域に分割
し、その小領域毎に他の画像データとの類似性を求め、
それらを集計することによって複数の画像データ間の類
似性を評価する。そして、その類似性に基づいて、複数
の画像データ間の類似する領域を抽出して、その類似す
る領域とそれ以外の領域とを別々に符号化する。
【０１１６】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【０１１７】また、本発明に係る信号処理プログラム
は、複数の画像データを入力し、当該複数の画像データ
のうち、少なくとも１つを複数の小領域に分割する分割
工程と、上記小領域を他の画像データと類似するように
変換したときの変換パラメータを抽出するパラメータ抽
出工程と、上記変換パラメータに基づいて求めた類似の
度合いを示す値を集計する集計工程と、当該集計の結果
に基づき、上記複数の画像データ間の類似性を評価する
類似性評価工程とを有することを特徴としている。
【０１１８】ここで、信号処理プログラムは、上記複数
の画像データ間の類似する領域を抽出する類似領域抽出
工程をさらに有してもよい。
【０１１９】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めることができる。この
場合、上記変換パラメータは、例えば上記小領域と上記
他の画像データとの相関値が最大となるところにおける
位置差及び／又は輝度比であり、上記集計工程では、こ
の変換パラメータを軸とする空間に、上記複数の画像デ
ータ間の類似の度合いを示す値が集計される。
【０１２０】このような信号処理プログラムは、入力さ
れた複数の画像データの少なくとも１つを複数の小領域
に分割し、その小領域毎に他の画像データとの類似性を
求め、それらを集計することによって複数の画像データ
間の類似性を評価する。また、その類似性に基づいて、
複数の画像データ間の類似する領域を抽出する。
【０１２１】これにより、従来検出できなかった、部分
的に類似するパターンを含む任意の画像データの類似性
を評価し、また、類似領域を抽出することができる。
【０１２２】また、本発明に係る信号処理プログラム
は、記録手段に記録されている画像データを再生する再
生工程と、再生されている上記画像データの中から所望
の画像データを指定する指定工程と、上記所望の画像デ
ータを複数の小領域に分割する分割工程と、上記小領域
を上記記録手段に記録されている検索対象画像データと
類似するように変換したときの変換パラメータを抽出す
るパラメータ抽出工程と、上記変換パラメータに基づい
て求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記所望の画像データと上記
検索対象画像データとの類似性を評価する類似性評価工
程と、上記所望の画像データと上記検索対象画像データ
とが類似する領域を検出する類似領域検出工程とを有す
ることを特徴としている。
【０１２３】このような信号処理プログラムは、再生さ
れている画像データの中から所望の画像データが指定さ
れると、その画像データを複数の小領域に分割し、その
小領域毎に記録手段に記録されている検索対象画像デー
タとの類似性を求め、それらを集計することによって複
数の画像データ間の類似性を評価して、その類似性に基
づいて類似する領域を抽出する。
【０１２４】これにより、再生している画像データのう
ち所望の画像データを指定することで、記録媒体に記録
されている画像データの中から、当該所望の画像データ
と部分的に類似するパターンを有する画像データを検索
することができる。
【０１２５】また、本発明に係る信号処理プログラム
は、複数の画像データを入力し、当該複数の画像データ
のうち、少なくとも１つの画像データを複数の小領域に
分割する分割工程と、上記小領域を他の画像データと類
似するように変換したときの変換パラメータを抽出する
パラメータ抽出工程と、上記変換パラメータに基づいて
求めた類似の度合いを示す値を集計する集計工程と、当
該集計の結果に基づき、上記複数の画像データ間の類似
性を評価する類似性評価工程と、上記複数の画像データ
間の類似する領域を検出する類似領域抽出工程と、上記
類似領域抽出工程で抽出された上記複数の画像データ間
の類似する領域を符号化する第１の符号化工程と、上記
類似する領域以外を符号化する第２の符号化工程とを有
することを特徴としている。
【０１２６】ここで、上記第１の符号化工程では、例え
ば上記類似する区間の位置差、輝度比及び当該類似する
領域の形状の情報が符号化される。
【０１２７】このような信号処理プログラムは、入力さ
れた複数の画像データの少なくとも１つを複数の小領域
に分割し、その小領域毎に他の画像データとの類似性を
求め、それらを集計することによって複数の画像データ
間の類似性を評価する。そして、その類似性に基づい
て、複数の画像データ間の類似する領域を抽出して、そ
の類似する領域とそれ以外の領域とを別々に符号化す
る。
【０１２８】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【０１２９】また、本発明に係る記録媒体は、複数の画
像データを入力し、当該複数の画像データのうち、少な
くとも１つを複数の小領域に分割する分割工程と、上記
小領域を他の画像データと類似するように変換したとき
の変換パラメータを抽出するパラメータ抽出工程と、上
記変換パラメータに基づいて求めた類似の度合いを示す
値を集計する集計工程と、当該集計の結果に基づき、上
記複数の画像データ間の類似性を評価する類似性評価工
程とを有することを特徴とする信号処理プログラムが記
録されたコンピュータ制御可能なものである。
【０１３０】ここで、信号処理プログラムは、上記複数
の画像データ間の類似する領域を抽出する類似領域抽出
工程をさらに有してもよい。
【０１３１】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めることができる。この
場合、上記変換パラメータは、例えば上記小領域と上記
他の画像データとの相関値が最大となるところにおける
位置差及び／又は輝度比であり、上記集計工程では、こ
の変換パラメータを軸とする空間に、上記複数の画像デ
ータ間の類似の度合いを示す値が集計される。
【０１３２】このような記録媒体に記録されている信号
処理プログラムは、入力された複数の画像データの少な
くとも１つを複数の小領域に分割し、その小領域毎に他
の画像データとの類似性を求め、それらを集計すること
によって複数の画像データ間の類似性を評価する。ま
た、その類似性に基づいて、複数の画像データ間の類似
する領域を抽出する。
【０１３３】これにより、従来検出できなかった、部分
的に類似するパターンを含む任意の画像データの類似性
を評価し、また、類似領域を抽出することができる。
【０１３４】また、本発明に係る記録媒体は、記録手段
に記録されている画像データを再生する再生工程と、再
生されている上記画像データの中から所望の画像データ
を指定する指定工程と、上記所望の画像データを複数の
小領域に分割する分割工程と、上記小領域を上記記録手
段に記録されている検索対象画像データと類似するよう
に変換したときの変換パラメータを抽出するパラメータ
抽出工程と、上記変換パラメータに基づいて求めた類似
の度合いを示す値を集計する集計工程と、当該集計の結
果に基づき、上記所望の画像データと上記検索対象画像
データとの類似性を評価する類似性評価工程と、上記所
望の画像データと上記検索対象画像データとが類似する
領域を検出する類似領域検出工程とを有することを特徴
とする信号処理プログラムが記録されたコンピュータ制
御可能なものである。
【０１３５】このような記録媒体に記録されている信号
処理プログラムは、再生されている画像データの中から
所望の画像データが指定されると、その画像データを複
数の小領域に分割し、その小領域毎に記録手段に記録さ
れている検索対象画像データとの類似性を求め、それら
を集計することによって複数の画像データ間の類似性を
評価して、その類似性に基づいて類似する領域を抽出す
る。
【０１３６】これにより、再生している画像データのう
ち所望の画像データを指定することで、記録媒体に記録
されている画像データの中から、当該所望の画像データ
と部分的に類似するパターンを有する画像データを検索
することができる。
【０１３７】また、本発明に係る記録媒体は、複数の画
像データを入力し、当該複数の画像データのうち、少な
くとも１つの画像データを複数の小領域に分割する分割
工程と、上記小領域を他の画像データと類似するように
変換したときの変換パラメータを抽出するパラメータ抽
出工程と、上記変換パラメータに基づいて求めた類似の
度合いを示す値を集計する集計工程と、当該集計の結果
に基づき、上記複数の画像データ間の類似性を評価する
類似性評価工程と、上記複数の画像データ間の類似する
領域を検出する類似領域抽出工程と、上記類似領域抽出
工程で抽出された上記複数の画像データ間の類似する領
域を符号化する第１の符号化工程と、上記類似する領域
以外を符号化する第２の符号化工程とを有することを特
徴とする信号処理プログラムが記録されたコンピュータ
制御可能なものである。
【０１３８】ここで、信号処理プログラムの上記第１の
符号化工程では、例えば上記類似する区間の位置差、輝
度比及び当該類似する領域の形状の情報が符号化され
る。
【０１３９】このような記録媒体に記録されている信号
処理プログラムは、入力された複数の画像データの少な
くとも１つを複数の小領域に分割し、その小領域毎に他
の画像データとの類似性を求め、それらを集計すること
によって複数の画像データ間の類似性を評価する。そし
て、その類似性に基づいて、複数の画像データ間の類似
する領域を抽出して、その類似する領域とそれ以外の領
域とを別々に符号化する。
【０１４０】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【図面の簡単な説明】
【図１】本実施の形態における信号処理装置の概略構成
を説明する図である。
【図２】同信号処理装置の動作を説明する図であり、同
図（Ａ）は、第１の画像を小領域に分割する様子を示
し、同図（Ｂ）は、第２の画像中で類似する領域を相関
法により検出する様子を示し、同図（Ｃ）は、その領域
のパラメータを投票空間に投票する様子を示す。
【図３】同信号処理装置の動作を説明するフローチャー
トである。
【図４】同信号処理装置を適用した映像／画像検索装置
の概略構成を説明する図である。
【図５】同映像／画像検索装置の動作を説明するフロー
チャートである。
【図６】同信号処理装置を適用した画像符号化装置の概
略構成を説明する図である。
【図７】同画像符号化装置の動作を説明するフローチャ
ートである。
【図８】同画像符号化装置の動作を説明する図であり、
同図（Ａ）は、類似領域ａが検出された様子を示し、同
図（Ｂ）は、類似領域ｂが検出された様子を示し、同図
（Ｃ）は、第２の画像から類似領域が減算された様子を
示す。
【図９】同一のロゴが含まれる画像の例を説明する図で
ある。
【符号の説明】
１０ 信号処理装置、１１ 第１の前処理部、１２ 領
域分割部、１３ 第２の前処理部、１４ 類似度計算
部、１５ 投票部、１６ 類似判定部、１７ 類似領域
検出部、２０ 映像／画像検索装置、２１ 記録部、２
２ 再生／表示部、２３ 入力部、２４ 類似探索部、
３０ 画像符号化装置、３１ 類似領域検出部、３２
類似成分分離部、３３ 類似成分符号化部、３４ 類似
成分減算部、３５ 画像符号化部、３６ 統合部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5L096 AA06 CA04 DA02 EA45 FA22 FA34 FA35 FA69 GA08 GA51 HA02 HA08 JA03 JA11

Claims (52)

    【特許請求の範囲】
  1. 【請求項１】 複数の画像データを入力し、当該画像デ
    ータのうち、少なくとも１つを複数の小領域に分割する
    分割工程と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出工程
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価工程とを有することを特徴と
    する信号処理方法。
  2. 【請求項２】 上記複数の画像データ間の類似する領域
    を抽出する類似領域抽出工程をさらに有することを特徴
    とする請求項１記載の信号処理方法。
  3. 【請求項３】 上記類似領域抽出工程では、上記集計の
    結果が最大となるところにおける上記変換パラメータと
    略等しい変換パラメータの抽出された上記小領域が抽出
    されることを特徴とする請求項２記載の信号処理方法。
  4. 【請求項４】 相関法を用いて上記変換パラメータを求
    めることを特徴とする請求項１記載の信号処理方法。
  5. 【請求項５】 上記所定の変換は、シフト変換及び／又
    は輝度値の変更であり、 上記変換パラメータは、上記小領域と上記他の画像デー
    タとの相関値が最大となるところにおける位置差及び／
    又は輝度比であることを特徴とする請求項４記載の信号
    処理方法。
  6. 【請求項６】 上記集計工程では、上記変換パラメータ
    を軸とする空間に、上記複数の画像データ間の類似の度
    合いを示す値が集計されることを特徴とする請求項１記
    載の信号処理方法。
  7. 【請求項７】 上記集計工程における上記類似の度合い
    を示す値は、上記複数の画像データ間の類似度に比例し
    た値であることを特徴する請求項１記載の信号処理方
    法。
  8. 【請求項８】 上記類似度として、上記複数の画像デー
    タ間の相関値又は当該相関値の自乗を用いることを特徴
    する請求項７記載の信号処理方法。
  9. 【請求項９】 上記複数の画像データは、一の画像デー
    タの異なる部分画像データであることを特徴とする請求
    項１記載の信号処理方法。
  10. 【請求項１０】 記録手段に記録されている画像データ
    を再生する再生工程と、 再生されている上記画像データの中から所望の画像デー
    タを指定する指定工程と、 上記所望の画像データを複数の小領域に分割する分割工
    程と、 上記小領域を上記記録手段に記録されている検索対象画
    像データと類似するように変換したときの変換パラメー
    タを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記所望の画像データと上記
    検索対象画像データとの類似性を評価する類似性評価工
    程と、 上記所望の画像データと上記検索対象画像データとが類
    似する領域を検出する類似領域検出工程とを有すること
    を特徴とする信号処理方法。
  11. 【請求項１１】 ネットワーク又は放送信号から上記検
    索対象画像データを取得することを特徴とする請求項１
    ０記載の信号処理方法。
  12. 【請求項１２】 複数の画像データを入力し、当該複数
    の画像データのうち、少なくとも１つの画像データを複
    数の小領域に分割する分割工程と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出工程
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価工程と、 上記複数の画像データ間の類似する領域を検出する類似
    領域抽出工程と、 上記類似領域抽出工程で抽出された上記複数の画像デー
    タ間の類似する領域を符号化する第１の符号化工程と、 上記類似する領域以外を符号化する第２の符号化工程と
    を有することを特徴とする信号処理方法。
  13. 【請求項１３】 上記第１の符号化工程では、上記類似
    する区間の位置差、輝度比及び当該類似する領域の形状
    の情報が符号化されることを特徴とする請求項１２記載
    の信号処理方法。
  14. 【請求項１４】 複数の画像データを入力し、当該画像
    データのうち、少なくとも１つを複数の小領域に分割す
    る分割手段と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出手段
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計手段と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価手段とを備えることを特徴と
    する信号処理装置。
  15. 【請求項１５】 上記複数の画像データ間の類似する領
    域を抽出する類似領域抽出手段をさらに備えることを特
    徴とする請求項１４記載の信号処理装置。
  16. 【請求項１６】 上記類似領域抽出手段は、上記集計の
    結果が最大となるところにおける上記変換パラメータと
    略等しい変換パラメータの抽出された上記小領域を抽出
    することを特徴とする請求項１５記載の信号処理装置。
  17. 【請求項１７】 相関法を用いて上記変換パラメータを
    求めることを特徴とする請求項１４記載の信号処理装
    置。
  18. 【請求項１８】 上記変換は、シフト変換及び／又は輝
    度値の変更であり、上記変換パラメータは、上記小領域
    と上記他の画像データとの相関値が最大となるところに
    おける位置差及び／又は輝度比であることを特徴とする
    請求項１７記載の信号処理装置。
  19. 【請求項１９】 上記集計手段は、上記変換パラメータ
    を軸とする空間に、上記複数の画像データ間の類似の度
    合いを示す値を集計することを特徴とする請求項１４記
    載の信号処理装置。
  20. 【請求項２０】 上記類似の度合いを示す値は、上記複
    数の画像データ間の類似度に比例した値であることを特
    徴する請求項１４記載の信号処理装置。
  21. 【請求項２１】 上記類似度として、上記複数の画像デ
    ータ間の相関値又は当該相関値の自乗を用いることを特
    徴する請求項２０記載の信号処理装置。
  22. 【請求項２２】 上記複数の画像データは、一の画像デ
    ータの異なる部分画像データであることを特徴とする請
    求項１４記載の信号処理装置。
  23. 【請求項２３】 複数の画像データを記録する記録手段
    と、 上記記録手段に記録されている画像データを再生する再
    生手段と、 再生されている上記画像データの中から所望の画像デー
    タを指定する指定手段と、 上記所望の画像データを複数の小領域に分割する分割手
    段と、 上記小領域を上記記録手段に記録されている検索対象画
    像データと類似するように変換したときの変換パラメー
    タを抽出するパラメータ抽出手段と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計手段と、 当該集計の結果に基づき、上記所望の画像データと上記
    検索対象画像データとの類似性を評価する類似性評価手
    段と、 上記所望の画像データと上記検索対象画像データとが類
    似する領域を検出する類似領域検出手段とを備えること
    を特徴とする信号処理装置。
  24. 【請求項２４】 ネットワーク又は放送信号から上記検
    索対象画像データを取得することを特徴とする請求項２
    ３記載の信号処理装置。
  25. 【請求項２５】 複数の画像データを入力し、当該複数
    の画像データのうち、少なくとも１つの画像データを複
    数の小領域に分割する分割手段と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出手段
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計手段と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価手段と、 上記複数の画像データ間の類似する領域を検出する類似
    領域抽出手段と、 上記類似領域抽出手段によって抽出された上記複数の画
    像データ間の類似する領域を符号化する第１の符号化手
    段と、 上記類似する領域以外を符号化する第２の符号化手段と
    を備えることを特徴とする信号処理装置。
  26. 【請求項２６】 上記第１の符号化手段は、上記類似す
    る区間の位置差、輝度比及び当該類似する領域の形状の
    情報を符号化することを特徴とする請求項２５記載の信
    号処理装置。
  27. 【請求項２７】 複数の画像データを入力し、当該画像
    データのうち、少なくとも１つを複数の小領域に分割す
    る分割工程と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出工程
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価工程とを有することを特徴と
    する信号処理プログラム。
  28. 【請求項２８】 上記複数の画像データ間の類似する領
    域を抽出する類似領域抽出工程をさらに有することを特
    徴とする請求項２７記載の信号処理プログラム。
  29. 【請求項２９】 上記類似領域抽出工程では、上記集計
    の結果が最大となるところにおける上記変換パラメータ
    と略等しい変換パラメータの抽出された上記小領域が抽
    出されることを特徴とする請求項２８記載の信号処理プ
    ログラム。
  30. 【請求項３０】 相関法を用いて上記変換パラメータを
    求めることを特徴とする請求項２７記載の信号処理プロ
    グラム。
  31. 【請求項３１】 上記変換は、シフト変換及び／又は輝
    度値の変更であり、 上記変換パラメータは、上記小領域と上記他の画像デー
    タとの相関値が最大となるところにおける位置差及び／
    又は輝度比であることを特徴とする請求項３０記載の信
    号処理プログラム。
  32. 【請求項３２】 上記集計工程では、上記変換パラメー
    タを軸とする空間に、上記複数の画像データ間の類似の
    度合いを示す値が集計されることを特徴とする請求項２
    ７記載の信号処理プログラム。
  33. 【請求項３３】 上記集計工程における上記類似の度合
    いを示す値は、上記複数の画像データ間の類似度に比例
    した値であることを特徴する請求項２７記載の信号処理
    プログラム。
  34. 【請求項３４】 上記類似度として、上記複数の画像デ
    ータ間の相関値又は当該相関値の自乗を用いることを特
    徴する請求項３３記載の信号処理プログラム。
  35. 【請求項３５】 上記複数の画像データは、一の画像デ
    ータの異なる部分画像データであることを特徴とする請
    求項２７記載の信号処理プログラム。
  36. 【請求項３６】 記録手段に記録されている画像データ
    を再生する再生工程と、 再生されている上記画像データの中から所望の画像デー
    タを指定する指定工程と、 上記所望の画像データを複数の小領域に分割する分割工
    程と、 上記小領域を上記記録手段に記録されている検索対象画
    像データと類似するように変換したときの変換パラメー
    タを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記所望の画像データと上記
    検索対象画像データとの類似性を評価する類似性評価工
    程と、 上記所望の画像データと上記検索対象画像データとが類
    似する領域を検出する類似領域検出工程とを有すること
    を特徴とする信号処理プログラム。
  37. 【請求項３７】 ネットワーク又は放送信号から上記検
    索対象画像データを取得することを特徴とする請求項３
    ６記載の信号処理プログラム。
  38. 【請求項３８】 複数の画像データを入力し、当該複数
    の画像データのうち、少なくとも１つの画像データを複
    数の小領域に分割する分割工程と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出工程
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価工程と、 上記複数の画像データ間の類似する領域を検出する類似
    領域抽出工程と、 上記類似領域抽出工程で抽出された上記複数の画像デー
    タ間の類似する領域を符号化する第１の符号化工程と、 上記類似する領域以外を符号化する第２の符号化工程と
    を有することを特徴とする信号処理プログラム。
  39. 【請求項３９】 上記第１の符号化工程では、上記類似
    する区間の位置差、輝度比及び当該類似する領域の形状
    の情報が符号化されることを特徴とする請求項３８記載
    の信号処理プログラム。
  40. 【請求項４０】 複数の画像データを入力し、当該複数
    の画像データのうち、少なくとも１つを複数の小領域に
    分割する分割工程と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出工程
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価工程とを有することを特徴と
    する信号処理プログラムが記録されたコンピュータ制御
    可能な記録媒体。
  41. 【請求項４１】 上記複数の画像データ間の類似する領
    域を抽出する類似領域抽出工程をさらに有することを特
    徴とする信号処理プログラムが記録された請求項４０記
    載の記録媒体。
  42. 【請求項４２】 上記類似領域抽出工程では、上記集計
    の結果が最大となるところにおける上記変換パラメータ
    と略等しい変換パラメータの抽出された上記小領域が抽
    出されることを特徴とする信号処理プログラムが記録さ
    れた請求項４１記載の記録媒体。
  43. 【請求項４３】 相関法を用いて変換上記パラメータを
    求めることを特徴とする信号処理プログラムが記録され
    た請求項４０記載の記録媒体。
  44. 【請求項４４】 上記変換は、シフト変換及び／又は輝
    度値の変更であり、上記変換パラメータは、上記小領域
    と上記他の画像データとの相関値が最大となるところに
    おける位置差及び／又は輝度比であることを特徴とする
    信号処理プログラムが記録された請求項４３記載の記録
    媒体。
  45. 【請求項４５】 上記集計工程では、上記変換パラメー
    タを軸とする空間に、上記複数の画像データ間の類似の
    度合いを示す値が集計されることを特徴とする信号処理
    プログラムが記録された請求項４０記載の記録媒体。
  46. 【請求項４６】 上記集計工程における上記類似の度合
    いを示す値は、上記複数の画像データ間の類似度に比例
    した値であることを特徴する信号処理プログラムが記録
    された請求項４０記載の記録媒体。
  47. 【請求項４７】 上記類似度として、上記複数の画像デ
    ータ間の相関値又は当該相関値の自乗を用いることを特
    徴する信号処理プログラムが記録された請求項４６記載
    の記録媒体。
  48. 【請求項４８】 上記複数の画像データは、一の画像デ
    ータの異なる部分画像データであることを特徴とする信
    号処理プログラムが記録された請求項４０記載の記録媒
    体。
  49. 【請求項４９】 記録手段に記録されている画像データ
    を再生する再生工程と、 再生されている上記画像データの中から所望の画像デー
    タを指定する指定工程と、 上記所望の画像データを複数の小領域に分割する分割工
    程と、 上記小領域を上記記録手段に記録されている検索対象画
    像データと類似するように変換したときの変換パラメー
    タを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記所望の画像データと上記
    検索対象画像データとの類似性を評価する類似性評価工
    程と、 上記所望の画像データと上記検索対象画像データとが類
    似する領域を検出する類似領域検出工程とを有すること
    を特徴とする信号処理プログラムが記録されたコンピュ
    ータ制御可能な記録媒体。
  50. 【請求項５０】 ネットワーク又は放送信号から上記検
    索対象画像データを取得することを特徴とする信号処理
    プログラムが記録された請求項４９記載の記録媒体。
  51. 【請求項５１】 複数の画像データを入力し、当該複数
    の画像データのうち、少なくとも１つの画像データを複
    数の小領域に分割する分割工程と、 上記小領域を他の画像データと類似するように変換した
    ときの変換パラメータを抽出するパラメータ抽出工程
    と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の画像データ間の類
    似性を評価する類似性評価工程と、 上記複数の画像データ間の類似する領域を検出する類似
    領域抽出工程と、 上記類似領域抽出工程で抽出された上記複数の画像デー
    タ間の類似する領域を符号化する第１の符号化工程と、 上記類似する領域以外を符号化する第２の符号化工程と
    を有することを特徴とする信号処理プログラムが記録さ
    れたコンピュータ制御可能な記録媒体。
  52. 【請求項５２】 上記第１の符号化工程では、上記類似
    する区間の位置差、輝度比及び当該類似する領域の形状
    の情報が符号化されることを特徴とする信号処理プログ
    ラムが記録された請求項５１記載の記録媒体。
JP2001324255A 2001-10-22 2001-10-22 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 Expired - Fee Related JP3997749B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001324255A JP3997749B2 (ja) 2001-10-22 2001-10-22 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
CNB028032691A CN100365661C (zh) 2001-10-22 2002-10-16 信号处理方法及设备
US10/451,360 US7729545B2 (en) 2001-10-22 2002-10-16 Signal processing method and method for determining image similarity
EP02802019A EP1439491B1 (en) 2001-10-22 2002-10-16 Signal processing method and processor
PCT/JP2002/010749 WO2003036563A1 (fr) 2001-10-22 2002-10-16 Procede et processeur de traitement de signal
DE60239627T DE60239627D1 (de) 2001-10-22 2002-10-16 Signalverarbeitungsverfahren und prozessor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001324255A JP3997749B2 (ja) 2001-10-22 2001-10-22 信号処理方法及び装置、信号処理プログラム、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2003132354A true JP2003132354A (ja) 2003-05-09
JP2003132354A5 JP2003132354A5 (ja) 2005-04-07
JP3997749B2 JP3997749B2 (ja) 2007-10-24

Family

ID=19141005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001324255A Expired - Fee Related JP3997749B2 (ja) 2001-10-22 2001-10-22 信号処理方法及び装置、信号処理プログラム、並びに記録媒体

Country Status (6)

Country Link
US (1) US7729545B2 (ja)
EP (1) EP1439491B1 (ja)
JP (1) JP3997749B2 (ja)
CN (1) CN100365661C (ja)
DE (1) DE60239627D1 (ja)
WO (1) WO2003036563A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017525A (ja) * 2006-09-19 2009-01-22 Sharp Corp 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、コンピュータプログラム、及び記録媒体
US8107728B2 (en) 2006-09-19 2012-01-31 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, computer program and recording medium
JP2012133679A (ja) * 2010-12-22 2012-07-12 Fujitsu Ltd 画像照合プログラム、画像照合方法、及び画像照合装置
JP2019121982A (ja) * 2018-01-10 2019-07-22 京セラドキュメントソリューションズ株式会社 監視システムおよび撮像装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4255239B2 (ja) * 2002-03-29 2009-04-15 富士通株式会社 文書検索方法
CN101110101A (zh) * 2006-07-17 2008-01-23 松下电器产业株式会社 识别图像的方法及设备
CN102156869B (zh) * 2006-07-17 2012-10-17 松下电器产业株式会社 检测由任意线段组合的形状的方法及装置
JP5004743B2 (ja) * 2007-10-10 2012-08-22 東芝情報システム株式会社 データ処理装置
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US8086502B2 (en) 2008-03-31 2011-12-27 Ebay Inc. Method and system for mobile publication
US7991646B2 (en) 2008-10-30 2011-08-02 Ebay Inc. Systems and methods for marketplace listings using a camera enabled mobile device
US8825660B2 (en) 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
EP2407928A1 (en) * 2010-07-16 2012-01-18 STMicroelectronics (Grenoble 2) SAS Fidelity measurement of digital images
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
KR101569622B1 (ko) * 2014-05-14 2015-11-16 엘에스산전 주식회사 컨버터 및 그 동작 방법
KR101858829B1 (ko) * 2016-09-12 2018-05-18 주식회사 포스코 편석 분석 장치 및 방법
KR102541500B1 (ko) * 2022-11-14 2023-06-13 (주)오로스테크놀로지 상관관계 기반 오버레이 키 센터링 시스템 및 그 방법
KR102560241B1 (ko) 2022-11-14 2023-07-28 (주)오로스테크놀로지 딥러닝 기반 오버레이 키 센터링 시스템 및 그 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3713100B2 (en) * 1953-02-10 1991-05-07 Method and apparatus for identifying letters,characters,symbols,and the like
US3576534A (en) * 1969-08-11 1971-04-27 Compuscan Inc Image cross correlator
JPS5214112B2 (ja) * 1973-02-22 1977-04-19
US4110737A (en) * 1977-08-22 1978-08-29 The Singer Company Character recognition apparatus for serially comparing an unknown character with a plurality of reference characters
US4736437A (en) * 1982-11-22 1988-04-05 View Engineering, Inc. High speed pattern recognizer
JPH07118784B2 (ja) * 1984-10-27 1995-12-18 ソニー株式会社 テレビジヨン信号の動き検出方法
JPH082106B2 (ja) 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
US5406642A (en) 1988-12-23 1995-04-11 Nec Corporation Image matching method using direction sensitivity and vector smoothing functions for correcting matches
JP2941846B2 (ja) 1989-05-26 1999-08-30 キヤノン株式会社 符号化及び復号化装置
JPH03260782A (ja) * 1990-03-09 1991-11-20 Eastman Kodak Japan Kk パターン認識装置
JP3373008B2 (ja) * 1993-10-20 2003-02-04 オリンパス光学工業株式会社 画像像域分離装置
JPH0879760A (ja) 1994-09-05 1996-03-22 Oki Electric Ind Co Ltd 動きベクトル検出回路
KR0154921B1 (ko) * 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 이용하기 위한 움직임 추정기
JP2778567B2 (ja) 1995-12-23 1998-07-23 日本電気株式会社 信号符号化装置及び方法
US5809171A (en) * 1996-01-05 1998-09-15 Mcdonnell Douglas Corporation Image processing method and apparatus for correlating a test image with a template
US5809717A (en) * 1996-02-15 1998-09-22 Sequoyah Exo Systems, Inc. Apparatus and method for assembling composite building panels
US5845241A (en) 1996-09-04 1998-12-01 Hughes Electronics Corporation High-accuracy, low-distortion time-frequency analysis of signals using rotated-window spectrograms
JPH10336593A (ja) 1997-03-31 1998-12-18 Hitachi Ltd 同期型映像処理システムおよび方法
EP0869445A3 (en) 1997-03-31 2002-11-06 Hitachi, Ltd. Video signal processing system and method using time code
KR100234264B1 (ko) * 1997-04-15 1999-12-15 윤종용 타겟윈도우 이동을 통한 블록 매칭방법
JP3242864B2 (ja) 1997-06-12 2001-12-25 アロカ株式会社 超音波診断装置および超音波診断用の超音波送受信方法
US6038069A (en) 1997-06-18 2000-03-14 Konica Corporation Real image type zoom finder
JPH11328311A (ja) 1997-08-06 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 画像内のパターン抽出方法、画像内のパターン認識方法及び画像異常判定方法並びに記憶媒体
US6438165B2 (en) * 1998-03-09 2002-08-20 Lg Electronics Method and apparatus for advanced encoder system
JP3065314B1 (ja) 1998-06-01 2000-07-17 日本電信電話株式会社 高速信号探索方法、装置およびその記録媒体
JP4057147B2 (ja) * 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
JP2000078589A (ja) 1998-08-27 2000-03-14 Sony Corp 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
EP0973336A2 (en) 1998-07-15 2000-01-19 Sony Corporation Motion vector detecting, picture encoding and recording method and apparatus
US6226606B1 (en) 1998-11-24 2001-05-01 Microsoft Corporation Method and apparatus for pitch tracking
US6661918B1 (en) * 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6330428B1 (en) 1998-12-23 2001-12-11 Nortel Networks Limited Voice quality performance evaluator and method of operation in conjunction with a communication network
US6625216B1 (en) * 1999-01-27 2003-09-23 Matsushita Electic Industrial Co., Ltd. Motion estimation using orthogonal transform-domain block matching
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2001228900A (ja) 1999-12-10 2001-08-24 Ricoh Co Ltd 音声パラメータ符号化装置およびその装置に用いられる符号化方式およびその符号化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体、および、音声パラメータ量子化装置およびその装置に用いられる量子化方法およびその量子化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体
JP3742279B2 (ja) * 2000-06-09 2006-02-01 日本電信電話株式会社 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体
US6859552B2 (en) * 2000-11-07 2005-02-22 Minolta Co., Ltd. Image retrieving apparatus
US6907367B2 (en) 2001-08-31 2005-06-14 The United States Of America As Represented By The Secretary Of The Navy Time-series segmentation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017525A (ja) * 2006-09-19 2009-01-22 Sharp Corp 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、コンピュータプログラム、及び記録媒体
JP4543067B2 (ja) * 2006-09-19 2010-09-15 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、コンピュータプログラム、及び記録媒体
US8107728B2 (en) 2006-09-19 2012-01-31 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, computer program and recording medium
JP2012133679A (ja) * 2010-12-22 2012-07-12 Fujitsu Ltd 画像照合プログラム、画像照合方法、及び画像照合装置
JP2019121982A (ja) * 2018-01-10 2019-07-22 京セラドキュメントソリューションズ株式会社 監視システムおよび撮像装置
JP7010004B2 (ja) 2018-01-10 2022-01-26 京セラドキュメントソリューションズ株式会社 監視システムおよび撮像装置

Also Published As

Publication number Publication date
EP1439491A4 (en) 2008-01-23
WO2003036563A1 (fr) 2003-05-01
JP3997749B2 (ja) 2007-10-24
CN1479910A (zh) 2004-03-03
EP1439491B1 (en) 2011-03-30
CN100365661C (zh) 2008-01-30
DE60239627D1 (de) 2011-05-12
EP1439491A1 (en) 2004-07-21
US7729545B2 (en) 2010-06-01
US20040057627A1 (en) 2004-03-25

Similar Documents

Publication Publication Date Title
JP2003132354A (ja) 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
US10289698B2 (en) System, apparatus, method, program and recording medium for processing image
EP2321964B1 (en) Method and apparatus for detecting near-duplicate videos using perceptual video signatures
Aner et al. Video summaries through mosaic-based shot and scene clustering
JP5005154B2 (ja) 記憶媒体上に記憶された情報信号を再生する装置
US8135239B2 (en) Display control apparatus, display control method, computer program, and recording medium
US6744922B1 (en) Signal processing method and video/voice processing device
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
US7035775B2 (en) Similar time series detection method and apparatus, program and recording medium
CN101414302A (zh) 电子装置、内容分类方法及其程序
US20130088645A1 (en) Method of Processing Moving Picture and Apparatus Thereof
JP5644505B2 (ja) 照合加重情報抽出装置
JP2003131685A (ja) 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
Aner-Wolf et al. Video summaries and cross-referencing through mosaic-based representation
JP3499729B2 (ja) 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070326

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070730

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees