JP2002269568A

JP2002269568A - 画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータおよびデータ記録媒体

Info

Publication number: JP2002269568A
Application number: JP2001070077A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yoshinori Watanabe; 義教渡邊
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-03-13
Filing date: 2001-03-13
Publication date: 2002-09-20
Anticipated expiration: 2021-03-13
Also published as: JP4683250B2

Abstract

(57)【要約】【課題】オブジェクトの抽出等を精度良く行う。【解決手段】ユーザに画像が提供され、ユーザが、そ
の画像上の位置をクリックすることにより得られるクリ
ックデータが、動き解析部１２１に供給される。動き解
析部１２１は、ユーザからの複数のクリックデータに基
づいて、ユーザによるクリック位置の動きを解析し、意
図解析部１２３は、その動きの解析結果に基づいて、ユ
ーザの意図を解析する。そして、オブジェクト抽出部１
２５は、そのユーザの意図の解析結果に基づいて、画像
データからオブジェクトを抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、プログラムおよびプログラム記録媒
体、並びにデータおよびデータ記録媒体に関し、ユーザ
の意図を考慮して、画像データを処理することができる
ようにすることにより、例えば、ユーザの意図により適
合した画像処理や、より精度の高い画像処理等を行うこ
とができるようにする画像処理装置および画像処理方
法、プログラムおよびプログラム記録媒体、並びにデー
タおよびデータ記録媒体に関する。

【０００２】

【従来の技術】例えば、画像から、オブジェクトを抽出
する方法としては、隣接フレーム間の差分をとり、差分
の絶対値が大きい部分を、動きのあるオブジェクトとし
て抽出したり、同一フレームにおいて、同じような色の
部分を、オブジェクトとして抽出する方法等がある。

【０００３】

【発明が解決しようとする課題】しかしながら、隣接フ
レーム間の差分をとる方法では、動きのないオブジェク
ト等を、精度良く抽出することは困難である。また、同
じような色の部分を、オブジェクトとして抽出する方法
では、異なる複数の色を有しているオブジェクト等を、
精度良く抽出することは困難である。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、オブジェクトの抽出その他の画像処理を
精度良く行うこと等ができるようにするものである。

【０００５】

【課題を解決するための手段】本発明の画像処理装置
は、ユーザからの複数の位置情報に基づいて、ユーザが
指示する位置の動きを解析する動き解析手段と、動き解
析手段による解析結果に基づいて、ユーザの意図を解析
する意図解析手段と、意図解析手段による解析結果に基
づいて、画像データを処理する処理手段とを備えること
を特徴とする。

【０００６】本発明の画像処理方法は、ユーザからの複
数の位置情報に基づいて、ユーザが指示する位置の動き
を解析する動き解析ステップと、動き解析ステップによ
る解析結果に基づいて、ユーザの意図を解析する意図解
析ステップと、意図解析ステップによる解析結果に基づ
いて、画像データを処理する処理ステップとを備えるこ
とを特徴とする。

【０００７】本発明のプログラムは、ユーザからの複数
の位置情報に基づいて、ユーザが指示する位置の動きを
解析する動き解析ステップと、動き解析ステップによる
解析結果に基づいて、ユーザの意図を解析する意図解析
ステップと、意図解析ステップによる解析結果に基づい
て、画像データを処理する処理ステップとを備えること
を特徴とする。

【０００８】本発明のプログラム記録媒体は、ユーザか
らの複数の位置情報に基づいて、ユーザが指示する位置
の動きを解析する動き解析ステップと、動き解析ステッ
プによる解析結果に基づいて、ユーザの意図を解析する
意図解析ステップと、意図解析ステップによる解析結果
に基づいて、画像データを処理する処理ステップとを備
えるプログラムが記録されていることを特徴とする。

【０００９】本発明のデータは、ユーザからの複数の位
置情報に基づいて、ユーザが指示する位置の動きを解析
し、動きの解析結果に基づいて、ユーザの意図を解析
し、意図の解析結果に基づいて、画像データを処理する
ことにより得られることを特徴とする。

【００１０】本発明のデータ記録媒体は、ユーザからの
複数の位置情報に基づいて、ユーザが指示する位置の動
きを解析し、動きの解析結果に基づいて、ユーザの意図
を解析し、意図の解析結果に基づいて、画像データを処
理することにより得られるデータが記録されていること
を特徴とする。

【００１１】本発明の画像処理装置および画像処理方
法、並びにプログラムにおいては、ユーザからの複数の
位置情報に基づいて、ユーザが指示する位置の動きが解
析され、その動きの解析結果に基づいて、ユーザの意図
が解析される。そして、そのユーザの意図の解析結果に
基づいて、画像データが処理される。

【００１２】本発明のデータは、ユーザからの複数の位
置情報に基づいて、ユーザが指示する位置の動きを解析
し、動きの解析結果に基づいて、ユーザの意図を解析
し、意図の解析結果に基づいて、画像データを処理する
ことにより得られる。

【００１３】

【発明の実施の形態】図１は、本発明を適用したネット
ワークシステム（システムとは、複数の装置が論理的に
集合したものをいい、各構成の装置が同一筐体中にある
か否かは問わない）の一実施の形態の構成例を示してい
る。

【００１４】複数の携帯端末１₁，１₂，・・・，１
_Aは、無線通信が可能な、例えば、携帯電話機や、ＰＨ
Ｓ(Personal Handyphone System)（商標）、ＰＤＡ(Per
sonal Digital Assistants)等で構成されている。

【００１５】基地局２₁，２₂，・・・，２_Bは、通信サ
ービスの提供エリアを所望の大きさに分割したセル内に
それぞれ設置された固定無線局であり、移動無線局であ
る携帯端末１₁，１₂，・・・，１_Aは、それが存在する
セルを担当する基地局に無線接続されるようになってい
る。

【００１６】なお、本実施の形態では、基地局２₁乃至
２_B（以下、特に区別する必要がない限り、基地局２と
記述する）と、携帯端末１₁乃至１_A（以下、特に区別す
る必要がない限り、携帯端末１と記述する）との間で
は、例えば、Ｗ−ＣＤＭＡ（Wideband-Code Division M
ultiple Access）と呼ばれる符号分割多元接続方式によ
って無線通信が行われるようになっており、これによ
り、２ＧＨｚの周波数帯域を使用して、最大で２Ｍｂｐ
ｓのデータ転送速度で、大容量のデータを高速にやりと
りすることができるようになっている。このように、高
速かつ大容量のデータ通信が可能であることにより、携
帯端末１では、音声通話は勿論、電子メールの送受信、
Webページの閲覧、画像の送受信等の多種多様のデータ
のやりとりを行うことができるようになっている。

【００１７】基地局２は、有線回線を介して、公衆回線
網３に接続されており、公衆回線網３には、インターネ
ット５、図示しない多くの加入者有線端末、コンピュー
タネットワーク、企業内ネットワーク等が接続されてい
る。さらに、公衆回線網３には、インターネットサービ
スプロバイダが保有するアクセスサーバ６およびコンテ
ンツサーバ７も接続されている。

【００１８】アクセスサーバ６は、いわゆるダイヤルア
ップ接続による、インターネット５への接続サービスを
提供する。

【００１９】コンテンツサーバ７は、携帯端末１からの
要求に応じて、あるいは、いわゆるプッシュ型の配信に
よって、例えば、ＷｅｂページとしてのＨＴＭＬ（Hype
r Text Markup Language）形式のファイルや、さらに
は、電子ブックのデータ、ＣＤに収められた曲の音声デ
ータ（オーディオデータ）、動画の画像データ等の各種
のコンテンツを提供する。

【００２０】インターネット５には、多数のＷＷＷ(Wor
ld Wide Web)サーバ４₁，４₂，・・・，４_Cが接続さ
れ、これらのＷＷＷサーバ４₁乃至４_C（以下、特に区別
する必要がない限り、ＷＷＷサーバ４と記載する）に対
しては、加入者有線端末や、携帯端末１から、ＴＣＰ／
ＩＰ（Transmission Control Protocol/Internet Proto
col）と呼ばれるプロトコルにしたがってアクセスする
ことができるようになっている。ここで、例えば、携帯
端末１から基地局２までの間では、２Ｍｂｐｓの簡易ト
ランスポートプロトコルで、基地局２からインターネッ
ト５を介してＷＷＷサーバ４までの間では、ＴＣＰ／Ｉ
Ｐで、それぞれ通信が行われる。

【００２１】管理制御装置８は、公衆回線網３に接続さ
れており、加入者有線端末や携帯端末１に対する通話料
等の課金処理を行う。

【００２２】図２は、図１の携帯端末１の外観構成例を
示している。

【００２３】即ち、図２は、携帯端末１が、例えば、カ
メラ付ディジタル携帯電話機である場合の外観構成例を
示している。

【００２４】図２において、携帯端末１は、中央のヒン
ジ部１１を境に、表示部１２と本体１３とに分けられて
おり、ヒンジ部１１を介して折り畳み可能に形成されて
いる。

【００２５】表示部１２には、その上端左部に送受信用
のアンテナ１４が引出しおよび収納可能な状態に取り付
けられており、アンテナ１４は、基地局２との間で電波
を送受信する。また、表示部１２には、その上端中央部
に、ほぼ１８０度の角度範囲で回動自在なカメラ部１５
が設けられている。カメラ部１５は、ＣＣＤ(ChargeCou
pled Device)カメラ１６を有しており、これにより、携
帯端末１では、所望の被写体の画像を撮像することがで
きるようになっている。

【００２６】カメラ部１５の、ＣＣＤカメラ１６が設け
られている反対側の面（背面）には、スピーカ１７が設
けられている。即ち、ユーザが、カメラ部１５を、図２
に示した状態から、ほぼ１８０度回動し、その状態に位
置決めすると、図３に示すように、カメラ部１５の背面
側中央に設けられたスピーカ１７が、正面側に位置する
ことになり、これにより、通常の音声通話が可能な状態
に切り換わる。

【００２７】表示部１２には、さらに、その正面に、液
晶ディスプレイ１８が設けられており、液晶ディスプレ
イ１８には、例えば、電波の受信状態、電池残量、電話
帳として登録されている相手先名や電話番号、および発
信履歴などが表示される。さらに、液晶ディスプレイ１
８には、電子メールの内容や、Ｗｅｂページ、ＣＣＤカ
メラ１６で撮像された画像、携帯端末１で受信されたデ
ータ、その他、液晶ディスプレイ１８の表示画面上の所
定の位置を指示するカーソルなども表示される。

【００２８】本体１３には、その表面に「０」乃至
「９」の数字キー、発呼キー、リダイヤルキー、終話及
び電源キー、クリアキー、並びに電子メールキー等の操
作キー１９が設けられており、ユーザは、この操作キー
１９を操作することによって、各種の指示を入力するこ
とができるようになっている。

【００２９】また、本体１３においては、操作キー１９
の下部に、メモボタン２０やマイクロフォン２１が設け
られている。メモボタン２０は、通話中の相手の音声を
録音するときに操作される。マイクロフォン２１は、通
話時のユーザの音声を集音する。

【００３０】さらに、本体１３においては、操作キー１
９の上部に、回転自在なトラックボール２２が、本体１
３の表面から僅かに突出した状態で設けられている。ト
ラックボール２２が回転操作されると、その操作に応じ
て、液晶ディスプレイ１８に表示された電話帳リストや
電子メールのスクロール動作、ホームページのページ捲
り動作、画像の送り動作等の種々の動作が行われる。

【００３１】また、トラックボール２２は、本体１３の
内部方向への押圧操作が可能になっている。例えば、ユ
ーザが、トラックボール２２を回転操作することによ
り、液晶ディスプレイ１８に表示された電話帳リストの
複数の電話番号の中から所望の電話番号を選択し、トラ
ックボール２２を本体１３の内部方向に押圧操作する
と、携帯端末１では、選択された電話番号が確定され、
その電話番号に対して自動的に発呼処理が行われる。

【００３２】その他、トラックボール２２は、例えば、
液晶ディスプレイ１８に表示されるカーソルを移動する
ときに回転操作され、カーソルが位置している点をクリ
ックするときに、押圧操作される。

【００３３】本体１３の左側面上部には、抜差自在なメ
モリカード２３を挿着するためのメモリカードスロット
２４が設けられている。メモリカード２３には、メモボ
タン２０が押下された場合に、通話中の相手の音声が記
録され、あるいは、また、ユーザの操作に応じて、電子
メールや、ホームページ、ＣＣＤカメラ１６で撮像され
た画像、携帯端末１で受信されたデータ等が記録され
る。

【００３４】ここで、メモリカード２３は、小型薄型形
状のプラスチックケース内に、電気的に書換えや消去が
可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrical
ly Erasable and Programmable Read Only Memory ）の
一種であるフラッシュメモリ素子を格納したものであ
り、画像データや、音声データ、プログラム等の各種デ
ータの書き込みおよび読み出しが可能となっている。

【００３５】なお、メモリカード２３としては、例え
ば、本件出願人であるソニー株式会社によって開発され
たメモリスティク（ソニー株式会社の商標）を採用する
ことができる。また、メモリカード２３としては、その
他、例えば、他社製品であるＳＤメモリーカードや、コ
ンパクトフラッシュ、スマートメディア、マルチメディ
アカード、サムドライブ(Thumb Drive)（いずれも商
標）等を採用することも可能である。また、半導体メモ
リであるメモリカード２３に替えて、例えば、マイクロ
ドライブやｉＤフォーマット（いずれも商標）といった
磁気ディスク等を採用することも可能である。

【００３６】メモリカード２３は、メモリカードスロッ
ト２４に対して、容易に着脱可能となっており、従っ
て、メモリカード２３を介することで、他の電子機器と
の間で、データを、容易に共有することが可能となって
いる。

【００３７】なお、本体１３には、背面側に、図示しな
いバッテリパックが挿着されており、終話及び電源キー
がオン状態になると、バッテリパックから各回路部に対
して電力が供給されて動作可能な状態となる。

【００３８】図４は、携帯端末１の電気的構成例を示し
ている。

【００３９】携帯端末１は、表示部１２および本体１３
の各部を統括的に制御する主制御部３０に対して、電源
回路部３１、操作入力制御部３２、画像エンコーダ３
３、カメラインターフェース部３４、ＬＣＤ（Liquid C
rystal Display）制御部３５、画像デコーダ３６、多重
分離部３７、記録再生部４２、変復調回路部３８、およ
び音声コーデック３９が、メインバス４０を介して互い
に接続されると共に、画像エンコーダ３３、画像デコー
ダ３６、多重分離部３７、変復調回路部３８、および音
声コーデック３９が、同期バス４１を介して互いに接続
されて構成されている。

【００４０】電源回路部３１は、ユーザの操作により終
話及び電源キーがオン状態にされると、バッテリパック
から各部に対して電力を供給し、携帯端末１を動作可能
な状態に起動する。

【００４１】主制御部３０は、図示せぬＣＰＵ，ＲＯ
Ｍ、ＲＡＭ等で構成され、ＣＰＵが、ＲＯＭに記憶され
たプログラムを実行することで、各種の処理を行う。

【００４２】即ち、携帯端末１は、主制御部３０の制御
に基づいて、音声通話モード時にマイクロフォン２１で
集音した音声信号を、音声コーデック３９によってディ
ジタル音声データに変換し、これを変復調回路部３８で
スペクトラム拡散処理する。さらに、携帯端末１は、そ
のスペクトラム拡散処理後の信号に対して、送受信回路
部４３で周波数変換処理を施し、アンテナ１４を介して
送信する。

【００４３】また、携帯端末１は、音声通話モード時に
アンテナ１４で受信した受信信号を、送受信回路部４３
で増幅し、周波数変換処理を施して、変復調回路部３８
に供給する。変復調回路部３８は、送受信回路部４３か
らの信号をスペクトラム逆拡散処理し、音声コーデック
３９に供給する。音声コーディック３９は、変復調回路
部３８からの信号をアナログ音声信号に変換し、スピー
カ１７に供給して出力させる。

【００４４】さらに、携帯端末１は、例えば、電子メー
ル等のテキストデータを送信する場合、操作キー１９や
トラックボール２２の操作によって入力されたテキスト
データを、操作入力制御部３２を介して主制御部３０に
送出する。主制御部３０は、そこに供給されるテキスト
データを、上述した音声通話における場合と同様に、変
復調回路部３８および送受信回路部４３で処理した後、
アンテナ１４を介して、基地局２に送信する。

【００４５】また、携帯端末１は、電子メール等のテキ
ストデータを受信する場合、アンテナ１４を介して基地
局２から受信した受信信号を、音声通話における場合と
同様に、送受信回路部４３および変復調回路部３８で処
理することにより、テキストデータに復元した後、ＬＣ
Ｄ制御部３５を介して、液晶ディスプレイ１８に供給し
て、電子メールとして表示させる。

【００４６】さらに、携帯端末１は、例えば、画像デー
タを送信する場合、ＣＣＤカメラ１６で撮像された画像
データを、カメラインターフェース部３４を介して、画
像エンコーダ３３に供給する。画像エンコーダ３３は、
ＣＣＤカメラ１６から供給される画像データを、所定の
符号化方式によって圧縮符号化することにより符号化画
像データに変換し、これを多重分離部３７に送出する。
同時に、携帯端末１は、ＣＣＤカメラ１６による撮像中
にマイクロフォン２１で集音した音声を、音声コーデッ
ク３９を介して、ディジタルの音声データとして、多重
分離部３７に送出する。多重分離部３７は、画像エンコ
ーダ３３から供給された符号化画像データと音声コーデ
ック３９から供給された音声データとを、所定の方式で
多重化する。この結果得られる多重化データは、変復調
回路部３８および送受信回路部４３で処理され、アンテ
ナ１４を介して送信される。

【００４７】なお、上述のようにしてCCDカメラ１６で
撮影される画像データは、同時に、カメラインターフェ
ース部３４及びＬＣＤ制御部３５を介して、液晶ディス
プレイ１８に供給して表示することができる。

【００４８】携帯端末１は、例えば、画像データを受信
する場合、アンテナ１４を介して基地局２から受信した
受信信号を、送受信回路部４３および変復調回路部３８
で処理し、その結果得られる多重化データを、多重分離
部３７に送出する。多重分離部３７は、多重化データ
を、符号化画像データと音声データとに分け、同期バス
４１を介して、符号化画像データを画像デコーダ３６に
供給すると共に、音声データを音声コーデック３９に供
給する。画像デコーダ３６は、符号化画像データを所定
の符号化方式に対応した復号方式でデコードすることに
より、再生動画像データを生成し、ＬＣＤ制御部３５を
介して液晶ディスプレイ１８に供給して表示させる。音
声コーデック３９は、そこに供給される音声データをア
ナログ音声信号に変換し、スピーカ１７に供給して出力
させる。

【００４９】その他、携帯端末１では、コンテンツサー
バ７がプッシュ型で配信する電子ブックのデータや、映
画等の画像（動画または静止画）データ等のコンテンツ
の受信も可能となっている。

【００５０】ここで、携帯端末１では、受信した各種の
データを、記録再生部４２を介してメモリカード２３に
供給して記録させることが可能である。

【００５１】次に、図５は、図１のコンテンツサーバ７
のハードウェア構成例を示している。

【００５２】バス５１は、CPU５２，ROM５３，RAM５
４，ハードディスク５５，入出力インタフェース６０を
相互に接続している。CPU５２は、ROM５３やRAM５４等
に記憶されたプログラムを実行することにより、各種の
処理を行う。ROM５３は、IPL(Initial Program Loadin
g)のプログラム等を記憶している。RAM５４は、ハード
ディスク５５等から転送されてくるOS(Operating Syste
m)のプログラムや、サーバとして機能するためのプログ
ラム等、さらには、CPU５２の処理上必要なデータ等を
一時記憶する。ハードディスク５５は、各種のプログラ
ムやデータ等を記憶する。出力部５６は、例えば、ディ
スプレイやスピーカ等で構成され、各種のデータを表
示、出力する。入力部５７は、キーボードや、マウス、
マイク等で構成され、必要な入力を与えるときに操作さ
れる。通信部５８は、外部のコンピュータ（例えば、携
帯端末１や、アクセスサーバ６等）と通信するときに通
信制御を行う。ドライブ５９は、リムーバブル記録媒体
６１をドライブし、リムーバブル記録媒体６１からのデ
ータやプログラムの読み出し、またはそれらの記録を行
う。入出力インタフェース６０は、バス５１と、出力部
５６、入力部５７、通信部５８、およびドライブ５９と
の間のインタフェースとして機能する。リムーバブル記
録媒体６１は、例えば、フロッピー（登録商標）ディス
ク、CD-ROM(Compact Disc Read Only Memory)，MO(Magn
eto optical)ディスク，DVD(Digital Versatile Dis
c)、磁気ディスク、半導体メモリなどで構成される。

【００５３】以上のように構成されるコンテンツサーバ
７では、CPU５２は、インターネットサービスプロバイ
ダの管理者によって、入力部５７が操作等されることに
より、入出力インタフェース６０を介して指令が入力さ
れると、それにしたがって、ROM(Read Only Memory)５
３に格納されているプログラムを実行する。あるいは、
また、CPU５２は、ハードディスク５５に格納されてい
るプログラム、衛星若しくはネットワークから転送さ
れ、通信部５８で受信されてハードディスク５５にイン
ストールされたプログラム、またはドライブ５９に装着
されたリムーバブル記録媒体６１から読み出されてハー
ドディスク５５にインストールされたプログラムを、RA
M(Random Access Memory)５４にロードして実行する。
これにより、CPU５２は、後述するフローチャートにし
たがった処理、あるいは後述するブロック図の構成によ
り行われる処理を行う。そして、CPU５２は、その処理
結果を、必要に応じて、例えば、入出力インタフェース
６０を介して、LCD(Liquid CryStal Display)やスピー
カ等で構成される出力部５６から出力、あるいは、通信
部５８から送信、さらには、ハードディスク５５に記録
等させる。

【００５４】なお、本明細書において、コンテンツサー
バ７（のCPU５２）に各種の処理を行わせるためのプロ
グラムを記述する処理ステップは、必ずしも、後述する
フローチャートとして記載された順序に沿って時系列に
処理する必要はなく、並列的あるいは個別に実行される
処理（例えば、並列処理あるいはオブジェクト（コンピ
ュータプログラムのモジュールとしてのオブジェクト）
による処理）も含むものである。

【００５５】また、プログラムは、コンテンツサーバ７
だけによって処理されるものであっても良いし、コンテ
ンツサーバ７を含む複数のコンピュータによって分散処
理されるものであっても良い。さらに、プログラムは、
遠方のコンピュータに転送されて実行されるものであっ
ても良い。

【００５６】ここで、プログラムは、コンテンツサーバ
７に内蔵されている記録媒体としてのハードディスク５
５やＲＯＭ５３に予め記録しておくことができる。

【００５７】あるいはまた、プログラムは、リムーバブ
ル記録媒体６１に、一時的あるいは永続的に格納（記
録）しておくことができる。このようなリムーバブル記
録媒体６１は、いわゆるパッケージソフトウエアとして
提供することができる。

【００５８】さらに、プログラムは、上述したようなリ
ムーバブル記録媒体６１からコンテンツサーバ７にイン
ストールする他、ダウンロードサイトから、ディジタル
衛星放送用の人工衛星を介して、コンテンツサーバ７に
無線で転送したり、LAN(Local Area Network)、インタ
ーネットといったネットワークを介して、コンテンツサ
ーバ７に有線で転送し、コンテンツサーバ７では、その
ようにして転送されてくるプログラムを、通信部５８で
受信し、内蔵するハードディスク５５にインストールす
ることができる。

【００５９】ところで、コンテンツサーバ７は、上述し
たように、例えば、プッシュ型の配信や携帯端末１から
の要求によって、電子ブックのデータや映画の画像デー
タ等のコンテンツを、携帯端末１に提供する他、その提
供するコンテンツを、複数の携帯端末１₁乃至１_Aそれぞ
れから送信されてくる各ユーザのクリックデータに基づ
いて処理するようにもなっている。

【００６０】即ち、図１において、コンテンツサーバ７
は、例えば、画像データを、複数の携帯端末１₁乃至１_A
のうちの、ある注目している注目ユーザの携帯端末１
（以下、適宜、注目携帯端末１という）に提供する場合
には、最初は、例えば、図６（Ａ）に示すような、全体
の解像度が低い（あるいは、標準解像度の）画像データ
を提供する。

【００６１】注目携帯端末１において、図６（Ａ）に示
した解像度の低い画像データが表示されている場合に、
注目携帯端末１のユーザが、トラックボール２２をクリ
ックすることにより、自身が所望する物体の表示部分を
選択、指示すると、主制御部３０（図４）は、その指示
された表示部分（空間的および時間的な位置）を特定す
る情報を、クリックデータとして、変復調回路部３８お
よび送受信回路部４３を制御することにより、コンテン
ツサーバ７に送信する。

【００６２】コンテンツサーバ７は、注目携帯端末１か
ら送信されてくるユーザのクリックデータに基づいて、
その注目携帯端末１のユーザ（以下、適宜、注目ユーザ
という）の意図を推定し、その推定した意図に基づい
て、提供する画像データを加工する等の所定の画像処理
を行う。

【００６３】即ち、コンテンツサーバ７は、例えば、提
供する画像データの中で、注目ユーザが注視しようとし
ている意図が推測される領域の解像度を向上させる。

【００６４】その結果、注目携帯端末１には、例えば、
図６（Ｂ）に示すように、注目ユーザが注視している物
体（オブジェクト）の表示部分の解像度が向上した画像
データが提供される。

【００６５】また、コンテンツサーバ７から注目携帯端
末１に対して、例えば、図７（Ａ）に示すように、オブ
ジェクト分離されていない画像データが提供される場合
において、注目携帯端末１のユーザが、トラックボール
２２をクリックすることにより、自身が所望するオブジ
ェクトの表示部分を選択、指示すると、主制御部３０
（図４）は、その指示された表示部分を特定する情報
を、クリックデータとして、変復調回路部３８および送
受信回路部４３を制御することにより、コンテンツサー
バ７に送信する。

【００６６】コンテンツサーバ７は、このようにして注
目携帯端末１から送信されてくるユーザのクリックデー
タに基づいて、その注目携帯端末１のユーザの意図を推
定し、その推定した意図に基づいて、提供する画像デー
タ画像データからオブジェクトを抽出する。即ち、コン
テンツサーバ７は、例えば、注目ユーザが注視しようと
している意図が推測されるオブジェクト（前景）を抽出
することにより、図７（Ａ）の画像データを、図７
（Ｂ）に示すように、オブジェクト（前景）と背景に分
離する。さらに、コンテンツサーバ７は、必要に応じ
て、オブジェクト抽出結果に基づいて、オブジェクト符
号化等の画像圧縮を行い、あるいは、オブジェクト抽出
の結果得られるオブジェクトによって、オブジェクトの
データベースを構成する。

【００６７】次に、図８は、コンテンツとして、映画等
の動画の画像データを提供するコンテンツサーバ７の機
能的構成例を示している。

【００６８】送受信制御部７１は、画像加工部７５から
供給される、未加工の、または加工された画像データ
を、携帯端末１に送信する。また、送受信制御部７１
は、携帯端末１から送信されてくるクリックデータを受
信し、登録部７２に供給する。登録部７２は、送受信制
御部７１から供給されるクリックデータを、クリックデ
ータベース７３に供給して記憶させる（登録する）。ク
リックデータベース７３は、登録部７２から供給される
クリックデータを記憶する。

【００６９】なお、クリックデータベース７３は、携帯
端末１₁乃至１_Aそれぞれからの各ユーザのクリックデー
タを、各ユーザごとに記憶することができるようになっ
ている。さらに、クリックデータベース７３は、各ユー
ザについて、複数のクリックデータを記憶することがで
きるようになっている。このクリックデータベース７３
における各ユーザごとの複数のクリックデータの登録
は、登録部７２が管理するが、登録部７２は、各ユーザ
について、所定数のクリックデータを記憶すると、次に
供給されるユーザのクリックデータを、そのユーザにつ
いての最も古いクリックデータに上書きする形で、クリ
ックデータベース７３に登録するようになっている。

【００７０】クリックデータ処理部７４は、クリックデ
ータベース７３に記憶されたクリックデータに基づい
て、画像データベース７６に記憶された画像データを処
理し、その処理結果を、画像加工部７５に供給する。な
お、ここでは、クリックデータ処理部７４は、例えば、
クリックデータに基づいて、画像データからオブジェク
トを抽出し、そのオブジェクト抽出結果を、画像加工部
７５に供給するようになっている。

【００７１】画像加工部７５は、画像データベース７６
から画像データを読み出し、送受信制御部７１に供給す
る。さらに、画像加工部７５は、送受信制御部７１に画
像データを供給する際、その画像データを、必要に応じ
て、クリックデータ処理部７４からのオブジェクト抽出
結果に基づいて加工する。即ち、画像加工部７５は、ク
リックデータ処理部７４から供給されるオブジェクト
と、画像データベース７６から読み出した画像データと
のマッチングを行うこと等によって、画像データからオ
ブジェクトを抽出し、そのオブジェクト抽出結果に基づ
いて、画像データをオブジェクト符号化して、送受信制
御部７１に供給する。あるいは、また、画像加工部７５
は、画像データベース７６から読み出した画像データに
おいて、クリックデータ処理部７４から供給されるオブ
ジェクトと同様の領域を検出し、その領域の解像度を向
上させて、送受信制御部７１に供給する。

【００７２】画像データベース７６は、携帯端末１等に
提供するコンテンツとしての画像データを記憶してい
る。

【００７３】以上のように構成されるコンテンツサーバ
７では、画像データベース７６から画像データが、所定
のスケジュールにしたがって、あるいは、携帯端末１か
らの要求にしたがって読み出され、画像加工部７５を介
して、送受信制御部７１に供給される。送受信制御部７
１は、この画像データを、携帯端末１に送信する。

【００７４】このようにして、コンテンツサーバ７から
携帯端末１に送信された画像は、携帯端末１（図４）に
おいて、その液晶ディスプレイ１８に表示される。そし
て、ユーザが、液晶ディスプレイ１８に表示された画像
の所定の位置に、カーソルを移動して、トラックボール
２２をクリックすると、携帯端末１は、そのクリックさ
れた位置の座標と、その位置を含むフレーム（あるいは
フィールド）を表す情報等を、クリックデータとして、
コンテンツサーバ７に送信する。

【００７５】携帯端末１から送信されてくるクリックデ
ータは、コンテンツサーバ７（図８）の送受信制御部７
１で受信され、登録部７２に供給される。登録部７２
は、送受信制御部７１からのクリックデータを、クリッ
クデータベース７３に供給して記憶させる。

【００７６】一方、クリックデータ処理部７４は、以上
のようにして、クリックデータベース７３に記憶された
クリックデータを読み出し、そのクリックデータに基づ
いて、画像データベース７６に記憶された画像データか
ら、オブジェクトを抽出して、そのオブジェクト抽出結
果を、画像加工部７５に供給する。

【００７７】画像加工部７５は、クリックデータ処理部
７４からオブジェクト抽出結果を受信すると、そのクリ
ックデータ処理部７４から供給されたオブジェクトと、
画像データベース７６から読み出した画像データとのマ
ッチングを行うことにより、画像データからオブジェク
トを抽出し、そのオブジェクト抽出結果に基づいて、画
像データをオブジェクト符号化して、送受信制御部７１
に供給する。あるいは、また、画像加工部７５は、画像
データベース７６から読み出した画像データから、クリ
ックデータ処理部７４から供給されるオブジェクトと同
様の領域を検出し、その領域の解像度を向上させて、送
受信制御部７１に供給する。

【００７８】なお、画像加工部７５における解像度の向
上処理には、例えば、本件出願人が先に提案しているク
ラス分類適応処理を採用することができる。

【００７９】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理は、以下のような
手法のものである。

【００８０】即ち、適応処理では、例えば、標準解像度
または低解像度の画像（ＳＤ(Standard Definition)画
像）を構成する画素（以下、適宜、ＳＤ画素という）
と、所定の予測係数との線形結合により、そのＳＤ画像
の解像度を向上させた高解像度の画像（ＨＤ(High Defi
nition)画像）の画素の予測値を求めることで、そのＳ
Ｄ画像の解像度を向上させた画像が得られる。

【００８１】具体的には、例えば、いま、あるＨＤ画像
を教師データとするとともに、そのＨＤ画像の解像度を
劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構
成する画素（以下、適宜、ＨＤ画素という）の画素値ｙ
の予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構
成する画素）の画素値ｘ₁，ｘ₂，・・・の集合と、所定
の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定され
る線形１次結合モデルにより求めることを考える。この
場合、予測値Ｅ［ｙ］は、次式で表すことができる。

【００８２】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【００８３】式（１）を一般化するために、予測係数ｗ
_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行
列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’
を、

【数１】で定義すると、次のような観測方程式が成立する。

【００８４】ＸＷ＝Ｙ’ ・・・（２）ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算される予測係数を表す。また、ｙ_iは、
ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ
件目の教師データの予測値を表す。なお、式（１）の左
辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを
省略したものであり、また、式（１）の右辺におけるｘ
₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉ
を省略したものである。

【００８５】そして、この観測方程式に最小自乗法を適
用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなるＨＤ画
素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【００８６】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００８７】この場合、ＨＤ画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_jは、自乗誤差

【数３】を最小にすることで求めることができる。

【００８８】従って、上述の自乗誤差を予測係数ｗ_jで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_jが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【００８９】

【数４】・・・（４）

【００９０】そこで、まず、式（３）を、予測係数ｗ_j
で微分することにより、次式が成立する。

【００９１】

【数５】・・・（５）

【００９２】式（４）および（５）より、式（６）が得
られる。

【００９３】

【数６】・・・（６）

【００９４】さらに、式（３）の残差方程式における生
徒データｘ_ij、予測係数ｗ_j、教師データｙ_i、および残
差ｅ_iの関係を考慮すると、式（６）から、次のような
正規方程式を得ることができる。

【００９５】

【数７】・・・（７）

【００９６】なお、式（７）に示した正規方程式は、行
列（共分散行列）Ａおよびベクトルｖを、

【数８】で定義するとともに、ベクトルＷを、数１で示したよう
に定義すると、式ＡＷ＝ｖ・・・（８）で表すことができる。

【００９７】式（７）における各正規方程式は、生徒デ
ータｘ_ijおよび教師データｙ_iのセットを、ある程度の
数だけ用意することで、求めるべき予測係数ｗ_jの数Ｊ
と同じ数だけたてることができ、従って、式（８）を、
ベクトルＷについて解くことで（但し、式（８）を解く
には、式（８）における行列Ａが正則である必要があ
る）、最適な予測係数ｗ_jを求めることができる。な
お、式（８）を解くにあたっては、例えば、掃き出し法
（Gauss-Jordanの消去法）などを用いることが可能であ
る。

【００９８】以上のようにして、最適な予測係数ｗ_jを
求めておき、さらに、その予測係数ｗ_jを用い、式
（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ
［ｙ］を求めるのが適応処理である。

【００９９】ここで、適応処理は、ＳＤ画像には含まれ
ていないが、ＨＤ画像に含まれる成分が再現される点
で、例えば、単なる補間処理とは異なる。即ち、適応処
理では、式（１）だけを見る限りは、いわゆる補間フィ
ルタを用いての補間処理と同一に見えるが、その補間フ
ィルタのタップ係数に相当する予測係数ｗが、教師デー
タｙを用いての、いわば学習により求められるため、Ｈ
Ｄ画像に含まれる成分を再現することができる。このこ
とから、適応処理は、いわば画像の創造（解像度創造）
作用がある処理ということができる。

【０１００】なお、画像の解像度を向上させる方法は、
上述したクラス分類適応処理に限定されるものではな
い。

【０１０１】次に、図９は、図８のクリックデータ処理
部７４の構成例を示している。

【０１０２】図９の実施の形態においては、クリックデ
ータ処理部７４は、画像データベース７６に記憶された
画像データからオブジェクトを抽出する第１オブジェク
ト抽出装置８１と第２オブジェクト抽出装置８２とから
構成されている。

【０１０３】第１オブジェクト抽出装置８１は、クリッ
クデータに基づき、ユーザの意図を考慮せずに、オブジ
ェクト抽出を行うようになっており、第２オブジェクト
抽出装置８２は、クリックデータに基づき、ユーザの意
図を考慮して、オブジェクト抽出を行うようになってい
る。

【０１０４】図１０は、図９の第１オブジェクト抽出装
置８１の構成例を示している。

【０１０５】クリックデータ読み出し部９１は、クリッ
クデータベース７３から、ユーザごとのクリックデータ
を読み出し、オブジェクト抽出部９４に供給する。画像
データ読み出し部９２は、画像データベース７６から、
必要な画像データを読み出し、背景抽出部９３、オブジ
ェクト抽出部９４、および付加情報算出部９５に供給す
る。

【０１０６】背景抽出部９３は、後述するオブジェクト
抽出部９４によるオブジェクト抽出結果に基づいて、画
像データ読み出し部９２から供給される画像データか
ら、画像の背景部分（後述する興味対象領域以外の画像
領域、以下、背景画像と呼ぶ）に相当する信号（以下、
背景画像データと呼ぶ）を抽出し、その抽出した背景画
像データを、多重化処理部９６と付加情報算出部９５に
供給する。即ち、本実施の形態では、背景抽出部９３
は、画像データ読み出し部９２が出力する画像データか
ら、オブジェクト抽出部９４が出力するオブジェクト画
像を除いた残りを、背景画像として抽出する。

【０１０７】オブジェクト抽出部９４は、画像データ読
み出し部９２から供給される画像の中において、クリッ
クデータ読み出し部９１から供給されるクリックデータ
によって特定される領域を、携帯端末１のユーザが注目
している画像領域である興味対象領域として抽出し、そ
の抽出した興味対象領域に対応する画像データを、多重
化処理部９６に供給する。なお、画像データ読み出し部
９２から供給される画像の中に、携帯端末１のユーザが
注目する興味対象領域が複数存在する場合、オブジェク
ト抽出部９４は、その複数の興味対象領域の画像データ
を抽出して、多重化処理部９６に供給する。また、オブ
ジェクト抽出部９４で抽出された興味対象領域の画像デ
ータは、付加情報算出部９５にも供給される。

【０１０８】ここで、ユーザが注目する興味対象領域と
しては、例えば、物体などのオブジェクトを挙げること
ができる。以下、オブジェクト抽出部９４において興味
対象領域の一例としてオブジェクト（以下、適宜、オブ
ジェクト画像とも呼ぶ）を抽出する場合を例に挙げて説
明することにする。但し、興味対象領域は、必ずしもオ
ブジェクトである必要はなく、オブジェクト以外の画像
領域やオブジェクト内の画像領域、あるいは背景画像部
分等であっても良い。なお、オブジェクト抽出部９４に
おいて行われるオブジェクト抽出（興味対象領域の特
定）処理の詳細についての説明は後述する。

【０１０９】付加情報算出部９５は、背景抽出部９３か
ら供給される背景画像データに基づいて、背景の動き
（画像の撮影時に、撮影方向が動くことによる背景の動
き）を表す背景動きベクトルを検出するとともに、オブ
ジェクト抽出部９４から供給されるオブジェクト画像の
画像データ（以下、オブジェクト画像データとも呼ぶ）
に基づいて、オブジェクトの動きを表すオブジェクト動
きベクトルを検出し、それら動きベクトルを付加情報の
一つとして、多重化処理部９６に供給する。また、付加
情報算出部９５は、オブジェクト抽出部９４から供給さ
れたオブジェクト画像データに基づいて、画像データベ
ース７６（図８）から読み出された画像（フレーム）内
におけるオブジェクトの位置や輪郭等のようなオブジェ
クトに関連する情報も、付加情報として多重化処理部９
６に供給する。すなわち、オブジェクト抽出部９４は、
オブジェクト画像を抽出する際に、そのオブジェクトの
位置や輪郭等のオブジェクトに関連する情報も抽出し、
付加情報算出部９５に供給するようになっており、付加
情報算出部９５は、そのオブジェクトに関連する情報も
付加情報として出力するようになっている。

【０１１０】多重化処理部９６は、オブジェクト抽出部
９４からのオブジェクト画像データ、背景抽出部９３か
らの背景画像データ、付加情報算出部９５からの付加情
報を多重化し、オブジェクト抽出結果として出力する。

【０１１１】以上のように構成される第１オブジェクト
抽出装置８１では、図１１のフローチャートに示すよう
に、まず最初に、ステップＳ１において、クリックデー
タ読み出し部９１は、クリックデータベース７３から、
そこに記憶されたクリックデータを読み出し、オブジェ
クト抽出部９４に供給する。さらに、ステップＳ１で
は、画像データ読み出し部９２は、画像データベース７
６から、処理の対象とする画像データを読み出し、背景
抽出部９３、オブジェクト抽出部９４、および付加情報
算出部９５に供給する。ここで、画像データ読み出し部
９２は、クリックデータ読み出し部９１が読み出すクリ
ックデータが表すフレーム（またはフィールド）付近の
フレームの画像データを、処理対象とするようになって
いる。

【０１１２】そして、ステップＳ２に進み、オブジェク
ト抽出部９４は、画像データ読み出し部９２の画像デー
タから、クリックデータ読み出し部９１より供給される
各ユーザについてのクリックデータに基づいて、オブジ
ェクト画像データを抽出し、背景抽出部９３、付加情報
算出部９５、および多重化処理部９６に供給する。

【０１１３】背景抽出部９３は、ステップＳ３におい
て、画像データ読み出し部９２から供給される画像デー
タから、オブジェクト抽出部９４より供給されるオブジ
ェクト画像データを減算することで、背景画像データを
抽出し、付加情報算出部９５および多重化処理部９６に
供給する。

【０１１４】付加情報算出部９５は、ステップＳ４にお
いて、画像データ読み出し部９２、背景抽出部９３、お
よびオブジェクト抽出部９４の出力に基づいて、付加情
報を算出し、多重化処理部９６に供給する。

【０１１５】多重化処理部９６は、ステップＳ５におい
て、オブジェクト抽出部９４からのオブジェクト画像デ
ータ、背景抽出部９３からの背景画像データ、付加情報
算出部９５からの付加情報を多重化し、その結果得られ
る多重化データを、オブジェクト抽出結果として出力し
て、処理を終了する。

【０１１６】次に、図１２は、図１０のオブジェクト抽
出部９４の構成例を示している。

【０１１７】画像データ読み出し部９２（図１０）から
供給される画像データは、画像用メモリ１０１に蓄積さ
れる。画像用メモリ１０１に記憶された画像データは、
そこから読み出され、静動判定部１０３、オブジェクト
画像抽出部１１３、および切換選択スイッチ１０７の共
通端子に送られる。なお、画像用メモリ１０１には、後
段の静動判定部１０３で行われる静動判定の際に必要と
なる、少なくとも数フレーム分の画像データが蓄積され
る。

【０１１８】また、クリックデータ読み出し部９１（図
１０）から供給されるクリックデータは、クリックデー
タ用メモリ１０２に蓄積される。そして、クリックデー
タは、クリックデータ用メモリ１０２から読み出され、
静動判定部１０３、連続クリック判定部１０４、および
切換選択スイッチ１０６の共通端子に送られる。なお、
このクリックデータ用メモリ１０２には、後段の連続ク
リック判定部１０４における連続クリック判定の際に必
要となる数の時系列のクリックデータが蓄積される。

【０１１９】静動判定部１０３は、クリックデータ用メ
モリ１０２に記憶されたクリックデータのうちの、所定
のものに注目し、その注目した注目クリックデータを読
み出す。さらに、静動判定部１０３は、その注目クリッ
クデータが示すクリック位置（画像上の座標値）を中心
とした局所的な小ブロック（例えば１６×１６画素）の
画像領域が、動きがある動き領域であるか、または動き
のない静止領域であるかの静動判定を行う。すなわち、
静動判定部１０３は、クリック位置を中心とした１６×
１６画素について、数フレーム前の画像領域と現フレー
ムの画像領域との間でフレーム間差分を求め、このフレ
ーム間差分値が所定のしきい値以下である場合には静止
と判定し、フレーム間差分が所定のしきい値より大きい
場合には動きと判定する静動判定を行う。なお、扱う画
像がカラー画像である場合、静動判定の際には、例え
ば、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、そ
れぞれフレーム間差分を求め、それらのＲ，Ｇ，Ｂ毎に
求めたフレーム間差分の絶対値の平均値が所定のしきい
値（例えば値１０）以下のときは静止と判定し、そのし
きい値より大きいときは動きと判定するようにすること
ができる。静動判定部１０３は、静動判定により静止と
判定した場合には、注目クリックデータを静止クリック
（静止領域のクリック）であるとし、静動判定により動
きと判定した場合には、注目クリックデータを動きクリ
ック（動き領域のクリック）であるとして、その静止ク
リック又は動きクリックを示す情報を、静動判定結果と
して、処理判定部１０５に送る。

【０１２０】連続クリック判定部１０４は、注目クリッ
クデータのクリック時刻（クリックデータに含まれる、
クリックの時間的な位置）に基づいて、あるユーザが行
ったクリック操作が連続的なクリック操作であるか否か
の連続クリック判定を行う。すなわち、連続クリック判
定部１０４は、連続クリック判定として、注目クリック
データのクリック時刻と、その直前（前回）のクリック
データのクリック時刻との時間差（クリック時間間隔）
を求め、その時間差が所定のしきい値以下である場合に
は連続的なクリックであると判定し、クリック時刻の時
間差が所定のしきい値より大きい場合には連続クリック
でないと判定する。そして、連続クリック判定部１０４
は、連続クリック判定により連続的なクリックであると
判定した場合には、注目クリックデータを連続クリック
とし、一方、連続クリック判定により連続的なクリック
でない（クリック時刻の時間差が所定のしきい値以上で
ある）と判定した場合には、注目クリックデータを不連
続クリックとし、それら連続クリック又は不連続クリッ
クの情報を、連続クリック判定結果として処理判定部１
０５に送る。

【０１２１】処理判定部１０５は、静動判定部１０３か
らの静動判定結果と、連続クリック判定部１０４からの
連続クリック判定結果とに基づいて、切換選択スイッチ
１０６乃至１０８の切換制御を行う。

【０１２２】即ち、例えば、静動判定結果と連続クリッ
ク判定結果により、注目クリックデータが、静止クリッ
クであり、且つ連続クリックであることが判った場合、
処理判定部１０５は、注目クリックデータが、静止オブ
ジェクト連結処理部１１１に送られるように、切換選択
スイッチ１０６を切換制御すると共に、画像用メモリ１
０１から出力される画像データが、静止オブジェクト連
結処理部１１１に送られるように、切換選択スイッチ１
０７を切換制御する。さらに、処理判定部１０５は、後
述するオブジェクト抽出結果用メモリ１１４から出力さ
れる前回のクリックデータ、そのクリックデータに割り
当てられたオブジェクト番号（オブジェクトを分類（識
別）する番号）、およびそのオブジェクト番号に対応す
るオブジェクト画像データが、静止オブジェクト連結処
理部１１１に送られるように、切換選択スイッチ１０８
を切換制御する。

【０１２３】また、静動判定結果と連続クリック判定結
果により、注目クリックデータが、動きクリックであ
り、且つ連続クリックであることが判った場合、処理判
定部１０５は、注目クリックデータが、動きオブジェク
ト連結処理部１１０に送られるように、切換選択スイッ
チ１０６を切換制御すると共に、画像用メモリ１０１か
ら出力される画像データが、動きオブジェクト連結処理
部１１０に送られるように、切換選択スイッチ１０７を
切換制御する。さらに、処理判定部１０５は、オブジェ
クト抽出結果用メモリ１１４から出力される前回のクリ
ックデータ、そのクリックデータに割り当てられたオブ
ジェクト番号、およびそのオブジェクト番号に対応する
オブジェクト画像データが、動きオブジェクト連結処理
部１１０に送られるように、切換選択スイッチ１０８を
切換制御する。

【０１２４】さらに、静動判定結果と連続クリック判定
結果により、注目クリックデータが、静止クリックであ
り、且つ不連続クリック（クリック時刻の時間差が所定
のしきい値以上となるクリック）であることが判った場
合、処理判定部１０５は、注目クリックデータが、オブ
ジェクト番号割り当て部１０９に送られるように、切換
選択スイッチ１０６を切換制御すると共に、画像用メモ
リ１０１から出力される画像データが、静止オブジェク
ト連結処理部１１１に送られるように、切換選択スイッ
チ１０７を切換制御する。さらに、処理判定部１０５
は、オブジェクト抽出結果用メモリ１１４から出力され
る前回のクリックデータ、オブジェクト番号、およびオ
ブジェクト画像データについては、静止オブジェクト連
結処理部１１１に送らないように、切換選択スイッチ１
０８を切換制御する（切換選択スイッチ１０８をオープ
ン状態にする）。

【０１２５】また、静動判定結果と連続クリック判定結
果により、注目クリックデータが、動きクリックであ
り、且つ不連続クリックであることが判った場合、処理
判定部１０５は、注目クリックデータが、オブジェクト
番号割り当て部１０９に送られるように、切換選択スイ
ッチ１０６を切換制御すると共に、画像用メモリ１０１
から出力される画像データが、動きオブジェクト連結処
理部１１０に送られるように、切換選択スイッチ１０７
を切換制御する。さらに、処理判定部１０５は、オブジ
ェクト抽出結果用メモリ１１４から出力される前回のク
リックデータと、オブジェクト番号、およびオブジェク
ト画像データについては、動きオブジェクト連結処理部
１１０に送らないように、切換選択スイッチ１０８を切
換制御する。

【０１２６】オブジェクト番号割り当て部１０９は、静
止オブジェクト連結処理部１１１と、動きオブジェクト
連結処理部１１０において、後述するような連結処理の
対象となるもの以外の不連続クリックとなっているクリ
ックデータに対して、新たなオブジェクト番号を割り当
て、そのオブジェクト番号とクリックデータをオブジェ
クト番号用メモリ１１２に送る。

【０１２７】動きオブジェクト連結処理部１１０は、処
理判定部１０５により、注目クリックデータが動きクリ
ックであり、且つ連続クリックと判定された場合に、前
回のクリックデータが動きクリックであり、さらに、注
目クリックデータが表すクリック位置付近の画像の特徴
が、前回のクリックデータに割り当てられたオブジェク
ト番号で構成される動きオブジェクト画像の領域の特徴
に含まれているか、または近似しているか否かを判定す
る。そして、動きオブジェクト連結処理部１１０は、そ
の判定結果が真である場合、注目クリックデータが、同
一のオブジェクト画像をクリックしているものであると
判断し、注目クリックデータに対して、前回のクリック
データと同一のオブジェクト番号を割り当てる動きオブ
ジェクト連結処理を行い、そのオブジェクト番号と注目
クリックデータを、オブジェクト番号用メモリ１１２に
送る。

【０１２８】静止オブジェクト連結処理部１１１は、処
理判定部１０５により、注目クリックデータが静止クリ
ックであり、且つ連続クリックと判定された場合に、前
回のクリックが静止クリックであり、さらに、注目クリ
ックデータが表すクリック位置が、前回のクリックデー
タに割り当てられたオブジェクト番号で構成される静止
オブジェクト画像の領域内に含まれているか、またはそ
の近傍であるか否かを判定する。そして、静止オブジェ
クト連結処理部１１１は、その判定結果が真である場
合、注目クリックデータが、前回のクリックデータと同
一のオブジェクト画像をクリックしているものであると
判断し、注目クリックデータに対して、前回のクリック
データと同一のオブジェクト番号を割り当てる静止オブ
ジェクト連結処理を行い、そのオブジェクト番号と注目
クリックデータを、オブジェクト番号用メモリ１１２に
送る。

【０１２９】オブジェクト番号用メモリ１１２は、オブ
ジェクト番号割り当て部１０９、動きオブジェクト連結
処理部１１０、および静止オブジェクト連結処理部１１
１においてオブジェクト番号が割り当てられた過去複数
フレーム分に相当するクリックデータを蓄積し、その蓄
積したクリックデータ及びオブジェクト番号を、オブジ
ェクト画像抽出部１１３に送る。

【０１３０】オブジェクト画像抽出部１１３は、画像用
メモリ１０１より供給される画像データから、オブジェ
クト番号用メモリ１１２より供給される、オブジェクト
番号が割り当てられた過去複数フレームのクリックデー
タに基づいて、静止オブジェクト画像、動きオブジェク
ト画像、背景画像等を抽出し、その抽出結果を、オブジ
ェクト抽出結果用メモリ１１４に供給する。

【０１３１】すなわち、オブジェクト画像抽出部１１３
は、オブジェクト番号用メモリ１１２より供給される、
オブジェクト番号が割り当てられた過去複数フレームの
クリックデータに基づいて、静止クリックとされたクリ
ックデータの密度が高い画像部分の中で支配的なオブジ
ェクト番号を求める。そして、オブジェクト画像抽出部
１１３は、その支配的なオブジェクト番号が割り当てら
れているクリックデータの画像上における分布からオブ
ジェクトの形状を生成し、生成したオブジェクトの形状
内の画像を、オブジェクト画像として、画像データから
抽出する。

【０１３２】また、オブジェクト画像抽出部１１３は、
動きクリックとされたクリックデータの中で、同一オブ
ジェクト番号が割り当てられているクリック位置付近の
画像同士のフレーム間パターンマッチング等を行い、そ
のマッチング結果に基づいて、動き補償を行う。さら
に、オブジェクト画像抽出部１１３は、パターンマッチ
ングで近似していると判定された画像領域（動き補償に
よって、いわば位置合わせを行った画像領域）において
クリック密度が高く支配的なオブジェクト番号を求め
る。そして、オブジェクト画像抽出部１１３は、その支
配的なオブジェクト番号が割り当てられているクリック
データの画像上での分布からオブジェクトの形状を生成
し、生成したオブジェクトの形状内の画像を、オブジェ
クト画像として、画像データから抽出する。

【０１３３】さらに、オブジェクト画像抽出部１１３
は、上述したような静止クリックや、動きクリックのク
リック密度が低い画像部分を、背景画像とする。

【０１３４】オブジェクト抽出結果用メモリ１１４は、
オブジェクト画像抽出部１１３が抽出したオブジェクト
画像データを、クリックデータおよびオブジェクト番号
等とともに蓄積し、必要に応じて、図１０の背景抽出部
９３、付加情報算出部９５、および多重化処理部９６に
供給する。

【０１３５】次に、図１３のフローチャートを参照し、
図１２に示したオブジェクト抽出部９４において、クリ
ックデータに基づいて、画像データから、携帯端末１の
ユーザが注目しているオブジェクト画像（興味対象領
域）を抽出する処理の詳細について説明する。

【０１３６】先ずステップＳ１１として、画像用メモリ
１０１は、画像データ読み出し部９２（図１０）より入
力されるフレームの画像データを蓄積する。なお、画像
用メモリ１０１は、後段のステップＳ１３で行われる静
動判定処理の際に必要となる、少なくとも数フレーム分
の画像データを蓄積する。

【０１３７】また、ステップＳ１１では、クリックデー
タ用メモリ１０２は、クリックデータ読み出し部９１
（図１０）から供給されるクリックデータを受信して蓄
積する。なお、このクリックデータ用メモリ１０２に
は、後段のステップＳ１３で行われる連続クリック判定
処理の際に必要となる、少なくとも所定の時間分（例え
ば５００〜７００ｍ秒以上）のクリックデータが蓄積さ
れる。

【０１３８】その後、ステップＳ１２に進み、クリック
データ用メモリ１０２に、まだ処理していないクリック
データが記憶されているか否かが判定される。ステップ
Ｓ１２において、まだ処理していないクリックデータ
が、クリックデータ用メモリ１０２に無いと判定された
場合は、ステップＳ１１に戻って入力待ち状態となる。
一方、ステップＳ１２において、まだ処理していないク
リックデータが、クリックデータ用メモリ１０２に有る
と判定された場合、ステップＳ１３に進み、その処理さ
れていないクリックデータのうちの、例えば、時間的に
最も過去のものを、注目クリックデータとして、その注
目クリックデータを対象に、静動判定部１０３、連続ク
リック判定部１０４、および処理判定部１０５による静
動判定処理と連続クリック判定処理が行われる。

【０１３９】即ち、ステップＳ１３において、静動判定
部１０３は、静動判定処理として、注目クリックデータ
に含まれるクリック位置（画像上の座標値）情報を用
い、そのクリック位置を中心とした局所的な小ブロック
の画像領域に動きがあるか、或いは静止しているかの判
定を行う。

【０１４０】より具体的に説明すると、図１３のステッ
プＳ１３の処理に進んで静動判定処理に移行したときの
静動判定部１０３は、図１４のフローチャートに示すよ
うに、先ずステップＳ２１として、画像用メモリ１０１
とクリックデータ用メモリ１０２にそれぞれ蓄積されて
いる画像データとクリックデータを、数フレーム分だけ
読み出す。即ち、静動判定部１０３は、注目クリックデ
ータに対応するクリックが行われたフレームを含む、過
去数フレーム分の画像データと、その数フレームに対し
て行われたクリックに対応するクリックデータを、画像
データ用メモリ１０１とクリックデータ用メモリ１０２
から、それぞれ読み出す。なお、扱う画像がカラー画像
である場合、静動判定部１０３は、図１５（Ａ）に示す
ように、数フレームのＲ（赤），Ｇ（緑），Ｂ（青）そ
れぞれの画像データを読み出す。

【０１４１】次に、静動判定部１０３は、ステップＳ２
２として、注目クリックデータが示すクリック位置を中
心とした、例えば水平方向１６画素及び垂直方向１６画
素からなる局所的な小ブロックの画像領域について、数
フレーム前の画像領域と現フレームの画像領域との間の
フレーム間差分を計算する。なお、扱う画像がカラー画
像である場合、静動判定部１０３は、ステップＳ２２の
処理として、図１５（Ｂ）および図１５（Ｃ）に示すよ
うに、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、
フレーム間差分を求め、そのＲ，Ｇ，Ｂ毎に求めたフレ
ーム間差分それぞれの絶対値の平均値を求める。

【０１４２】次に、静動判定部１０３は、ステップＳ２
３の処理として、ステップＳ２２の計算により求めたフ
レーム間差分値が、所定のしきい値以下であるかどうか
を判定する。そして、ステップＳ２４に進み、静動判定
部１０３は、フレーム間差分値が、所定のしきい値以下
である場合には、注目クリックデータが示すクリック位
置を含む小ブロック（以下、適宜、注目ブロックとい
う）が、静止であると判定し、一方、フレーム間差分が
所定のしきい値より大きい場合には、動きがあると判定
する。さらに、静動判定部１０３は、注目ブロックを静
止と判定したときには、その静止と判定された注目ブロ
ックに対応した注目クリックデータを静止クリックと
し、動きと判定したときには、その動きと判定された注
目ブロックに対応した注目クリックデータを動きクリッ
クとし、静動判定結果として出力する。

【０１４３】なお、扱う画像がカラー画像である場合、
静動判定部１０３は、ステップＳ２４において、図１５
（Ｄ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の
注目ブロック毎に求められているフレーム間差分の絶対
値の平均値が、所定のしきい値（例えば、値１０）以下
のときは、例えば、所定のフラグを”０”とし、逆に、
しきい値より大きいときは、例えば所定のフラグを”
１”にする。さらに、静動判定部１０３は、ステップＳ
２４において、図１５（Ｅ）に示すように、Ｒ，Ｇ，Ｂ
の各１６×１６画素の注目ブロック毎に設定されている
所定フラグのうち全てが”０”となっている場合には、
注目ブロックが静止であると判定し、その静止と判定さ
れた注目ブロックに対応した注目クリックデータを静止
クリックとする。一方、Ｒ，Ｇ，Ｂの各１６×１６画素
の注目ブロック毎に設定されている所定フラグのうち何
れか一つにでも”１”が立っている場合には、静動判定
部１０３は、注目ブロックに、動きがあると判定し、そ
の動きと判定された注目ブロックに対応した注目クリッ
クデータを動きクリックとする。そして、静動判定部１
０３は、静止クリックまたは動きクリックの情報を、静
動判定結果として出力する。

【０１４４】図１３のステップＳ１３では、さらに、連
続クリック判定部１０４において、注目クリックデータ
に含まれるクリック時刻に基づいて、ユーザが行ったク
リック操作が連続的なクリック操作であるか否かの連続
クリック判定が行われる。

【０１４５】より具体的に説明すると、図１３のステッ
プＳ１３における連続クリック判定部１０４は、図１６
のフローチャートに示すように、先ず、ステップＳ３１
として、クリックデータ用メモリ１０２に蓄積されてい
るクリックデータを読み出す。

【０１４６】次に、連続クリック判定部１０４は、ステ
ップＳ３２として、注目クリックデータのクリック時刻
と、その直前（前回）のクリックデータのクリック時刻
との時間差（クリック間隔）を求める。

【０１４７】次に、連続クリック判定部１０４は、ステ
ップＳ３３として、その時間差が所定のしきい値以下で
あるか否か判定を行う。このステップＳ３３において、
その時間差が所定のしきい値以下であると判定された場
合には、連続クリック判定部１０４は、注目クリックデ
ータが、連続的なクリックであると判定し、一方、クリ
ック時刻の時間差が所定のしきい値より大きいと判定さ
れた場合には、連続クリック判定部１０４は、注目クリ
ックデータが、連続的なクリックでないと判定する。そ
して、連続クリック判定部１０４は、ステップＳ３４に
進み、連続クリックまたは不連続クリックを表す情報
を、連続クリック判定結果として出力する。

【０１４８】即ち、ステップＳ３３において、連続的な
クリックであると判定された場合、ユーザは、ある一つ
のオブジェクト画像に対するクリック操作を連続して行
っている可能性が高い。これは、携帯端末１のユーザ
が、空間解像度を高くすることを望むオブジェクト画像
部分（興味対象領域）を連続的にクリックする傾向があ
ると考えられるからである。したがって、連続クリック
判定部１０４は、連続クリック判定処理において連続的
なクリックであると判定した場合には、注目クリックデ
ータを連続クリックとし、一方、連続的なクリックでな
い（クリック時刻の時間差が所定のしきい値以上であ
る）と判定した場合には、注目クリックデータを不連続
クリックとし、連続クリック判定結果として出力する。

【０１４９】図１３に戻り、処理判定部１０５は、静動
判定部１０３と連続クリック判定部１０４それぞれでの
ステップＳ１３の静動判定と連続クリック判定により、
注目クリックデータが、連続クリックであり且つ静止ク
リックであることが判明した場合には、ステップＳ１５
に進み、切換選択スイッチ１０６乃至１０８を上述のよ
うに制御することにより、静止オブジェクト連結処理部
１１１に、静止オブジェクト連結処理を行わせる。ま
た、処理判定部１０５は、注目クリックデータが、連続
クリックであり且つ動きクリックであることが判明した
場合には、ステップＳ１６に進み、切換選択スイッチ１
０６乃至１０８を制御することにより、動きオブジェク
ト連結処理部１１０に、動きオブジェクト連結処理を行
わせる。さらに、処理判定部１０５は、注目クリックデ
ータが、不連続クリックであることが判明した場合に
は、ステップＳ１４に進み、切換選択スイッチ１０６を
制御することにより、オブジェクト番号割り当て部１０
９に、新たなオブジェクト番号割り当て処理を行わせ
る。

【０１５０】即ち、ステップＳ１３において、注目クリ
ックデータが不連続クリックであると判定され、ステッ
プＳ１４の処理に進んだ場合、オブジェクト番号割り当
て部１０９は、その注目クリックデータに対して新たな
オブジェクト番号を割り当て、ステップＳ１１に戻る。

【０１５１】具体例を挙げて説明すると、例えば図１７
（Ａ）のように、図中実線の×印で示す前回のクリック
データＣＬ１に対して割り当てられているオブジェクト
番号が、例えば「０」とされているとした場合におい
て、図１７（Ａ）において点線の×印で示す注目クリッ
クデータＣＬ２（オブジェクト番号が割り当てられる前
のクリックデータ）が、不連続クリックであると判定さ
れたとき、オブジェクト番号割り当て部１０９は、図１
７（Ｂ）中の実線の×印で示す注目クリックデータＣＬ
２に対して、新たなオブジェクト番号（この例では
「１」）を割り当てる。

【０１５２】一方、ステップＳ１３において、注目クリ
ックデータが、連続クリックであり且つ静止クリックで
あると判定された場合、静止オブジェクト連結処理部１
１１は、前回のクリックが静止クリックとなっており、
さらに、注目クリックデータが表すクリック位置が、前
回のクリックデータ（あるユーザの、注目クリックデー
タの１つ前のクリックデータ）に割り当てられているオ
ブジェクト番号で構成される画像領域内に含まれるか又
はその領域に近ければ、注目クリックデータに対応する
クリックが前回のクリックが含まれるものと同一のオブ
ジェクト画像をクリックしたものであると判断し、ステ
ップＳ１５において、注目クリックデータに対して、前
回のクリックデータと同一のオブジェクト番号を割り当
てる静止オブジェクト連結処理を行う。

【０１５３】すなわち、静止オブジェクト連結処理部１
１１は、図１８のフローチャートに示すように、先ず、
ステップＳ４１として、前回のクリックデータが、連続
クリックであり且つ静止クリックであったか否かの判定
を行う。このステップＳ４１において、前回のクリック
データが、連続クリックで且つ静止クリックであると判
定された場合は、ステップＳ４２の処理に進み、一方、
前回のクリックデータが連続クリックで且つ静止クリッ
クでないと判定された場合は、ステップＳ４４の処理に
進む。

【０１５４】ステップＳ４１にて前回のクリックデータ
が連続クリックで且つ静止クリックでないと判定する
と、静止オブジェクト連結処理部１１１は、ステップＳ
４４の処理として、図１７（Ａ）及び（Ｂ）で説明した
のと同様にして、注目クリックデータに対して、新たな
オブジェクト番号を割り当てる。このステップＳ４４の
処理後は、図１３のステップＳ１７の処理に進む。

【０１５５】また、ステップＳ４１にて前回のクリック
データが、連続クリックで且つ静止クリックであると判
定されてステップＳ４２の処理に進むと、静止オブジェ
クト連結処理部１１１は、注目クリックデータが表すク
リック位置と、前回のクリックデータに割り当てられて
いるオブジェクト番号で構成される画像領域との間の空
間的な距離を求める。さらに、静止オブジェクト連結処
理部１１１は、この距離に基づいて、注目クリックデー
タが表すクリック位置が、前回のクリックデータに割り
当てられているオブジェクト番号で構成される画像領域
内に含まれるか又はその領域に近いかどうかを判定し、
その判定結果が真の場合は、注目クリックデータは、前
回のクリックが含まれるものと同一のオブジェクト画像
をクリックしたものであると判定する。一方、注目クリ
ックデータが表すクリック位置が、前回のクリックデー
タに割り当てられているオブジェクト番号で構成される
オブジェクト画像領域内に含まれず、且つその領域から
も遠い場合は、静止オブジェクト連結処理部１１１は、
注目クリックデータは、前回のクリックが含まれるもの
とは異なる別のオブジェクト画像をクリックしたもので
ある判定する。ステップＳ４２において、注目クリック
データが、前回のクリックが含まれるものと同一のオブ
ジェクト画像をクリックしたデータであると判定された
場合、ステップＳ４３の処理に進み、一方、注目クリッ
クデータが、前回のクリックが含まれるものとは別のオ
ブジェクト画像をクリックしたデータであると判定され
た場合は、ステップＳ４４の処理に進む。

【０１５６】ステップＳ４２にて注目クリックデータ
が、前回のクリックが含まれるものとは別のオブジェク
ト画像をクリックしたデータであると判定され、ステッ
プＳ４４の処理に進むと、静止オブジェクト連結処理部
１１１は、注目クリックデータに対して新たなオブジェ
クト番号を割り当てた後、図１３のステップＳ１７の処
理に進む。

【０１５７】また、ステップＳ４２にて注目クリックデ
ータが、前回のクリックが含まれるものと同一のオブジ
ェクト画像をクリックしたデータであると判定され、ス
テップＳ４３の処理に進むと、静止オブジェクト連結処
理部１１１は、注目クリックデータに対して、前回のク
リックデータと同一のオブジェクト番号を割り当てる静
止オブジェクト連結処理を行う。

【０１５８】具体例を挙げて説明すると、例えば図１７
（Ｃ）のように、図中実線の×印で示す前回のクリック
データＣＬ１に対して割り当てられているオブジェクト
番号が例えば「０」とされているとした場合において、
図１７（Ｃ）において点線の×印で示す注目クリックデ
ータＣＬ２（オブジェクト番号が割り当てられる前のク
リックデータ）が、連続クリックで且つ静止クリックで
あると判定され、前回のクリックが静止クリックとなっ
ており、さらに注目クリックデータが表すクリック位置
が、前回のクリックデータに割り当てられているオブジ
ェクト番号で構成される画像領域内に含まれるか又はそ
の領域に近いとき、静止オブジェクト連結処理部１１１
は、図１７（Ｄ）中の実線の×印で示す注目クリックデ
ータＣＬ２に対して、前回のクリックデータと同一のオ
ブジェクト番号（この例では「０」）を割り当てる。

【０１５９】このようにステップＳ４３にて、注目クリ
ックデータに、前回のクリックデータと同一のオブジェ
クトを割り当てた後は、図１３のステップＳ１７の処理
に進む。

【０１６０】また、図１３のステップＳ１３において、
注目クリックデータが、連続クリックであり且つ動きク
リックであると判定され、前回のクリックが動きクリッ
クとなっており、さらに注目クリックデータが表すクリ
ック位置付近の画像の特徴が、前回のクリックに割り当
てられたオブジェクト番号で構成される画像領域（１６
×１６画素）の特徴に含まれているか又はそれに近い場
合、動きオブジェクト連結処理部１１０は、注目クリッ
クデータが、前回のクリックが含まれるものと同一のオ
ブジェクト画像をクリックしたものであると判断し、ス
テップＳ１６として、注目クリックデータに対して、前
回のクリックデータと同一のオブジェクト番号を割り当
てる動きオブジェクト連結処理を行う。

【０１６１】すなわち、ステップＳ１３において、注目
クリックデータが連続クリックであり且つ動きクリック
であると判定されたとき、動きオブジェクト連結処理部
１１０は、図１９に示すように、先ず、ステップＳ５１
として、前回のクリックデータが、連続クリックであり
且つ動きクリックであったか否かの判定を行う。このス
テップＳ５１において、前回のクリックデータが、連続
クリックで且つ動きクリックであると判定された場合
は、ステップＳ５２の処理に進み、一方、前回のクリッ
クデータが、連続クリックで且つ動きクリックでないと
判定された場合は、ステップＳ５４の処理に進む。

【０１６２】ステップＳ５１にて、前回のクリックデー
タが、連続クリックで且つ動きクリックでないと判定さ
れてステップＳ５４の処理に進むと、動きオブジェクト
連結処理部１１０は、図１６（Ａ）及び（Ｂ）で説明し
たのと同様にして、注目クリックデータに対して新たな
オブジェクト番号を割り当てる。このステップＳ５４の
処理後は、図１３のステップＳ１７の処理に進む。

【０１６３】また、ステップＳ５１にて、前回のクリッ
クデータが、連続クリックで且つ動きクリックであると
判定されてステップＳ５２の処理に進むと、動きオブジ
ェクト連結処理部１１０は、注目クリックデータが表す
クリック位置付近の画像領域（１６×１６画素）の特徴
と、前回のクリックに割り当てられたオブジェクト番号
で構成される画像領域の特徴とを求める。さらに、動き
オブジェクト連結処理部１１０は、これらの特徴に基づ
いて、注目クリックデータが表すクリック位置付近の画
像領域の特徴が、前回のクリックに割り当てられたオブ
ジェクト番号で構成される画像領域の特徴に含まれてい
るか又はそれに近いかどうかを判定し、その判定結果が
真の場合に、注目クリックデータが、前回のクリックが
含まれるものと同一のオブジェクト画像をクリックして
いると判定する。一方、注目クリックデータが表すクリ
ック位置付近の画像領域の特徴が、前回のクリックに割
り当てられたオブジェクト番号で構成される画像領域の
特徴に含まれず、且つその特徴からも遠い場合は、動き
オブジェクト連結処理部１１０は、注目クリックデータ
が、前回のクリックとは異なる別オブジェクト画像をク
リックしたデータであると判定する。

【０１６４】なお、ここでの画像領域の特徴とは、例え
ばクリック位置付近の局所領域（１６×１６画素）にお
ける色（平均色、代表色など）のヒストグラムや、パタ
ーン等のことである。また、上述のように、複数の動き
クリックに、同一オブジェクト番号を割り当てるという
ことは、これらのクリックデータの間でオブジェクトの
トラッキングをしていると言い換えることができる。

【０１６５】ステップＳ５２において、注目クリックデ
ータが、前回のクリックが含まれるものと同一のオブジ
ェクト画像をクリックしたデータであると判定された場
合は、ステップＳ５３の処理に進み、一方、注目クリッ
クデータが、前回のクリックとは別のオブジェクト画像
をクリックしたデータであると判定された場合は、ステ
ップＳ５４の処理に進む。

【０１６６】ステップＳ５２にて、注目クリックデータ
が、前回のクリックとは別のオブジェクト画像をクリッ
クしたデータであると判定されてステップＳ５４の処理
に進むと、動きオブジェクト連結処理部１１０は、上述
の場合と同様に、注目クリックデータに対して、新たな
オブジェクト番号を割り当てを行い、その後、図１３の
ステップＳ１７の処理に進む。

【０１６７】また、ステップＳ５２にて、注目クリック
データが、前回の各クリックが含まれるものと同一のオ
ブジェクト画像をクリックしたデータであると判定され
てステップＳ５３の処理に進むと、動きオブジェクト連
結処理部１１０は、注目クリックデータに対して、前回
のクリックデータと同一のオブジェクト番号を割り当て
る。

【０１６８】具体例を挙げて説明すると、例えば図１７
（Ｅ）のように、図中実線の×印で示す前回のクリック
データＣＬ１に対して割り当てられているオブジェクト
番号が、例えば「０」とされているとした場合におい
て、図１７（Ｅ）中点線の×印で示す注目クリックデー
タＣＬ２（オブジェクト番号が割り当てられる前のクリ
ックデータ）が、連続クリックで且つ動きクリックであ
ると判定され、前回のクリックが動きクリックとなって
おり、さらに注目クリックデータが表すクリック位置付
近の画像の特徴が、前回のクリックに割り当てられたオ
ブジェクト番号で構成されるオブジェクト画像の特徴に
含まれているか又はそれに近い場合、動きオブジェクト
連結処理部１１０は、図１７（Ｆ）中の実線の×印で示
す注目クリックデータＣＬ２に対して、前回のクリック
データと同一のオブジェクト番号（この例では「０」）
を割り当てる。

【０１６９】ステップＳ５３にて、注目クリックデータ
に、前回のクリックデータと同一のオブジェクトを割り
当てた後は、図１３のステップＳ１７の処理に進む。

【０１７０】次に、図１３のステップＳ１５からステッ
プＳ１７の処理に進んだ場合、オブジェクト画像抽出部
１１３は、オブジェクト番号用メモリ１１２に記憶され
た、オブジェクト番号が割り当てられた過去数フレーム
分に相当する各クリックデータと、画像用メモリ１０１
に記憶された過去数フレームの画像データとに基づい
て、注目クリックデータに対応するクリックが行われた
フレーム（以下、適宜、注目フレームという）の画像デ
ータから、静止しているオブジェクト画像（静止オブジ
ェクト画像）、動きのあるオブジェクト画像（動きオブ
ジェクト画像）、それら以外の背景画像を抽出する。す
なわち、注目フレームの画像中で、静止クリックと判定
されたクリックデータの密度が高い画像部分には、静止
オブジェクト画像が存在すると考えられるため、オブジ
ェクト画像抽出部１１３は、オブジェクト番号が割り当
てられた過去複数フレームのクリックデータに基づい
て、静止クリックと判定されたクリックデータの密度
（クリック密度）を求め、さらにクリック密度が高い画
像部分の中で支配的なオブジェクト番号を求める。そし
て、オブジェクト画像抽出部１１３は、その支配的なオ
ブジェクト番号が割り当てられているクリックデータの
分布からオブジェクトの形状を生成（特定）し、生成し
たオブジェクトの形状内の画像を、静止オブジェクト画
像として、注目フレームの画像データから抽出する。

【０１７１】また、ステップＳ１６からステップＳ１７
の処理に進んだ場合、オブジェクト画像抽出部１１３
は、動きクリックと判定されたクリックデータの中で、
同一オブジェクト番号が割り当てられているクリック位
置付近の画像どうしのフレーム間パターンマッチング等
を行い、動き補償を行った後、パターンマッチングで近
似しているとみなされた画像領域においてクリック密度
が高く支配的なオブジェクト番号を求める。さらに、オ
ブジェクト画像抽出部１１３は、その支配的なオブジェ
クト番号が割り当てられているクリックデータの分布か
らオブジェクトの形状を生成し、生成したオブジェクト
の形状内の画像を、動きオブジェクト画像として、注目
フレームの画像データから抽出する。

【０１７２】また、オブジェクト画像抽出部１１３は、
ステップＳ１７において、上述した静止クリック、動き
クリックと判定されたクリックデータのクリック密度が
低い画像部分を注目フレームの背景画像とみなす。言い
換えると、オブジェクト画像抽出部１１３は、注目フレ
ームから、静止オブジェクト画像、動きオブジェクト画
像が抽出された残りの画像部分を背景画像とする。

【０１７３】ステップＳ１７の処理を詳細に説明する
と、オブジェクト画像抽出部１１３は、図２０のフロー
チャートに示すように、先ず、ステップＳ６１として、
オブジェクト番号が割り当てられた過去複数フレーム分
に相当する各クリックデータと画像データとを取り込
み、各クリックデータを静止クリックと動きクリック毎
に分類する。そして、ステップＳ６２において、オブジ
ェクト画像抽出部１１３は、注目クリックデータが、静
止クリックまたは動きクリックのいずれであるかを判定
し、その判定結果に基づいて、ステップＳ６３またはＳ
６４に進む。ここで、図１３のステップＳ１５からステ
ップＳ１７の処理に進んだ場合には、ステップＳ６２か
らステップＳ６３以降の処理に進むことになり、図１３
のステップＳ１６からステップＳ１７の処理に進んだ場
合には、ステップＳ６２からステップＳ６４以降の処理
に進むことになる。

【０１７４】図１３のステップＳ１５からステップＳ１
７の処理に進み、図２０においてステップＳ６２からス
テップＳ６４以降の処理に進むと、オブジェクト画像抽
出部１１３は、先ず、過去複数フレーム分の画像に対
し、オブジェクト番号が割り当てられた各クリックデー
タの中で静止クリックとされているクリックデータの密
度（以下、クリック密度と呼ぶ）を、例えば、１６×１
６画素のブロック毎に求める。

【０１７５】次に、オブジェクト画像抽出部１１３は、
ステップＳ６５として、図２１（Ａ）に示すように、画
像内の図中点線で示すような各１６×１６画素のブロッ
クｂｋについて、図中×印で示す静止クリックのクリッ
ク密度が所定値以上あるか否かの判定を行う。

【０１７６】ここで、注目フレームの画像中で、静止ク
リックと判定されたクリックデータの密度が高い画像部
分には、静止オブジェクト画像が存在すると考えられ
る。このため、オブジェクト画像抽出部１１３は、静止
クリックのクリック密度が所定値以上となっているブロ
ックについては、ステップＳ６６の処理を行い、一方、
静止クリックのクリック密度が所定値未満となっている
ブロックについては、ステップＳ７０の処理を行う。

【０１７７】ステップＳ６６の処理に進むと、オブジェ
クト画像抽出部１１３は、静止クリックのクリック密度
が所定値以上となっているブロックについて、図２１
（Ｂ）に示すように、ブロック内の各クリックデータに
割り当てられているオブジェクト番号のうちで発生頻度
が最も高い支配的なオブジェクト番号を求め、さらに図
２１（Ｃ）に示すように、それぞれ支配的なオブジェク
ト番号が同じとなるブロック（ＢＫ０、ＢＫ２、ＢＫ
４、ＢＫ５）をまとめてオブジェクトの形状を生成す
る。そして、オブジェクト画像抽出部１１３は、生成し
たオブジェクトの形状に基づき、静止オブジェクト画像
を、注目フレームの画像データから抽出する。このステ
ップＳ６６の処理後は、図１３のステップＳ１１の処理
に戻る。

【０１７８】一方、図１３のステップＳ１６からステッ
プＳ１７の処理に進み、図２０においてステップＳ６２
からステップＳ６３以降の処理に進むと、オブジェクト
画像抽出部１１３は、図２１（Ｄ）に示すように、過去
複数フレーム分の画像において、図中×印で示す各動き
クリックとされているクリックデータのうち、それぞれ
同じオブジェクト番号が割り当てられているクリック位
置付近の画像同士のフレーム間パターンマッチングを行
い、さらに動き補償を行う。

【０１７９】次いで、オブジェクト画像抽出部１１３
は、ステップＳ６７として、パターンマッチングで近似
しているとみなされた画像領域内の動きクリックのクリ
ック密度を求める。

【０１８０】その後、オブジェクト画像抽出部１１３
は、ステップＳ６８として、図２１（Ｄ）に示すよう
に、画像内において図中×印で示す動きクリックのクリ
ック密度が、所定値以上あるか否かの判定を行う。

【０１８１】ここで、動き補償を行った後において、動
きクリックと判定されたクリックデータの密度が高い画
像部分には、動きオブジェクト画像が存在すると考えら
れる。このため、オブジェクト画像抽出部１１３は、動
き補償後の画像において動きクリックのクリック密度が
所定値以上となっている画像領域については、ステップ
Ｓ６９の処理を行い、一方、動きクリックのクリック密
度が所定値未満となっている画像領域については、ステ
ップＳ７０の処理を行う。

【０１８２】ステップＳ６９の処理に進むと、オブジェ
クト画像抽出部１１３は、動きクリックのクリック密度
が所定値以上となっている画像領域について、各クリッ
クデータに割り当てられているオブジェクト番号のうち
で発生頻度が最も高い支配的なオブジェクト番号を求
め、さらに図２１（Ｅ）に示すように、それぞれ支配的
なオブジェクト番号が同じとなるブロック（ＢＫ３，Ｂ
Ｋ６）をまとめてオブジェクトの形状を生成する。そし
て、オブジェクト画像抽出部１１３は、生成したオブジ
ェクトの形状に基づき、動きオブジェクト画像を、注目
フレームの画像データから抽出する。このステップＳ６
９の処理後は、図１３のステップＳ１１の処理に戻る。

【０１８３】なお、ステップＳ６５またはステップＳ６
８において、クリック密度が所定値未満と判定されたと
き、すなわち、静止クリックまたは動きクリックのクリ
ック密度が低いとき、ステップＳ７０に進み、そのよう
なクリック密度の低い画像部分に対応する注目フレーム
の領域は、背景画像領域として扱われる。言い換える
と、オブジェクト画像抽出部１１３は、注目フレームか
ら、静止オブジェクト画像、動きオブジェクト画像が抽
出された残りの画像部分を背景画像とする。このステッ
プＳ７０の処理後は、図１３のステップＳ１１の処理に
戻る。

【０１８４】図１３のステップＳ１１に戻った後は、以
下、同様の処理を繰り返す。

【０１８５】次に、図２２は、図９の第２オブジェクト
抽出装置８２の構成例を示している。

【０１８６】第２オブジェクト抽出装置８２は、意図検
出部１２０とオブジェクト抽出部１２５から構成されて
おり、意図検出部１２０は、動き解析部１２１、動きデ
ータベース１２２、意図解析部１２３、および動き対意
図関係データベース１２４から構成され、クリックデー
タに基づいて、ユーザの意図を検出するようになってい
る。

【０１８７】動き解析部１２１は、クリックデータベー
ス７３（図８）からユーザのクリックデータを読み出
し、そのクリックデータに基づいて、ユーザがクリック
した位置の動きを解析する。なお、動き解析部１２１
は、ユーザによるクリック位置の動き（以下、適宜、ク
リック動きという）の解析を、動きデータベース１２２
を参照しながら行い、その解析結果を、意図解析部１２
３に供給するようになっている。

【０１８８】動きデータベース１２２は、クリック動き
を解析するのに必要な情報を記憶している。

【０１８９】意図解析部１２３は、動き解析部１２１か
らのクリック動きの解析結果（以下、適宜、クリック動
き解析情報という）に基づき、クリックを行ったユーザ
の意図を解析する。なお、意図解析部１２３は、ユーザ
の意図の解析を、動き対意図関係データベース１２４を
参照しながら行い、その解析結果（以下、意図情報とい
う）を、オブジェクト抽出部１２５に供給するようにな
っている。

【０１９０】動き対意図関係データベース１２４は、ク
リック動きと、そのクリック動きが生じた場合に推定さ
れるユーザの意図との対応関係を記憶している。

【０１９１】オブジェクト抽出部１２５は、クリックデ
ータベース７３（図８）からクリックデータを読み出す
とともに、画像データベース７６から画像データを読み
出し、クリックデータに基づき、意図解析部１２３から
のユーザの意図情報を考慮して、画像データからオブジ
ェクトを抽出する。オブジェクト抽出部１２５によるオ
ブジェクトの抽出結果は、画像加工部７５（図８）に供
給されるようになっている。

【０１９２】次に、図２３のフローチャートを参照し
て、意図検出部１２０による、クリックデータに基づく
ユーザの意図の検出処理（意図検出処理）について説明
する。

【０１９３】まず最初に、ステップＳ８１において、動
き解析部１２１は、注目している注目ユーザのクリック
データすべてを、クリックデータベース７３から読み出
すことにより取得し、ステップＳ８２に進む。ステップ
Ｓ８２では、動き解析部１２１は、ステップＳ８１で取
得した注目ユーザのすべてのクリックデータを時系列に
並べたものから、任意の範囲の（任意の始点から任意の
終点までの）時系列のクリックデータの集合（以下、適
宜、順列集合という）を抽出し、ステップＳ８３に進
む。

【０１９４】ここで、ステップＳ８２では、クリックデ
ータについて、１つの順列集合だけでなく、複数の順列
集合（範囲の異なる時系列のクリックデータの集合）を
構成するようにすることが可能である。ステップＳ８２
において、複数の順列集合を構成する場合には、以降の
処理は、その複数の順列集合それぞれについて行われ
る。

【０１９５】ステップＳ８３では、動き解析部１２１
は、クリックデータの順列集合を用い、動きデータベー
ス１２２を参照して、クリック動きを解析し、ステップ
Ｓ８４に進む。ステップＳ８４では、動き解析部１２１
は、クリック動きの解析結果に基づいて、クリック動き
が不明かどうか、即ち、クリック動きが、動きデータベ
ース１２２に登録された所定のものでないかどうかを判
定する。

【０１９６】ステップＳ８４において、クリック動きが
不明であると判定された場合、ステップＳ８５およびＳ
８６をスキップして、処理を終了する。従って、この場
合、クリック動きの解析結果としてのクリック動き解析
情報は、意図解析部１２３に供給されない。

【０１９７】一方、ステップＳ８４において、クリック
動きが不明でないと判定された場合、動き解析部１２１
は、そのクリック動きの解析結果としてのクリック動き
解析情報を、意図解析部１２３に供給して、ステップＳ
８５に進む。

【０１９８】意図解析部１２３は、ステップＳ８５にお
いて、動き解析部１２１からクリック動き解析情報を受
信し、そのクリック動き解析情報に基づいて、ユーザの
意図を解析する。そして、ステップＳ８６に進み、意図
解析部１２３は、ステップＳ８６におけるユーザの意図
の解析結果としての意図情報を、オブジェクト抽出部１
２５に出力し、処理を終了する。

【０１９９】なお、図２３の意図検出処理は、例えば、
クリックデータベース７３（図８）に、注目ユーザから
の、新たなクリックデータが記憶されるごとに行われ
る。

【０２００】次に、図２４のフローチャートを参照し
て、図２２の動き解析部１２１が行う、図２３のステッ
プＳ８３におけるクリック動きの解析処理（クリック動
き解析処理）について説明する。

【０２０１】動き解析部１２１は、まず最初に、ステッ
プＳ９１において、動きデータベース１２２に記憶され
ている、あるクリック動きの評価方法と評価条件を取得
する。

【０２０２】即ち、動きデータベース１２２は、複数の
クリック動きについて、その評価方法と評価条件を記憶
している。具体的には、動きデータベース１２２は、例
えば、ユーザによるクリック位置の動き（変化）が、直
線的であるもの、円運動的であるもの、いわゆるブラウ
ン運動的であるもの等について、例えば、図２５および
図２６に示すような評価方法と評価条件を記憶してい
る。

【０２０３】クリック動きが、直線的な動き（以下、適
宜、直線動きという）であるかどうかの評価方法として
は、例えば、図２５（Ａ）に示すように、連続する２つ
のクリック位置（図２５において、○印で示す部分）
を、そのクリック順に接続して得られるベクトル（以
下、適宜、移動ベクトルという）を用い、ある移動ベク
トルと、次の移動ベクトルとがなす角θを用いること
が、動きデータベース１２２に記憶されている。

【０２０４】また、クリック動きが、円運動的な動き
（以下、適宜、円運動という）であるかどうかの評価方
法としては、例えば、図２５（Ｂ）に示すように、直線
動きでない場合に、順列集合を構成するクリックデータ
の始点Ｓと終点Ｅ（図２５（Ｂ）において、×印で示す
部分）との間の距離Ｄ_SEを用いることが、動きデータベ
ース１２２に記憶されている。

【０２０５】さらに、クリック動きが、ブラウン運動的
な動き（以下、適宜、ブラウン運動という）であるかど
うかの評価方法としては、例えば、図２５（Ｃ）に示す
ように、順列集合を構成するクリックデータの隣接する
ものどうしの距離と、その始点Ｓと終点Ｅ（図２５
（Ｃ）において、×印で示す部分）との間の距離Ｄ_SEを
用いることが、動きデータベース１２２に記憶されてい
る。

【０２０６】また、クリック動きが、直線動き、円運
動、ブラウン運動等であるかどうかの評価条件として
は、例えば、図２６に示すようなものが、動きデータベ
ース１２２に記憶されている。

【０２０７】即ち、図２６の実施の形態においては、ク
リック動きが直線動きであると評価（解析）されるため
には、移動ベクトルどうしのなす角θが、所定の閾値
（例えば、３０度など）以下であるという評価条件を満
たすことが必要であることになっている。

【０２０８】また、クリック動きが円運動であると評価
されるためには、順列集合を構成する複数のクリックデ
ータが、ある位置から移動して、その元の位置に戻って
くるような軌跡を描いているという評価条件を満たすこ
とが必要であることになっている。なお、この評価条件
を満たすかどうかは、例えば、クリック動きが直線動き
でないこと、および順列集合を構成するクリックデータ
の始点Ｓと終点Ｅとの間の距離Ｄ_SE（図２５（Ｂ））が
所定の閾値以下であること、という２つの条件を満たす
かどうかによって判断することができる。

【０２０９】さらに、クリック動きがブラウン運動と評
価されるためには、順列集合を構成する複数のクリック
データが、その数（従って、クリックされた位置の数）
に対して、始点Ｓから終点Ｅまでの距離が短いという評
価条件を満たすことが必要であることになっている。な
お、この評価条件を満たすかどうかは、クリック動きが
円運動でないこと、および順列集合を構成する、隣接す
る（連続する）２つのクリックデータが表すクリック位
置どうしの距離の総和に対して、その始点Ｓと終点Ｅと
の間の距離Ｄ_SE（図２５（Ｃ））が、十分に短いこと、
という２つの条件を満たすかどうかによって判断するこ
とができる。

【０２１０】図２４に戻り、ステップＳ９１では、動き
解析部１２１は、動きデータベース１２２に記憶されて
いる、上述のような複数のクリック動きについての評価
方法と評価条件のうち、所定のクリック動きについての
ものを取得する。ここで、以下、適宜、ステップＳ９１
で取得された、あるクリック動きについての評価方法と
評価条件を、それぞれ、注目評価方法と注目評価条件と
いう。

【０２１１】その後、ステップＳ９２に進み、動き解析
部１２１は、注目評価方法にしたがい、クリックデータ
の順列集合から、評価値を算出する。

【０２１２】即ち、注目評価方法が、例えば、クリック
動きが直線動きであるかどうかを評価するものである場
合には、図２５（Ａ）および図２６で説明したなす角θ
が、評価値となるため、動き解析部１２１は、クリック
データの順列集合について、移動ベクトルを求め、さら
に、すべての移動ベクトルについて、なす角θを、評価
値として求める。

【０２１３】また、注目評価方法が、例えば、クリック
動きが円運動であるかどうかを評価するものである場合
には、図２５（Ｂ）および図２６で説明したクリックデ
ータの始点Ｓと終点Ｅとの距離Ｄ_SEが、評価値となるた
め、動き解析部１２１は、クリックデータの順列集合か
ら、始点Ｓとなっているクリックデータと、終点Ｅとな
っているクリックデータを検出し、その間の距離Ｄ
_SEを、評価値として求める。

【０２１４】さらに、注目評価方法が、例えば、クリッ
ク動きがブラウン運動であるかどうかを評価するもので
ある場合には、図２５（Ｃ）および図２６で説明したク
リックデータの始点Ｓと終点Ｅとの距離Ｄ_SE、およびク
リックデータの順列集合の連続する２つのクリックデー
タの距離の総和Σが、評価値となるため、動き解析部１
２１は、クリックデータの順列集合から、その距離Ｄ_SE
と、総和Σを、評価値として求める。

【０２１５】ステップＳ９２において、評価値を算出し
た後は、ステップＳ９３に進み、動き解析部１２１は、
評価値が、注目評価条件に適合するかどうか（注目評価
条件を満たすかどうか）を判定する。

【０２１６】即ち、例えば、クリック動きが直線動きで
あるかどうかを評価する場合には、図２６で説明したよ
うに、隣接する移動ベクトルどうしがなす角θが、すべ
ての所定の閾値以下であるかどうかが判定される。

【０２１７】また、例えば、クリック動きが円運動であ
るかどうかを評価する場合には、図２６で説明したよう
に、クリック動きが円運動でなく、かつ、クリックデー
タの始点Ｓと終点Ｅとの距離Ｄ_SEが所定の閾値以下であ
るかどうかが判定される。

【０２１８】さらに、例えば、クリック動きがブラウン
運動であるかを評価する場合には、図２６で説明したよ
うに、クリック動きが円運動でなく、かつ、クリックデ
ータの始点Ｓと終点Ｅとの距離Ｄ_SEが、クリックデータ
の順列集合の連続する２つのクリックデータの距離の総
和Σよりも十分小さいかどうかが判定される。

【０２１９】ステップＳ９３において、評価値が、注目
評価条件に適合すると判定された場合、ステップＳ９４
に進み、動き解析部１２１は、注目評価方法および注目
評価条件に対応するクリック動きを表す情報を、クリッ
ク解析情報として、意図解析部１２３に出力し、処理を
終了する。

【０２２０】一方、ステップＳ９３において、評価値
が、注目評価条件に適合しないと判定された場合、ステ
ップＳ９５に進み、動き解析部１２１は、まだ用いてい
ない評価方法および評価条件が、動きデータベース１２
２に記憶されているかどうかを判定する。

【０２２１】ステップＳ９５において、まだ用いていな
い評価方法および評価条件が、動きデータベース１２２
に記憶されていると判定された場合、ステップＳ９１に
戻り、その、まだ用いていない評価方法および評価条件
のうちのいずれか１セットを、動きデータベース１２２
から読み出し、以下、同様の処理を繰り返す。

【０２２２】また、ステップＳ９５において、まだ用い
ていない評価方法および評価条件が、動きデータベース
１２２に記憶されていないと判定された場合、動き解析
部１２１は、クリック動きが不明であるとして、処理を
終了する。

【０２２３】なお、図２４の実施の形態においては、動
きデータベース１２２に記憶された複数の評価方法およ
び評価条件を、順次、注目評価方法および注目評価条件
として、逐次、処理を行うようにしたが、その他、例え
ば、動きデータベース１２２に記憶された複数の評価方
法および評価条件それぞれについて、並列に処理を行う
ようにすることも可能である。

【０２２４】さらに、図２４の実施の形態では、上述の
ように、ある評価条件に適合した時点で、その評価条件
に対応するクリック動きが、クリック解析情報とされる
が、その他、例えば、動きデータベース１２２に記憶さ
れた複数の評価方法および評価条件すべてについて処理
を行い、その処理結果に基づいて、最終的に最も確から
しいクリック動きを表す情報を、クリック解析情報とし
て出力するようにすることも可能である。

【０２２５】次に、図２７のフローチャートを参照し、
図２４のステップＳ９１において、例えば、直線動きの
評価方法と評価条件が、それぞれ、注目評価方法と注目
評価条件とされた場合のステップＳ９２およびＳ９３の
処理について、さらに詳述する。

【０２２６】まず最初に、ステップＳ１０１において、
動き解析部１２１は、クリックデータの順列集合におけ
る隣接するクリックデータを、そのクリック順に結ぶ移
動ベクトルを算出し、ステップＳ１０２に進む。ここ
で、クリックデータの順列集合におけるｉ番目のクリッ
クデータと、ｉ＋１番目のクリックデータとを結ぶ移動
ベクトルを、以下、適宜、ｖ_iと記述する。

【０２２７】ステップＳ１０２では、動き解析部１２１
は、移動ベクトルｖ_iを特定するインデックスとなる変
数ｉを１に初期化し、ステップＳ１０３に進む。ステッ
プＳ１０３では、動き解析部１２１は、移動ベクトルｖ
_iとｖ_i+1とがなす角θを求め、ステップＳ１０４に進
み、そのなす角θが、所定の閾値ε以下であるかどうか
を判定する。

【０２２８】ステップＳ１０４において、なす角θが、
閾値ε以下でないと判定された場合、ステップＳ１０８
に進み、動き解析部１２１は、クリック動きが「直線動
き」に適合しないと認識して、処理を終了する。

【０２２９】また、ステップＳ１０４において、なす角
θが、閾値ε以下であると判定された場合、ステップＳ
１０５に進み、動き解析部１２１は、変数ｉを１だけイ
ンクリメントし、ステップＳ１０６に進む。

【０２３０】ステップＳ１０６では、動き解析部１２１
は、変数ｉが、順列集合を構成するクリックデータの数
に等しいかどうかを判定し、等しくないと判定した場
合、ステップＳ１０３に戻り、以下、同様の処理を繰り
返す。

【０２３１】また、ステップＳ１０６において、変数ｉ
が、順列集合を構成するクリックデータの数に等しいと
判定された場合、従って、クリックデータの順列集合か
ら構成される移動ベクトルの隣接するものどうしのなす
角θが、すべて閾値ε以下である場合、ステップＳ１０
７に進み、動き解析部１２１は、クリック動きが「直線
動き」に適合すると認識して、処理を終了する。

【０２３２】なお、図２７のステップＳ１０１乃至Ｓ１
０３の処理が、図２４のステップＳ９２の処理に対応
し、図２７のステップＳ１０４乃至Ｓ１０８の処理が、
図２４のステップＳ９３の処理に対応する。

【０２３３】次に、図２８のフローチャートを参照し
て、図２２の意図解析部１２３が行う、図２３のステッ
プＳ８５における意図解析処理について説明する。

【０２３４】まず最初に、ステップＳ１１１において、
意図解析部１２３は、動き解析部１２１から供給される
クリック動き解析情報を受信し、ステップＳ１１２に進
む。ステップＳ１１２では、意図解析部１２３は、画像
の静動判定を行う。

【０２３５】ここで、ステップＳ１１２における静動判
定では、第１オブジェクト抽出装置８１を構成する、図
１２に示したオブジェクト抽出部９４の静動判定部１０
３が行うのと同様の処理が、順列集合を構成するクリッ
クデータを順次、注目クリックデータとして行われる。
そして、動きクリックとされたクリックデータの方が、
静止クリックされたクリックデータより多い場合には、
順列集合を構成するクリックデータは、画像の動き部を
クリックしたものであると判定され、逆に、静止クリッ
クとされたクリックデータの方が多い場合には、順列集
合を構成するクリックデータは、画像の静止部をクリッ
クしたものであると判定される。

【０２３６】その後、ステップＳ２８に進み、意図解析
部１２３は、動き対意図関係データベース１２４を参照
し、動き解析部１２１から受信した動き解析情報と、ス
テップＳ１１２で得た静動判定結果を検索する。

【０２３７】即ち、動き対意図関係データベース１２４
には、例えば、図２９に示すように、動き解析情報が表
すクリック動き、および静動判定結果と、それらのクリ
ック動きおよび静動判定結果から推定される、ユーザが
クリックを行った意図を表す意図情報とが対応付けられ
て記憶されている。

【０２３８】ステップＳ２８では、このような動き対意
図関係データベース１２４から、動き解析部１２１から
受信した動き解析情報と、ステップＳ１１２で得た静動
判定結果との組が検索され、さらに、その組に対応付け
られている意図情報が読み出される。

【０２３９】ここで、図２９の実施の形態では、クリッ
ク動きが直線動きで、クリックされた画像が動き部であ
る場合には、ユーザによるクリックは、ある動きのある
オブジェクトをトラッキング（追跡）する意図があると
されている。また、クリック動きが円運動またはブラウ
ン運動で、クリックされた画像が静止部である場合に
は、ユーザによるクリックは、ある静止しているオブジ
ェクトを注視する意図があるとされている。

【０２４０】図２８に戻り、ステップＳ２８において、
動き対意図関係データベース１２４から、意図情報が読
み出された後は、ステップＳ２９に進み、意図解析部１
２３は、その意図情報を、オブジェクト抽出部１２５
（図２２）に出力し、処理を終了する。

【０２４１】なお、動き解析部１２１から受信した動き
解析情報と、ステップＳ１１２で得た静動判定結果との
組が、動き対意図関係データベース１２４に登録されて
いない場合には、ステップＳ２８において検索を行うこ
とができないが、その場合には、意図解析部１２３は、
ユーザの意図が不明である旨の意図情報を、オブジェク
ト抽出部１２５に出力する。

【０２４２】また、図２８の実施の形態では、動き解析
情報と、静動判定結果に基づいて、ユーザの意図を推定
するようにしたが、ユーザの意図は、その他、動き解析
情報にのみ基づいて推定することも可能である。

【０２４３】但し、動き解析情報だけに基づいて、ユー
ザの意図を推定する場合においては、複数の意図が推定
される場合があり、基本的には、その複数の意図から、
最も確からしいものを決定するのが望ましい。そこで、
ユーザの意図が複数推定される場合においては、上述し
たように、動き解析情報だけでなく、静動判定結果等を
も用いることで、より確からしい意図を推定することが
可能となる。

【０２４４】即ち、例えば、何人かのユーザに、ある意
図を持ってクリックを行ってもらう実験を行い、その実
験によって、複数の意図が推定される動き解析情報につ
いては、上述の静動判定等を組み合わせ、意図の場合分
けの細分化を行っておき、その細分化結果を、動き対意
図関係データベース１２４に登録しておくことで、より
確からしい意図を推定することが可能となる。

【０２４５】以上のような意図情報を、意図解析部１２
３から受信したオブジェクト抽出部１２５は、その意図
情報を考慮して、画像データベース７６（図８）に記憶
された画像から、オブジェクトを抽出する。

【０２４６】即ち、意図情報が、例えば、動いているオ
ブジェクトをトラッキングする意図を表している場合に
は、オブジェクト抽出部１２５は、クリックデータベー
ス７３（図８）に記憶されたクリックデータに対応する
クリック位置付近に、同一物体についてのオブジェクト
があると認識し、例えば、複数フレームについて、その
クリック位置付近においてブロックマッチング等を行う
ことで、その同一物体についてのオブジェクトを抽出す
る。

【０２４７】あるいは、また、意図情報が、静止してい
るオブジェクトを注視する意図を表している場合には、
オブジェクト抽出部１２５は、クリックデータベース７
３に記憶されたクリックデータが表す各クリック位置に
ある画素の周辺において、その画素と同様の色を有する
画素を検出し、その検出した画素からなる領域を、オブ
ジェクトとして抽出する。

【０２４８】なお、ここでは、意図情報に基づいて、オ
ブジェクトを抽出するようにしたが、意図情報は、オブ
ジェクト抽出以外の画像処理において、その処理を行う
にあたって参考にすることができる。

【０２４９】即ち、図３０乃至図３６は、クリックを行
った位置の解像度が高くなるという条件で行ったシミュ
レーション結果を示している。なお、図３０乃至図３
３、並びに図３５および図３６は、シミュレーション結
果としての画像を、模式的に表している。

【０２５０】図３０乃至図３３は、自動車のおもちゃ
が、画面の左から右方向に直線的に移動している様子を
表示する動画を示しており、さらに、図３１乃至図３３
においてＬ１で示す線は、ユーザがクリックを行ったク
リック位置を時系列に結んだの軌跡を示している。上述
の意図検出処理（図２３）によれば、図３０乃至図３３
から、ユーザが、動いている自動車のおもちゃのオブジ
ェクト画像をトラッキングしようとしている意図がある
ことを認識することができる。

【０２５１】一方、図３４は、図３０乃至図３３に示し
た自動車のおもちゃのオブジェクト画像の所定の点の座
標と、その座標の変化としての動きベクトル、およびユ
ーザがクリックを行った点（クリック点）の座標と、そ
の座標の変化としての移動ベクトルを示している。

【０２５２】図３４から、移動ベクトルは、動きベクト
ルと似ており、従って、ユーザが、オブジェクト画像を
トラッキングしようとしている意図がある場合には、移
動ベクトルに基づいて、動きベクトルの検出のためのブ
ロックマッチングの範囲を選択することができる。即
ち、ユーザがオブジェクトをトラッキングしようとして
いる意図を表す意図情報は、動きベクトルを検出する処
理を行うにあたって、その処理のための補助的な情報と
して用いることができる。

【０２５３】図３５および図３６は、複数のオブジェク
トが表示された画像を、模式的に表しており、さらに、
図３５および図３６においてＬ２で示す線は、ユーザが
クリックを行ったクリック位置を時系列に結んだ軌跡を
示している。上述の意図検出処理（図２３）によれば、
図３５または図３６から、ユーザが、画面右下にある、
静止している物体のオブジェクト画像を注視しようとし
ている意図があることを認識することができる。

【０２５４】この場合、図３６に示すように、クリック
位置を中心とする所定の範囲には、オブジェクト画像が
含まれる。従って、ユーザがオブジェクトを注視しよう
としている意図を表す意図情報は、オブジェクトを抽出
する処理を行うにあたって、その処理のための補助的な
情報として用いることができる。

【０２５５】即ち、ユーザがオブジェクトを注視しよう
としている意図を有する場合には、クリック位置にオブ
ジェクトが存在することが推測されるから、クリック位
置付近にオブジェクトが存在することが分かり、その結
果、クリック位置と同じような色の部分をオブジェクト
として抽出する方法であっても、異なる複数の色を有し
ているオブジェクトを、精度良く抽出することが可能と
なる。また、図３６において、点線の正方形は、クリッ
ク位置を中心とする正方形であるが、このような正方形
の領域を抽出することにより、静止しているオブジェク
トの概形を得ることができる。

【０２５６】以上のように、意図情報は、各種の画像処
理を行うにあたって、補助的な情報として用いることが
でき、その結果、画像処理の精度を向上させることがで
きる。

【０２５７】なお、意図解析部１２３で得られた意図情
報は、第１オブジェクト抽出装置８１におけるオブジェ
クト抽出処理の補助的な情報としても用いることが可能
である。即ち、第１オブジェクト抽出装置８１では、上
述したように、クリック密度の高い部分がオブジェクト
として抽出されるが、このことは、逆に言えば、オブジ
ェクトの領域であっても、クリック密度が低い領域が、
オブジェクトとして抽出されないことが生じ得ることを
意味する。そこで、ユーザがオブジェクトを注視しよう
としている意図がある場合には、クリック密度が低い領
域であっても、例外的に、オブジェクトとして抽出する
ようにすることで、より精度の高いオブジェクト抽出が
可能となる。

【０２５８】また、第１オブジェクト抽出装置８１や第
２オブジェクト抽出装置８２では、各ユーザのクリック
データを、ユーザごとに個別に処理するのではなく、複
数のユーザのクリックデータをまとめて（複数のユーザ
のクリックデータを、一人のユーザのクリックデータと
みなして）処理するようにすることが可能である。

【０２５９】さらに、本発明は、画像を、通信により提
供するネットワークシステムの他、GUI(Graphical User
Interface)等の画像を媒介としたユーザインタフェー
ス等に適用することが可能である。本発明を、GUIに適
用した場合、ユーザの意図に応じて、大きさや解像度等
の異なるアイコンを表示する等の、ユーザの意図に適合
した画像処理を行うことが可能となる。

【０２６０】

【発明の効果】本発明の画像処理装置および画像処理方
法、並びにプログラムによれば、ユーザからの複数の位
置情報に基づいて、ユーザが指示する位置の動きが解析
され、その動きの解析結果に基づいて、ユーザの意図が
解析される。そして、そのユーザの意図の解析結果に基
づいて、画像データが処理される。従って、例えば、オ
ブジェクトの抽出等を精度良く行うことが可能となる。

【０２６１】本発明のデータは、ユーザからの複数の位
置情報に基づいて、ユーザが指示する位置の動きを解析
し、動きの解析結果に基づいて、ユーザの意図を解析
し、意図の解析結果に基づいて、画像データを処理する
ことにより得られるものであるので、例えば、精度良く
オブジェクト抽出された画像となっている。

【図面の簡単な説明】

【図１】本発明を適用したネットワークシステムの一実
施の形態の構成例を示す図であある。

【図２】携帯端末１の外観構成例を示す斜視図である。

【図３】携帯端末１のカメラ部１５を回動した状態を示
す斜視図である。

【図４】携帯端末１の電気的構成例を示すブロック図で
ある。

【図５】コンテンツサーバ７のハードウェア構成例を示
すブロック図である。

【図６】コンテンツサーバ７が提供する画像データを説
明する図である。

【図７】コンテンツサーバ７が提供する画像データを説
明する図である。

【図８】画像データを提供するコンテンツサーバ７の機
能的構成例を示すブロック図である。

【図９】クリックデータ処理部７４の構成例を示すブロ
ック図である。

【図１０】第１オブジェクト抽出装置８１の構成例を示
すブロック図である。

【図１１】第１オブジェクト抽出装置８１の処理を説明
するフローチャートである。

【図１２】オブジェクト抽出部９４の構成例を示すブロ
ック図である。

【図１３】動きオブジェクト画像および静止オブジェク
ト画像の抽出処理を説明するフローチャートである。

【図１４】静動判定処理を説明するフローチャートであ
る。

【図１５】フレーム間差分の計算方法を説明する図であ
る。

【図１６】連続クリック判定処理を説明するフローチャ
ートである。

【図１７】オブジェクト番号の付け方を説明する図であ
る。

【図１８】静止オブジェクト連結処理を説明するフロー
チャートである。

【図１９】動きオブジェクト連結処理を説明するフロー
チャートである。

【図２０】オブジェクト抽出処理を説明するフローチャ
ートである。

【図２１】オブジェクト抽出方法を説明する図である。

【図２２】第２オブジェクト抽出装置８２の構成例を示
すブロック図である。

【図２３】第２オブジェクト抽出装置８２による意図検
出処理を説明するフローチャートである。

【図２４】クリック動き解析処理を説明するフローチャ
ートである。

【図２５】クリック動きの評価方法を示す図である。

【図２６】クリック動きの評価条件を説明する図であ
る。

【図２７】クリック動きが直線動きであるかどうかを評
価する処理を説明するフローチャートである。

【図２８】意図解析処理を説明するフローチャートであ
る。

【図２９】動き対意図関係データベース１２４の記憶内
容を示す図である。

【図３０】シミュレーション結果を示す模式図である。

【図３１】シミュレーション結果を示す模式図である。

【図３２】シミュレーション結果を示す模式図である。

【図３３】シミュレーション結果を示す模式図である。

【図３４】シミュレーションで得られた動きベクトルと
移動ベクトルとを示す図である。

【図３５】シミュレーション結果を示す模式図である。

【図３６】シミュレーション結果を示す模式図である。

【符号の説明】

１₁乃至１_A 携帯端末，２₁乃至２_B 基地局，３
公衆回線網，４₁乃至４_C ＷＷＷサーバ，５イン
ターネット，６アクセスサーバ，７コンテンツサ
ーバ，８管理制御装置，１１ヒンジ部，１２
表示部，１３本体，１４アンテナ，１５カ
メラ部，１６ＣＣＤカメラ，１７スピーカ，１
８液晶ディスプレイ，１９操作キー，１０メ
モボタン，２１マイクロフォン，２２トラック
ボール，２３メモリカード，２４メモリスティ
ックスロット，３０主制御部，３１電源回路
部，３２操作入力制御部，３３画像エンコー
ダ，３４カメラＩ／Ｆ，３５ＬＥＤ制御部，
３６画像デコーダ，３７多重分離部，３８変復
調回路部，３９音声コーデック，４０メインバ
ス，４１同期バス，４２記録再生部，４３送
受信回路部，５１バス，５２CPU，５３ ROM，
５４ RAM，５５ハードディスク，５６出力
部，５７入力部，５８通信部，５９ドライ
ブ，６０入出力インタフェース，６１リムーバ
ブル記録媒体，７１送受信制御部，７２登録
部，７３クリックデータベース，７４クリック
データ処理部，７５画像加工部，７６画像データ
ベース，８１第１オブジェクト抽出装置，８２
第２オブジェクト抽出装置，９１クリックデータ読
み出し部，９２画像データ読み出し部，９３背景
抽出部，９４オブジェクト抽出部，９５付加情
報算出部，９６多重化処理部，１０１画像用メ
モリ，１０２クリックデータ用メモリ，１０３
静動判定部，１０４連続クリック判定部，１０５
処理判定部，１０６乃至１０８切換選択スイッ
チ，１０９オブジェクト番号割り当て部，１１０
動きオブジェクト連結処理部，１１１静止オブジ
ェクト連結処理部，１１２オブジェクト番号用メモ
リ，１１３オブジェクト画像抽出部，１１４オ
ブジェクト抽出結果用メモリ，１２０意図検出部，
１２１動き解析部，１２２動きデータベース，
１２３意図解析部，１２４動き対意図関係デー
タベース，１２５オブジェクト抽出部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B087 AA02 CC26 DD03 DD16 DE03 5E501 AC15 BA05 CA04 CB02 CB10 CB12 CB15 EA05 EA13 FA02 FA14 FB43 5L096 AA02 AA06 CA02 CA14 CA24 DA01 FA69 HA04 HA05 JA01 LA17

Claims

【特許請求の範囲】

【請求項１】表示された画像上の位置をユーザが指示
することにより得られる位置情報に基づいて、画像デー
タを処理する画像処理装置であって、前記ユーザからの複数の位置情報に基づいて、前記ユー
ザが指示する位置の動きを解析する動き解析手段と、前記動き解析手段による解析結果に基づいて、前記ユー
ザの意図を解析する意図解析手段と、前記意図解析手段による解析結果に基づいて、前記画像
データを処理する処理手段とを備えることを特徴とする
画像処理装置。
【請求項２】前記動き解析手段は、前記ユーザが指示
する位置の動きが直線的であるかどうかを解析し、前記意図解析手段は、前記ユーザが指示する位置の動き
が直線的である場合に、前記ユーザが、表示された画像
上の所定のオブジェクトをトラッキングしようとする意
図があると解析することを特徴とする請求項１に記載の
画像処理装置。
【請求項３】前記動き解析手段は、前記ユーザが指示
する位置の動きが円運動的またはブラウン運動的である
かどうかを解析し、前記意図解析手段は、前記ユーザが指示する位置の動き
が円運動的またはブラウン運動的である場合に、前記ユ
ーザが、表示された画像上の所定のオブジェクトを注視
しようとする意図があると解析することを特徴とする請
求項１に記載の画像処理装置。
【請求項４】前記処理手段は、前記意図解析手段によ
る解析結果に基づいて、前記画像データからオブジェク
トを抽出することを特徴とする請求項１に記載の画像処
理装置。
【請求項５】画像を、前記ユーザの端末に提供する提
供手段をさらに備えることを特徴とする請求項１に記載
の画像処理装置。
【請求項６】前記ユーザの端末は、携帯端末であるこ
とを特徴とする請求項５に記載の画像処理装置。
【請求項７】前記位置情報は、前記ユーザの端末か
ら、所定のネットワークを介して送信されてくることを
特徴とする請求項１に記載の画像処理装置。
【請求項８】表示された画像上の位置をユーザが指示
することにより得られる位置情報に基づいて、画像デー
タを処理する画像処理方法であって、前記ユーザからの複数の位置情報に基づいて、前記ユー
ザが指示する位置の動きを解析する動き解析ステップ
と、前記動き解析ステップによる解析結果に基づいて、前記
ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記
画像データを処理する処理ステップとを備えることを特
徴とする画像処理方法。
【請求項９】表示された画像上の位置をユーザが指示
することにより得られる位置情報に基づいて、画像デー
タを処理する画像処理を、コンピュータに行わせるプロ
グラムであって、前記ユーザからの複数の位置情報に基づいて、前記ユー
ザが指示する位置の動きを解析する動き解析ステップ
と、前記動き解析ステップによる解析結果に基づいて、前記
ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記
画像データを処理する処理ステップとを備えることを特
徴とするプログラム。
【請求項１０】表示された画像上の位置をユーザが指
示することにより得られる位置情報に基づいて、画像デ
ータを処理する画像処理を、コンピュータに行わせるプ
ログラムが記録されているプログラム記録媒体であっ
て、前記ユーザからの複数の位置情報に基づいて、前記ユー
ザが指示する位置の動きを解析する動き解析ステップ
と、前記動き解析ステップによる解析結果に基づいて、前記
ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記
画像データを処理する処理ステップとを備えるプログラ
ムが記録されていることを特徴とするプログラム記録媒
体。
【請求項１１】表示された画像上の位置をユーザが指
示することにより得られる位置情報に基づいて、画像デ
ータを処理することにより得られるデータであって、前記ユーザからの複数の位置情報に基づいて、前記ユー
ザが指示する位置の動きを解析し、前記動きの解析結果に基づいて、前記ユーザの意図を解
析し、前記意図の解析結果に基づいて、前記画像データを処理
することにより得られることを特徴とするデータ。
【請求項１２】表示された画像上の位置をユーザが指
示することにより得られる位置情報に基づいて、画像デ
ータを処理することにより得られるデータが記録されて
いるデータ記録媒体であって、前記ユーザからの複数の位置情報に基づいて、前記ユー
ザが指示する位置の動きを解析し、前記動きの解析結果に基づいて、前記ユーザの意図を解
析し、前記意図の解析結果に基づいて、前記画像データを処理
することにより得られるデータが記録されていることを
特徴とするデータ記録媒体。