JP2003036451A - 画像処理装置、ゲーム装置、画像データ生成方法、およびそのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 主画像中のアイテムと、ポインタとの新規な
あたり判定を実現する装置を提供する。 【解決手段】 オブジェクト検出部３４は、ポインタ情
報検出部２６からポインタ情報を受け取り、副画像再生
部４４から再生された副画像を受け取る。オブジェクト
検出部３４は、ポインタ情報に含まれるフレーム情報に
基づいて、参照すべき副画像のフレームを特定し、その
副画像においてポインタ情報に含まれるポインタの位置
情報より特定される位置に割り当てられたオブジェクト
識別情報を抽出する。つづいて、オブジェクト検出部３
４は、オブジェクトテーブル５６を参照して、そのオブ
ジェクト識別情報により特定されるオブジェクトを検出
する。このようにして、主画像中の対応するアイテム
が、オブジェクトに相当する構成であることが判定され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理を行う技
術に関する。とくに、本発明は、新規な画像処理技術を
実現することができる画像処理装置、ゲーム装置、その
装置を利用可能なシステム及びその装置に利用可能な方
法、その方法を実現するためのプログラム、さらには、
それらの装置、方法等において利用可能な画像データの
生成方法に関する。

【０００２】

【従来の技術】近年、画像処理技術の進歩には目を見張
るものがある。その技術は、多岐にわたる分野で利用さ
れ、専門家のみならず、一般のユーザにとっても非常に
身近な存在となっている。特に、画像処理技術を駆使し
たゲーム装置は、現実感あふれる映像空間を提供し、世
界中で爆発的な人気を得るまでに至っている。また、デ
ジタル放送やインターネットなどに要するインフラ、お
よび画像圧縮技術の確立により、最近では誰もがデジタ
ル映像を見ることのできる環境が整ってきている。

【０００３】例えば、ゲームのプレイヤーなどのユーザ
は、画面に映し出される映像を見ながら、マウスなどの
ポインティングデバイスを用いてポインタを画面上で操
作し、所望のリンクが張られた領域ないしは所望の機能
を実現させる機能ボタンが形成された領域を指定するこ
とによって、リンク先へのジャンプや、提供される各種
機能を実行することができる。その機能には、例えば、
映像を切り替えて新たな映像を展開させるものや、映像
に付加された情報を閲覧させるものなど、様々なものが
存在する。これらの処理のためには、画像処理装置が、
ポインタが画面中の所定の領域に存在することを検出で
きることが前提となる。

【０００４】図１は、画像中のオブジェクト領域を設定
する従来の方法を説明するための説明図である。ここで
は、画像に含まれる対象をアイテムと定義し、そのアイ
テムに対して設定される領域をオブジェクト領域と定義
して説明する。図示されるように、この画像１０は、
（ｘ_０,ｙ_０）から（ｘ_ｎ,ｙ_ｎ）までの座標空間を有
し、アイテムとして「人」が含まれている。画像中のア
イテムに対してリンク先を設定するためには、まずアイ
テムが存在するオブジェクト領域を設定し、その領域と
リンク先とを対応付けたテーブルを作成する必要があ
る。基本的に、この作業は人手により行われる。画像中
にオブジェクト領域を設けることにより、ユーザにより
操作されるポインタが、そのオブジェクト領域上にある
か否かが判定され（いわゆる「あたり判定」）、リンク
先にジャンプすることが可能となる。

【０００５】図１（ａ）は、２点の座標値（ｘ_１,
ｙ_１）、（ｘ_２,ｙ_ｎ）を指定することで、オブジェク
ト領域１２を設定した状態を示す。図中、領域１２は、
点線で示されている。従来、作業の簡便性から、座標の
２点を指定することにより、矩形状のオブジェクト領域
を設定する手法がよく用いられる。

【０００６】図１（ｂ）は、２つの矩形状の領域により
形成されるオブジェクト領域を設定した状態を示す。こ
こでは、顔の領域を、２点の座標値（ｘ_３,ｙ_３）、
（ｘ_４,ｙ_４）で指定し、上半身の領域を、２点の座標
値（ｘ_５,ｙ_４）、（ｘ_６,ｙ_ｎ）で指定する。このよう
に、オブジェクト領域を複数の矩形領域に分割して表現
することにより、できるだけアイテムの形状に近づけて
いこうとする試みがなされている。

【０００７】図２は、リンク先が設定されたオブジェク
ト領域のテーブルを示す。図中、フレームナンバーは、
画像フレームを特定するための識別番号であり、Ｐ
_１は、矩形領域の左上座標を、Ｐ_２は、矩形領域の右下
座標を示す。また、リンク先は、アイテムを指定するこ
とによりジャンプする画像番号を示す。ここで、図２
（ａ）は、図１（ａ）により示されるオブジェクト領域
１２に関するテーブルを示し、図２（ｂ）は、図１
（ｂ）により示されるオブジェクト領域１２ａ、１２ｂ
に関するテーブルを示している。コンピュータに組み込
まれる画像処理機能は、ポインタの位置情報と、このテ
ーブルとを対比することによって、あたり判定を行って
いる。

【０００８】

【発明が解決しようとする課題】しかしながら、従来の
方法によれば、例えば、ゲーム制作者などの作業者は、
オブジェクト領域を設定するにあたって画面上の複数の
位置を指定しなければならず、非常に手間がかかるとい
う問題がある。特に、動画像に対しては、オブジェクト
領域をフレーム毎に設定する必要があるため、この作業
は、非常に煩わしいものとなる。

【０００９】また、矩形の領域では、アイテムの形状を
適切に表現することが難しいという問題もある。図１
（ａ）を参照すると、オブジェクト領域１２は、単なる
矩形であって、人の形状を全く表現しきれていない。ま
た、図１（ｂ）に示されるオブジェクト領域１２ａおよ
び１２ｂは、図１（ａ）のオブジェクト領域１２よりも
幾分ましではあるが、それでも人の形状を表現している
とは言い難い。この問題は、アイテムの形状が複雑であ
ればあるほど、より顕著に発生し、無視できないものと
なる。そのため、ユーザは、ポインタでアイテムを指定
したつもりでなくても、オブジェクト領域とのあたり判
定により、ポインタがアイテム上にあるとみなされ、望
んでいないリンク先にジャンプするという事態が起こり
得る。

【００１０】そのような不都合を避けるため、作業者
が、アイテムの輪郭を密にプロットして正確なオブジェ
クト領域を形成する手法も考えられるが、非常に面倒で
あり、特に、動画のフレーム数が多い場合には、作業の
手間が膨大となるので現実的でない。

【００１１】そこで、本発明は、上記の課題を解決する
ことのできる画像の処理を行う画像処理装置、ゲーム装
置、その装置を利用可能なシステム及びその装置に利用
可能な方法、その方法を実現するためのプログラム、さ
らには、それらの装置等において利用可能な画像データ
の生成方法を提供することを目的とする。これらの目的
は特許請求の範囲における独立項に記載の特徴の組合せ
により達成される。また従属項は本発明の更なる有利な
具体例を規定する。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の形態に係る画像処理装置は、ポイン
タの操作を受け付ける入力受付部と、主画像を表示させ
る表示処理部と、少なくとも一つのオブジェクトを含む
副画像のデータを格納する副画像データ格納部と、主画
像におけるポインタ情報を検出する第１検出部と、検出
されたポインタ情報と、副画像データとに基づいて、オ
ブジェクトを検出する第２検出部とを備える。副画像デ
ータを用いてオブジェクトを検出することにより、新規
なあたり判定を実現する画像処理装置を提供する。

【００１３】副画像データ格納部は、オブジェクトごと
に割り当てられるオブジェクト識別情報を付加した副画
像データを格納する。表示するための主画像が複数存在
する場合に、副画像データ格納部は、それぞれの主画像
に対応する副画像データを格納し、各副画像データは、
それぞれ独立したオブジェクト識別情報を有する。ここ
で、副画像データは、複数のオブジェクトに、それぞれ
異なる色情報をオブジェクト識別情報として付加したも
のであってよい。色情報をオブジェクト識別情報として
利用することで、副画像データは、容易に生成されるこ
ととなり、また、画像処理装置に、識別情報を読み取る
ための新たな構成を付加する必要がないという利点もあ
る。

【００１４】主画像は、副画像に含まれるオブジェクト
に対応するアイテムを含む。主画像におけるアイテム
と、副画像におけるオブジェクトは、その形状および動
きを同一とするように構成されてもよい。アイテムとオ
ブジェクトの形状および動きを同一に構成することによ
って、アイテムとオブジェクトとを連動させ、ポインタ
の位置と副画像中でのオブジェクトとに基づいて、アイ
テムがオブジェクトに相当する構成であるか否かを判断
できる。つまり、第２検出部は、副画像においてポイン
タ情報により特定される位置に割り当てられたオブジェ
クト識別情報に基づいて、オブジェクトを検出する機能
を有し、対応するアイテムが、オブジェクトに相当する
構成であることを認識できる。このとき、アイテムとオ
ブジェクトの形状は同一であるため、ユーザが、主画像
中のアイテムの外部にある点をポインタで指定したとし
ても、副画像におけるオブジェクトは検出されない。す
なわち、従来のオブジェクト領域を設定するあたり判定
よりも、アイテムの形状に忠実な、正確なあたり判定を
実現することが可能となる。なお、アイテムが非常に小
さく、ポインタで指定しにくい場合には、対応するオブ
ジェクトの大きさを拡大して、オブジェクトを検出しや
すくしてもよい。また、別の例として、主画像のアイテ
ムに無関係な隠れオブジェクトを、副画像中に設定する
ことも可能である。

【００１５】また、画像処理装置は、主画像を、表示用
映像として再生する主画像再生部と、副画像を、非表示
用映像として再生する副画像再生部とを備える。副画像
の再生は、副画像データ格納部から副画像データを読み
出して、主画像に対応する副画像データの内容を特定で
きればよく、ユーザによる通常の使用状態において、そ
のデータを表示装置に出力することまでは意図しない。
ここで、「非表示用」画像とは、表示装置においてユー
ザに対して表示されるための画像ではないことを意味す
るのみであって、副画像自体が、表示不能であることを
意味するものではない。すなわち、非表示用画像は、表
示可能であってもよいが、ユーザによる通常の使用状態
においては、表示装置に表示されないという意味で用い
る。

【００１６】第２検出部は、主画像におけるポインタの
操作に合わせて、仮想的なポインタを副画像において動
かすことによって、オブジェクトを検出する機能を有す
る。つまり、第２検出部は、主画像で動かされるポイン
タを、副画像において仮想的に動かすことにより、オブ
ジェクトのあたり判定を行う。副画像再生部は、主画像
再生部による主画像の再生に同期して、副画像を再生す
ることが好ましい。

【００１７】なお、ポインタ情報は、主画像中に配置さ
れるポインタの位置情報を少なくとも含み、主画像のフ
レームを特定する情報を含んでもよい。

【００１８】この画像処理装置は、第２検出部において
オブジェクトが検出された場合に、主画像において、ポ
インタの位置にあるアイテムが、オブジェクトに相当す
る構成であることを指示する指示部を更に備えてもよ
い。表示処理部は、指示部からの指示を受け、ポインタ
の形状を変化させてもよい。また、この画像処理装置
は、オブジェクト識別情報と、オブジェクトに関連する
情報とを対応付けたテーブルを備える。このテーブルに
より、オブジェクトが特定され、そのオブジェクトに対
して付与されている機能の実行が可能となる。

【００１９】本発明の第２の形態に係る画像処理装置
は、画面中に入力された位置情報を受け付ける入力受付
部と、主画像を表示させる表示処理部と、少なくとも一
つのオブジェクトを含む副画像のデータを格納する副画
像データ格納部と、主画像における入力位置情報を検出
する第１検出部と、検出された位置情報と、副画像デー
タとに基づいて、オブジェクトを検出する第２検出部と
を備える。画面がタッチパネルなどで構成されている場
合に、入力受付部は、ペンや指先から入力された位置情
報を受け付けることができる。

【００２０】本発明の第３の形態に係るプログラムは、
コンピュータに、ディスプレイに主画像を表示する機能
と、主画像におけるポインタ情報を検出する機能と、ポ
インタ情報と、少なくとも一つのオブジェクトを含む副
画像のデータとに基づいて、オブジェクトを検出する機
能とを実現させることを特徴とする。このプログラム
は、記録媒体に記録されていてもよいし、外部のサーバ
より配信されるものであってもよい。

【００２１】副画像データは、オブジェクトごとに割り
当てられるオブジェクト識別情報を付加した画像データ
である。表示するための主画像が複数存在する場合に、
副画像は、それぞれの主画像ごとに存在し、各副画像デ
ータは、それぞれ独立したオブジェクト識別情報を有す
ることが好ましい。副画像データは、複数のオブジェク
トに、それぞれ異なる色情報をオブジェクト識別情報と
して付加したものであってよい。主画像は、副画像に含
まれるオブジェクトに対応するアイテムを含んでいる。
また、主画像におけるアイテムと、副画像におけるオブ
ジェクトは、その形状および動きを同一とするように構
成されることが好ましい。

【００２２】このプログラムは、副画像において、ポイ
ンタ情報により特定される位置に割り当てられたオブジ
ェクト識別情報に基づいて、オブジェクトを検出する機
能をコンピュータに実現させることができる。さらに、
このプログラムは、主画像を、表示用映像として再生す
る機能と、副画像を、非表示用映像として再生する機能
とをコンピュータに実現させることができる。主画像に
おけるポインタの操作に合わせて、仮想的なポインタを
副画像において動かすことによって、オブジェクトを検
出する機能をコンピュータに実現させてもよい。このと
き、主画像の再生に同期して、副画像を再生する機能を
コンピュータに実現させることが好ましい。なお、ポイ
ンタ情報は、主画像中に配置されるポインタの位置情報
と、主画像のフレーム情報とを含んでよい。

【００２３】このプログラムは、オブジェクトが検出さ
れた場合に、主画像において、ポインタの位置にあるア
イテムが、オブジェクトに相当する構成であることを指
示する機能をコンピュータに実現させてもよい。また、
オブジェクトが検出された場合に、ポインタの形状を変
化させる機能をコンピュータに実現させてもよい。

【００２４】本発明の第４の形態に係る記録媒体は、第
３の形態に係るプログラムを記録したコンピュータ読み
取り可能な記録媒体である。

【００２５】本発明の第５の形態に係るプログラムは、
コンピュータに、ディスプレイに主画像を表示する機能
と、主画像において入力された位置情報を検出する機能
と、位置情報と、少なくとも一つのオブジェクトを含む
副画像のデータとに基づいて、オブジェクトを検出する
機能とを実現させるためのものである。

【００２６】本発明の第６の形態に係るゲーム装置は、
主画像を格納する主画像格納部と、主画像を表示する主
画像表示領域と、ポインタの操作を受け付ける入力受付
部と、主画像表示領域においてポインタにより指定され
たアイテムの一覧を表示する指定アイテム表示領域と、
指定アイテム表示領域に表示されたアイテムが指定され
ると、そのアイテムが含まれる主画像を検索する検索部
と、検索された主画像を特定する情報を表示する検索結
果表示領域とを備える。画面を複数の領域に分割して、
それぞれ異なる情報を配置することにより、ユーザは、
入力操作をスムーズに行うことができ、ユーザフレンド
リーなゲーム装置を実現できる。

【００２７】検索結果表示領域は、主画像が有する複数
のフレームのうち、指定されたアイテムを含んだフレー
ムを表示する。また、検索結果表示領域は、検索された
主画像を特定する情報を、その優先度に応じて表示して
もよい。例えば、ユーザが一度見た情報は優先度を下げ
ることにより、まだ見ていない情報を優先的に表示さ
せ、ユーザは、新しい有用な情報に手軽にアクセスする
ことが可能となる。また、表示オプションの機能とし
て、このゲーム装置は、主画像の一部を拡大して表示さ
せるズーム部とを備えてもよいし、表示されている主画
像を、別の角度から見ることができるように視点を切り
替える視点切替部を備えてもよい。また、このゲーム装
置は、検索結果表示領域に表示された情報が指定される
と、その情報に関連する主画像を主画像表示領域に表示
させる主画像切替部を備えてもよい。

【００２８】例えば、複数の画像を見ながら、ユーザ、
ここではプレーヤーが謎解きを行うゲームの場合、主画
像表示領域に複数の主画像を表示させ、それらの主画像
を通じてユーザにゲームストーリーの謎解きに関するヒ
ントを与えることによって、ユーザは、楽しみながらゲ
ームを進行することができる。このゲーム装置は、上記
した構成を備えることにより、ユーザにとって魅力的な
ゲームを提供することが可能となる。なお、ゲームスト
ーリーとは、ゲーム中で展開される話の筋を意味する。

【００２９】本発明の第７の形態に係るプログラムは、
コンピュータに、ディスプレイの第１領域に、複数の主
画像のうち、少なくとも１つの主画像を表示する機能
と、ディスプレイの第２領域に、表示される主画像に含
まれるアイテムであって、ポインタにより指定されたも
のの一覧を表示する機能と、一覧として表示されたアイ
テムが指定されると、そのアイテムが含まれる主画像を
検索する機能と、ディスプレイの第３領域に、検索され
た主画像を特定する情報を表示する機能とを実現させる
ためのものである。

【００３０】このプログラムは、第３領域に、主画像が
有する複数のフレームのうち、指定されたアイテムを含
んだフレームを表示する機能をコンピュータに実現させ
てもよく、その際に、第３領域に、検索された主画像を
特定する情報を、その優先度に応じて表示する機能をコ
ンピュータに実現させてもよい。

【００３１】さらに、第１領域に、主画像の一部を拡大
して表示する機能や、表示されている主画像を、別の角
度から見ることができるように視点を切り替える機能を
コンピュータに実現させることが好ましい。このプログ
ラムは、コンピュータに対して第１領域に複数の主画像
を表示させることによって、それらの主画像によってユ
ーザにゲームストーリーの謎解きに関するヒントを与え
ることができるゲーム機能を実現することができる。

【００３２】本発明の第８の形態に係るデータ生成方法
は、仮想の３次元オブジェクトが配置された仮想の３次
元空間を、２次元画像に変換して主画像のデータを生成
するステップと、３次元オブジェクトを、識別情報を有
する２次元オブジェクトとして扱えるように、仮想の３
次元空間を２次元画像に変換して副画像のデータを生成
するステップとを備える。この方法は、３次元オブジェ
クトを用いるため、３次元画像編集ツールを利用して、
２次元オブジェクトを容易に生成することができ、且
つ、主画像に存在するアイテムの形状と同一の２次元オ
ブジェクトを形成できるという利点を有する。

【００３３】副画像データ生成ステップは、３次元オブ
ジェクトを特定する識別情報を、２次元オブジェクトを
特定する識別情報として利用した副画像のデータを生成
してもよい。このとき、副画像データ生成ステップは、
仮想の３次元空間における３次元オブジェクトに所定の
色づけを行い、その３次元空間を２次元画像に変換して
副画像のデータを生成してもよい。３次元オブジェクト
に所定の色付けを施すツールは一般に入手可能であるた
め、上記した副画像生成ステップは、容易に実現される
ことが可能である。

【００３４】このデータ生成方法において、２次元オブ
ジェクトを特定する識別情報と、３次元オブジェクトま
たは２次元オブジェクトに関する情報とを対応付けた第
１テーブルを生成するステップを備えてもよく、また、
副画像データに基づいて、主画像における座標と、２次
元オブジェクトの識別情報とを対応付けた第２テーブル
を生成するステップを備えてもよい。第１テーブルは、
副画像のオブジェクトについてのあたり判定に用いら
れ、第２テーブルは、主画像のアイテムについてのあた
り判定に用いられる。

【００３５】本発明の第９の形態に係るデータ生成方法
は、主画像から所定のアイテムの境界を検出するステッ
プと、検出したアイテムの境界により囲まれる領域に、
該アイテムを特定するための識別情報を付加したオブジ
ェクトを含む副画像のデータを生成するステップとを備
える。２次元画像の所定のアイテムのエッジを検出し、
その領域に識別情報を付加することにより、副画像デー
タの生成が可能となる。

【００３６】識別情報は、色情報であってよく、副画像
データの生成ステップは、境界により囲まれる領域を単
一色で塗りつぶすことにより、その色を識別情報とする
副画像のデータを生成してもよい。

【００３７】また、この方法において、識別情報と、オ
ブジェクトに関する情報とを対応付けた第１テーブルを
生成するステップを備えてもよく、また、副画像データ
に基づいて、主画像における座標と、識別情報とを対応
付けた第２テーブルを生成するステップを備えてもよ
い。

【００３８】本発明の第１０の形態に係るデータ生成方
法は、仮想の３次元空間に仮想の３次元オブジェクトを
配置するステップと、仮想の３次元空間を２次元画像に
変換して、表示用の主画像のデータを生成するステップ
と、仮想の３次元空間を２次元画像に変換して、非表示
用の副画像のデータを生成するステップとを備える。前
述したように、「非表示用」とは、ユーザによる使用時
に表示される必要のないことを意味するにすぎず、作業
者が、副画像のデータを生成する際には、作業を行わせ
るために、副画像が画面に映し出されることが好まし
い。

【００３９】本発明の第１１の形態に係るデータ生成方
法は、表示用の主画像から所定のアイテムの境界を検出
するステップと、検出したアイテムの境界により囲まれ
る領域を抽出した非表示用の副画像のデータを生成する
ステップとを備える。

【００４０】本発明の第１２の形態に係る画像処理シス
テムは、画像配信装置と、端末とを備え、画像配信装置
は、主画像のデータを格納する主画像データ格納部と、
識別情報を付加した少なくとも一つのオブジェクトを含
む副画像のデータを格納する副画像データ格納部と、主
画像データを送信する送信部とを備え、端末は、主画像
データを受信する受信部と、主画像を表示させる表示処
理部と、表示された主画像におけるポインタの操作を受
け付ける入力受付部と、主画像中のポインタの位置情
報、およびポインタにより指示される主画像のフレーム
を特定するフレーム特定情報を含んだポインタ情報を検
出する検出部と、ポインタ情報を送信する送信部とを備
える。画像配信装置は、副画像データと、送信されてき
たポインタ情報に基づいて、オブジェクトを検出するこ
とができる。

【００４１】本発明の第１３の形態に係る画像配信装置
は、主画像のデータを配信する送信部と、識別情報を付
加したオブジェクトを有する副画像のデータを格納する
副画像データ格納部と、オブジェクトと識別情報とを対
応付けたテーブルを格納するテーブル格納部と、端末か
ら送信されるポインタ情報を受信する受信部と、ポイン
タ情報と副画像データとに基づいて識別情報を抽出し、
抽出された識別情報と、テーブルとに基づいて、オブジ
ェクトを検出する検出部とを備える。送信部は、検出さ
れたオブジェクトに関連する情報を配信してもよい。

【００４２】本発明の第１４の形態に係るプログラム
は、コンピュータに、ディスプレイに主画像を表示する
機能と、表示される主画像のフレームを特定する情報を
検出する機能と、主画像におけるポインタの位置情報を
検出する機能と、ポインタの位置情報と、フレーム特定
情報とを、画像配信装置に送信する機能とを実現させる
ためのものである。

【００４３】本発明の第１５の形態に係る画像処理シス
テムは、画像配信装置と、端末とを備え、画像配信装置
は、主画像のデータと、識別情報を付加した少なくとも
一つのオブジェクトを含む副画像のデータとを格納する
画像データ格納部と、主画像データおよび副画像データ
を送信する送信部とを有し、端末は、主画像データおよ
び副画像データを受信する受信部と、主画像を表示させ
る表示処理部と、表示された主画像におけるポインタの
操作を受け付ける入力受付部と、主画像のフレームにお
けるポインタの位置情報、およびその主画像のフレーム
を特定するフレーム特定情報を含んだポインタ情報を検
出する第１検出部と、ポインタ情報と、副画像データと
に基づいて、オブジェクトを検出する第２検出部とを有
する。

【００４４】送信部は、主画像データおよび副画像デー
タを、互いに同期させて送信することが好ましい。画像
配信装置は、オブジェクトと識別情報とを対応付けたテ
ーブルを格納するテーブル格納部を備え、送信部は、主
画像データおよび副画像データを送信する前に、テーブ
ルを送信してもよい。

【００４５】本発明の第１６の形態に係る画像配信装置
は、主画像のデータと、識別情報を付加したオブジェク
トを含む副画像のデータとを格納する画像データ格納部
と、オブジェクトと識別情報とを対応付けたテーブルを
格納するテーブル格納部と、主画像データ、副画像デー
タおよびテーブルを配信する送信部とを備える。送信部
は、主画像データおよび副画像データを、互いに同期さ
せて配信することが好ましい。また、送信部は、主画像
データを送信する前に、その主画像に対応するテーブル
を送信することが好ましい。

【００４６】副画像は、主画像に含まれる複数のアイテ
ムのうち少なくとも一部をオブジェクトとして含んでお
り、また、副画像データは、複数のオブジェクトに、そ
れぞれ異なる色情報を識別情報として付加したものであ
ってもよい。

【００４７】本発明の第１７の形態に係る画像処理装置
は、画素の集合として第１の画像を表示させる表示処理
部と、第１の画像を構成する各々の画素が、オブジェク
トの一部に相当するものであるか否かを示すオブジェク
ト識別情報を第２の画像として格納する格納部と、第１
の画像における任意の点を指定するポインタの操作を受
け付ける入力受付部と、そのポインタに連動して、その
ポインタが指定する第１の画像の画素に対応するオブジ
ェクト識別情報を第２の画像から抽出し、オブジェクト
を検出する検出部とを備える。

【００４８】本発明の第１８の形態に係る画像処理装置
は、画面中に入力される位置情報を受け付ける入力受付
部と、主画像のデータと、識別情報を付加した少なくと
も一つのオブジェクトを含む副画像のデータとを同一フ
レームごとにまとめた画像データを格納する画像データ
格納部と、画像データを再生して、主画像と副画像とに
分離する再生処理部と、分離された主画像を表示させる
表示処理部と、位置情報と、分離された副画像とに基づ
いて、オブジェクトを検出するオブジェクト検出部とを
備える。主画像のデータと副画像のデータをフレームご
とにまとめた画像データを利用することにより、再生時
に、主画像と副画像との同期をとることが容易となり、
リアルタイムでのオブジェクト検出が可能となる。

【００４９】本発明の第１９の形態に係るプログラム
は、コンピュータに、画面中に入力される位置情報を検
出する機能と、主画像のデータと、識別情報を付加した
少なくとも一つのオブジェクトを含む副画像のデータと
を同一フレームごとにまとめた画像データを再生して、
主画像と副画像とに分離する機能と、分離された主画像
を画面に表示させる機能と、位置情報と、分離された副
画像とに基づいて、オブジェクトを検出する機能とを実
現させる。

【００５０】なお、上記の発明の概要は、本発明の必要
な特徴の全てを列挙したものではなく、これらの特徴群
のサブコンビネーションも又発明となりうる。また、本
発明の表現を装置、方法、システム、コンピュータプロ
グラムの間で変換したものもまた、本発明の態様として
有効である。

【００５１】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組合せの全てが発明の解決手段
に必須であるとは限らない。また、以下の複数の実施形
態にかかる装置およびシステムは、ハードウエアコンポ
ーネントでいえば、任意のコンピュータのＣＰＵ、メモ
リ、メモリにロードされたプログラムなどによって実現
されるが、主として図面では、それらの連携によって実
現される機能ブロックを描いている。したがって、これ
らの機能ブロックがハードウエアのみ、ソフトウエアの
み、またはそれらの組合せによっていろいろな形で実現
できることは、当業者には理解されるところであり、こ
れらの機能をコンピュータに実現させるプログラム、お
よびそのプログラムを記録したコンピュータ読み取り可
能な記録媒体も、以下の実施形態に含まれる。

【００５２】図３は、本発明の第１の実施形態にかかる
画像処理装置１００の構成図である。画像処理装置１０
０は、画像処理を行う汎用コンピュータであってよく、
またゲーム装置や、医療診断・トレーニング装置、ＤＶ
Ｄ再生装置、放送受信を行うデコーダ、セットトップボ
ックス、ＰＤＡ端末や携帯電話を含む携帯端末など、要
は画像処理機能を実現することができる機器であればよ
い。

【００５３】画像処理装置１００は、入力受付部２４、
ポインタ情報検出部２６、時間信号供給部２８、表示処
理部３０、指示部３２、オブジェクト検出部３４、再生
処理部４０、および記憶装置５０を備える。再生処理部
４０は、主画像を再生する主画像再生部４２と、副画像
を再生する副画像再生部４４とを含む。表示装置２０な
いしポインタ操作部２２は、画像処理装置１００の構成
に組み込まれてもよいし、別の外部装置として存在して
もよい。表示装置２０は、画像を映し出す画面を含み、
ユーザは、画面に表示された画像を見ながら、様々な入
力操作を行うことができる。ポインタ操作部２２は、表
示装置２０上でポインタを操作させる入力支援ツール、
すなわちポインティングデバイスであって、マウスやキ
ーボード、さらにはゲーム用コントローラ、ジョイステ
ィックなどを含む。表示装置２０の画面がタッチパネル
で構成されている場合、画面の位置を指定する位置入力
は、タッチペンや、人の指等により行われてもよい。

【００５４】記憶装置５０は、主画像データ格納部５
２、副画像データ格納部５４およびオブジェクトテーブ
ル５６とを含む。主画像データ格納部５２と副画像デー
タ格納部５４とを、まとめて画像データ格納部と呼んで
もよい。主画像データ格納部５２は、表示装置２０にお
いて表示するための主画像データを格納する。表示する
ための主画像が複数存在する場合には、主画像データ格
納部５２は、複数の主画像データを格納している。

【００５５】一方、副画像データ格納部５４は、あたり
判定に用いるための非表示用副画像データを格納する。
つまり、本実施形態では、主画像は表示装置２０におい
て表示されるが、副画像は表示されない。副画像データ
は、主画像に関連して形成され、複数の主画像が存在す
る場合には、副画像データ格納部５４は、それぞれの主
画像に対応する副画像データを格納する。本明細書にお
いて、「画像」という用語は、静止画像および動画像の
双方を含む概念として用いる。

【００５６】主画像は、複数のアイテムを含んで構成さ
れ、副画像は、少なくとも１つのオブジェクトを含んで
構成される。別の表現をすると、主画像は、画素の集合
として表され、一方で、副画像は、主画像を構成する各
々の画素がオブジェクトの一部に相当するものであるか
否かを示すオブジェクト識別情報として表わされる。本
実施形態では、あたり判定のために従来設定されていた
オブジェクト領域は、主画像に設定されず、あたり判定
は、副画像に含まれるオブジェクトに基づいて行われ
る。発明の実施の形態を説明するにあたって、「アイテ
ム」は、主画像中に表示される対象を意味し、「オブジ
ェクト」は、あたり判定を行うために副画像に含まれる
対象を意味する。副画像データは、主画像に含まれる複
数のアイテムのうち少なくとも一部をオブジェクトとし
て含んでいる。これを逆から見ると、主画像データは、
副画像に含まれるオブジェクトに対応するアイテムを含
むことになる。オブジェクトには、それぞれオブジェク
トごとに割り当てられるオブジェクト識別情報が付加さ
れている。主画像と副画像との関係については、図４に
関連して詳述する。オブジェクトテーブル５６は、オブ
ジェクト識別情報と、オブジェクト名、さらにオブジェ
クトに関連する情報とを対応付けて格納する。

【００５７】主画像再生部４２が、主画像データを主画
像データ格納部５２から読み出し、表示用画像として主
画像を再生する。例えば、主画像データがＭＰＥＧまた
はＪＰＥＧなどを利用して画像圧縮されている場合に
は、主画像再生部４２は、圧縮データをデコードし、所
定のフォーマットに合わせて主画像データ列をメモリに
展開する。このとき、主画像のフレーム情報は、ポイン
タ情報検出部２６に送られる。表示処理部３０は、再生
された主画像を、表示装置２０において表示させる。

【００５８】一方、副画像再生部４４は、副画像データ
を、副画像データ格納部５４から読み出し、非表示用画
像として副画像を再生する。主画像再生部４２と同様
に、副画像再生部４４は、所定のフォーマットに合わせ
て副画像データ列をメモリに展開する。この副画像は、
オブジェクト検出部３４において、ポインタとのあたり
判定を行うために用いられる。

【００５９】主画像および副画像の再生は、時間信号供
給部２８により供給されるクロックに基づいて、同期し
て行われることが好ましい。互いに同期して再生するこ
とにより、リアルタイムで、後述するあたり判定処理を
行うことができ、その判定結果を、表示装置２０におい
て反映させることが可能となる。

【００６０】入力受付部２４は、ポインタ操作部２２か
ら、ポインタの操作を受け付ける。別の実施例におい
て、表示装置２０の画面がタッチパネルで構成されてい
る場合、入力受付部２４は、タッチペンないしは手の指
等からの入力を受け付ける。ポインタの操作入力と、タ
ッチペンなどによる入力は、以後の処理において同様に
扱われる。ポインタ情報検出部２６は、ポインタの操作
入力を受け、表示装置２０に表示されている主画像中に
配置されるポインタの位置情報を検出する。さらに、ポ
インタ情報検出部２６は、再生処理部４０から、ポイン
タが操作されている主画像のフレーム情報を受け取り、
検出する。フレーム情報は、主画像再生部４２から受け
取ってもよいし、副画像再生部４４から受け取ってもよ
い。ここで、フレーム情報とは、複数存在するフレーム
から、そのフレームを特定するための情報であり、例え
ば、フレーム識別番号であってよく、また、主画像の開
始フレームからそのフレームまでの時間情報であっても
よい。ポインタの位置情報と、そのときの主画像のフレ
ーム情報とを検出することにより、１つのフレームにお
けるポインタの位置を特定することが可能となる。この
検出処理は、すべてのフレームに対して行われることが
好ましい。ポインタ情報検出部２６は、ポインタの位置
情報と、フレーム情報とを、ポインタ情報としてオブジ
ェクト検出部３４に供給する。

【００６１】オブジェクト検出部３４は、検出されたポ
インタ情報と、副画像データとに基づいて、オブジェク
トを検出する。このオブジェクト検出部３４は、主画像
におけるポインタの操作に連動して、仮想的なポインタ
を副画像において動かすことによって、オブジェクトを
検出する機能を有する。

【００６２】具体的に説明すると、オブジェクト検出部
３４は、ポインタ情報検出部２６からポインタ情報を受
け取り、副画像再生部４４から再生された副画像を受け
取る。オブジェクト検出部３４は、ポインタ情報に含ま
れるフレーム情報に基づいて、参照すべき副画像のフレ
ームを特定し、その副画像においてポインタ情報に含ま
れるポインタの位置情報より特定される位置に割り当て
られたオブジェクト識別情報を抽出する。このとき、そ
の位置にオブジェクトが存在することを検出し、つづい
て、オブジェクトテーブル５６を参照し、そのオブジェ
クト識別情報により特定されるオブジェクトを検出す
る。

【００６３】指示部３２は、オブジェクトが検出された
場合に、主画像においてポインタの位置にあるアイテム
がオブジェクトに相当する構成であることを表示処理部
３０に指示する。例えば、その指示は、ポインタの形状
を変化させるコマンドであってもよく、また、そのアイ
テムがオブジェクトである旨を画面中に表示するコマン
ドであってもよい。

【００６４】表示処理部３０は、主画像再生部４２で再
生された主画像を表示装置２０に表示させ、ポインタの
位置情報に基づいて、ポインタを主画像上に重ねて表示
する。オブジェクトが検出された場合には、表示処理部
３０は、指示部３２からの指示に基づいて、ポインタの
形状を変形させたり、ポインタの指示するアイテムがオ
ブジェクトである旨を表示させたりする。ユーザは、表
示装置２０の画面において、ポインタ形状の変化などを
見ることにより、ポインタの指定したアイテムがオブジ
ェクトに相当する構成であることを認識でき、そのオブ
ジェクトに関連して予め付与されている機能を実行する
ことが可能となる。

【００６５】図４は、主画像と副画像との関係を説明す
るための説明図である。図４（ａ）は、表示用の主画像
フレームを、図４（ｂ）は、その主画像フレームに対応
する副画像フレームを表現する。図示される主画像のフ
レームは、表示装置において表示させる画像が静止画像
である場合には、その静止画像そのものを示し、複数の
フレームから構成される動画像である場合には、そのう
ちの１枚のフレームを示す。

【００６６】主画像フレームは、複数のアイテムを含ん
でいる。ここでは、アイテムとして、画面中に、人、眼
鏡、帽子、犬、車、木、背景が描かれている。一方、副
画像フレームは、主画像に描かれたアイテムのうち、い
くつかのアイテムに対応するオブジェクトを含んでい
る。ここでは、オブジェクトとして、帽子、眼鏡、車が
設定されている。このように、主画像は、副画像に含ま
れるオブジェクトに対応するアイテムを含んでいる。副
画像のオブジェクトと、対応する主画像のアイテムと
は、その形状および画面中の配置位置を同一とし、動画
像の場合には、その動きも同一とする。そのため、本実
施形態によるオブジェクトを用いたあたり判定は、主画
像中のアイテム上にポインタを配置することによって忠
実に実現され、従来のように、主画像中のアイテムとオ
ブジェクト領域とが一致せず、誤ったあたり判定を行う
という問題を解消することができる。

【００６７】なお、主画像の画面領域に対して副画像の
画面領域を縮小または拡大する場合には、副画像の画面
領域を主画像の画面領域の大きさに合わせた際に、アイ
テムとオブジェクトの配置位置が実質的に同一となるよ
うに副画像を構成する。すなわち、アイテムおよびオブ
ジェクトが、それぞれの画像において相対的な座標位置
を等しくするように、それぞれの画像データを構成す
る。非表示用の副画像データを主画像データよりも縮小
して形成することは、データ量を小さくするという利点
がある。

【００６８】主画像中に含まれるアイテムは、表示装置
により表示されるものであり、通常、様々な模様や色合
いが施されている。それに対して、副画像に含まれるオ
ブジェクトは、ユーザによる通常の使用状態において表
示されるものではなく、オブジェクトごとに割り当てら
れるオブジェクト識別情報を付加されていればよい。こ
の例では、オブジェクト識別情報が、オブジェクトに付
加された色情報として設定される。副画像において、複
数のオブジェクトが存在する場合には、各オブジェクト
に、それぞれ異なる色情報を設定する。図４（ｂ）で
は、眼鏡が赤色に、帽子が青色に、車が緑色に色づけさ
れている。なお、副画像フレームは、作業者が見ながら
データの作成作業を行うものであるため、各オブジェク
トは、互いにはっきりと区別できる色付けをされること
が好ましい。

【００６９】図５は、オブジェクト識別情報と、オブジ
ェクト名と、オブジェクトに関連する情報とを対応付け
たテーブルを示す。図５（ａ）は、図４（ｂ）に例示し
た副画像についてのテーブルである。表示するための主
画像が複数存在する場合、それぞれの主画像に対応する
副画像データが形成される。それぞれの主画像および副
画像には、同一または関連させた識別コードが付され、
テーブルは、各識別コードに対応付けて形成される。こ
の例では、テーブルが、副画像のＩＤ「０００１」に対
応付けて形成されている。

【００７０】オブジェクトテーブルは、オブジェクト識
別情報欄、オブジェクト名欄、オブジェクト関連情報欄
とを有する。オブジェクト識別情報欄は、オブジェクト
を識別するための情報を保持する。その情報は、オブジ
ェクトに対応付けられたコードであってよく、図示され
る例では、色情報が保持されている。表示画像は、一般
に色情報を、ＲＧＢのそれぞれ８ビットで表現するが、
副画像は、表示用の画像ではないため、色情報を２４ビ
ットで表現することが必要でないことも考えられる。そ
のため、副画像中のオブジェクトの数にもよるが、色情
報を、例えばＲＧＢそれぞれ２ビットずつで表現し、計
６４個のオブジェクトに対する識別情報をもてるように
してもよい。この場合には、ＲＧＢ２４ビットの色情報
と、ＲＧＢ６ビットの色情報との関係を対応付けた色情
報識別ビット対応テーブルを予め作成しておき、副画像
データの展開を可能とすることが望ましい。このよう
に、副画像は、色情報をオブジェクトの識別情報として
利用するものであるため、オブジェクトの数に応じて、
色情報識別ビット数を減らし、データ量の低減を図って
もよい。

【００７１】オブジェクト名欄は、そのオブジェクトの
名称を保持する。オブジェクト関連情報欄は、そのオブ
ジェクトが指定されたときに提供する機能や、リンク先
の画像などの情報を保持する。その情報は、１つであっ
てもよいし、複数であってもよい。図５（ａ）において
は、オブジェクト「眼鏡」に対して、複数の関連情報
ａ、ｂ、ｃが保持されている。図３を参照して、オブジ
ェクト関連情報がリンク先の画像を示す場合に、オブジ
ェクト検出部３４は、主画像再生部４２に対して、主画
像データ格納部５２に格納されたオブジェクト関連画像
データを読み出すように指示する。主画像再生部４２
は、画像データを読み出して再生し、表示処理部３０
が、再生した画像データを表示装置２０において表示さ
せる。表示処理部３０は、画面に表示されている主画像
とともに、そのオブジェクト関連画像を表示させてもよ
く、また、その主画像に代えてオブジェクト関連画像の
みを表示させてもよい。

【００７２】図５（ｂ）は、ＩＤ「０００２」が付され
た副画像のオブジェクトテーブルである。この副画像
は、図示していない。複数の主画像が存在する場合、副
画像は、それぞれの主画像に対して設定される。オブジ
ェクト「帽子」に注目すると、図５（ｂ）では、図５
（ａ）と異なり、副画像において赤の色づけがなされて
いる。このように、複数の副画像データが存在する場合
には、各オブジェクトは、副画像ごとに、それぞれ独立
したオブジェクト識別情報を有することが好ましい。副
画像データごとに識別情報を設定することによって、識
別情報の付加作業は、一つの副画像の処理で収束し、作
業の効率化が図れるという利点がある。また、特に、色
識別ビット数を２４ビットよりも少なくしてデータ圧縮
を図る場合には、限りある色情報を効率的に使用できる
という利点もある。

【００７３】一方、複数の副画像間で、特定のオブジェ
クトに対する識別情報を共通としてもよい。この場合に
は、一旦、全てのオブジェクトに関するオブジェクトテ
ーブルを作成して一元化し、そのテーブルをもとに識別
情報の付加作業を行うことが可能となる。

【００７４】図６は、本発明の第１の実施形態にかかる
画像処理装置１００による画像処理方法のフローチャー
トである。まず、Ｓ１０で、本フローを開始する。

【００７５】Ｓ１２で、主画像の表示再生と、副画像の
非表示再生を行う。リアルタイムであたり判定を行うた
めに、主画像と副画像は、同期して再生されることが好
ましい。Ｓ１４で、ポインタ情報を検出する。ポインタ
情報は、少なくとも、主画像におけるポインタの位置情
報を含んでいる。Ｓ１６で、ポインタ情報に含まれるポ
インタの座標位置と、副画像とを照合する。Ｓ１８で、
照合結果に基づきあたり判定を行う。具体的には、ま
ず、ポインタの位置情報に基づいて、対応する副画像中
の座標位置に付された色情報を抽出する。その色情報
が、オブジェクト識別情報に相当すれば、「あたり」が
判定される。それから、オブジェクトテーブルを参照し
て、オブジェクト関連情報の処理を行ってもよい。

【００７６】ポインタが、主画像の所定のアイテム上に
存在しなければ、Ｓ１４〜Ｓ１８までのステップを繰り
返し行う。ポインタが主画像の所定のアイテム上に存在
している場合には、Ｓ２０で、ポインタの形状を変形さ
せ、そのアイテムがオブジェクトに相当する構成である
ことをユーザに知らしめる。それから、Ｓ２２で、画像
の再生が継続中であれば、Ｓ１４に戻り、再びあたり判
定処理を実行する。すなわち、このあたり判定は、全て
のフレームに対して行われることが好ましい。画像の再
生が終了すると、Ｓ２４で本フローは終了する。

【００７７】図７は、本発明の第２の実施形態にかかる
画像処理装置１００の構成図である。図３に示した構成
と同一の符号を付した構成は、図３において対応する構
成と同一または同様の機能および動作を実現する。図３
から新たに追加された構成として、第２の実施形態によ
る画像処理装置１００は、検索部８０、画像切替部８２
およびアイテム取得部８４とを備える。この画像処理装
置１００は、画像処理機能を有する様々な機器であって
よいが、その中でも特に、複数の主画像を一連のゲーム
ストーリーとして流してマルチストーリー機能を実現
し、それを見たユーザに謎解きを行わせるゲーム装置と
して利用した場合に、その処理機能のポテンシャルがい
かんなく発揮される。以下、謎解きゲームを例に、本実
施形態にかかる画像処理装置１００の説明を行う。

【００７８】アイテム取得部８４は、ポインタが、副画
像におけるオブジェクトに対応付けられたアイテム上に
位置した場合に、そのアイテムを取得させる機能を有す
る。ユーザがポインタによりそのアイテムを指定する
と、表示装置２０の画面において、主画像が表示される
主画像表示領域とは別の指定アイテム表示領域にそのア
イテムを配置させる。ユーザが、そのアイテムをポイン
タでドラッグして取得し、指定アイテム表示領域に配置
してもよい。指定アイテム表示領域には、１つないしは
複数の主画像においてユーザが指定したアイテムの一覧
画像が表示される。

【００７９】具体的には、まず、オブジェクト検出部３
４が、ポインタ情報に基づいてオブジェクトを検出す
る。オブジェクトテーブルが、オブジェクトと、アイテ
ム画像とを対応付けて保持している場合には、アイテム
画像に関する情報が、オブジェクト検出部３４からアイ
テム取得部８４に供給される。アイテム取得部８４は、
その情報を受けて、主画像データ格納部５２から、対応
するアイテム画像を取得する。別の例においては、アイ
テム取得部８４が、オブジェクトについての検出結果を
受け、オブジェクトテーブルを参照してアイテムを特定
し、アイテム画像を取得してもよい。アイテム画像は、
そのアイテムを表現した画像であり、主画像とは独立し
て予め主画像データ格納部５２に格納されていてもよ
く、また、主画像中からアイテムを切り出して生成され
るものであってもよい。アイテム取得部８４は、そのア
イテム画像を表示処理部３０に供給し、表示処理部３０
は、指定アイテム表示領域に表示させる。

【００８０】検索部８０は、指定アイテム表示領域に表
示されたアイテムがユーザにより指定されると、そのア
イテムに関連する主画像、例えば、そのアイテムが含ま
れる主画像を検索する機能を有する。この検索は、アイ
テムと、関連する主画像とを対応付けたテーブルに基づ
いて行われる。関連する主画像を検索すると、検索部８
０は、主画像データ格納部５２から、検索した主画像に
関する情報を読み出し、表示処理部３０に供給する。表
示処理部３０は、その情報を画面中の検索結果表示領域
に表示させる。検索部８０は、主画像を特定する情報
を、その優先度に応じて表示させることが好ましい。例
えば、ユーザが一度アクセスした情報は、優先度を下
げ、また、謎解きに重要な情報については、優先度を上
げるようにしてもよい。検索テーブル５７およびユーザ
は、アイテムに関連する主画像をたどっていくことによ
り、様々な情報を得て、ゲームストーリーの謎解きに関
するヒントを見つけ出す。

【００８１】画像切替部８２は、主画像表示領域に表示
されている主画像を切り替える機能を有する。画像切替
部８２は、主画像を切り替えると同時に、あたり判定用
の副画像も切り替える。様々な主画像を表示することに
より、ユーザは、ストーリーを進行させ、謎解きに関す
るヒントを増やしていく。様々な画像を表示することに
より、ユーザにとって刺激的且つ魅力あふれる謎解きゲ
ームを実現することができる。

【００８２】図８は、画像切替部８２の構成図である。
画像切替部８２は、視点切替部８６、ズーム部８８およ
び画像変更部９０を有する。視点切替部８６は、表示さ
れている主画像を、ユーザが別の角度から見ることがで
きるように視点を切り替える機能を有する。また、ズー
ム部８８は、主画像の一部を拡大して表示させる機能を
有する。

【００８３】ゲーム性を高めるために、アイテムは、ユ
ーザにより簡単に発見されないように配置することが好
ましい。そのような理由から、例えば、物体の背後にア
イテムが隠されている場合には、視点切替部８６により
視点を切り替え、また、アイテムが非常に小さく表示さ
れている場合には、それを確認するために、ズーム部８
８によるズーム機能を利用する。また、図示していない
が、早送り、巻き戻し、一時停止機能など、再生画像の
進行を制御できる機能を有してもよい。これらのオプシ
ョン機能を設けることによって、ゲームの難易度を随意
に調整し、ユーザの興味関心を保ちつづけることができ
る。

【００８４】画像変更部９０は、視点切替部８６または
ズーム部８８からの指示にしたがって、主画像を変更さ
せる。また、画像変更部９０は、ユーザにより検索結果
表示領域に表示された情報が指定されると、その情報に
関連する主画像を表示させる。画像変更部９０は、ユー
ザにからの入力指示にしたがって、画像変更要求を主画
像再生部４２に送信する。

【００８５】図９は、表示装置２０の画面表示例を示
す。画面中には、主画像を表示する主画像表示領域１０
２、ポインタにより指定されたアイテムの一覧を表示す
る指定アイテム表示領域１０４、検索された主画像を特
定する情報を表示する検索結果表示領域１０６が存在す
る。検索結果表示領域１０６は、主画像が有する複数の
フレームのうち、指定されたアイテムを含んだフレーム
を表示するのが好ましい。図中、指定アイテム表示領域
１０４中のアイテム「眼鏡」が選択され、眼鏡に関連す
る情報が、サーチ結果として表示されている。画面を、
それぞれ種類の異なる複数の領域に分割したことによっ
て、ユーザは、画面を見ながら様々な操作を素早く行う
ことが可能となる。

【００８６】図１０は、本発明の第１および第２の実施
形態にかかる画像処理装置１００のハードウェアコンポ
ーネントを示す構成図である。なお、このハードウェア
コンポーネントは、画像処理装置１００だけでなく、第
３の実施形態以降において説明する装置およびシステム
においても、利用可能であることに留意されたい。

【００８７】画像処理装置１００は、表示装置２０、ポ
インタ操作部２２、ＶＲＡＭ（ビデオランダムアクセス
メモリ）５８、ＣＰＵ６０、ＲＡＭ（ランダムアクセス
メモリ）６２、ハードディスク６４およびドライブ装置
６６を備える。図３と同一の符号を付した表示装置２０
およびポインタ操作部２２は、図３に関連して説明した
機能および動作を実現する。これらの構成は、バス６８
などの信号伝送路により電気的に接続されている。

【００８８】ハードディスク６４は、大容量の磁気記憶
装置であり、画像処理装置１００においては、主画像デ
ータ、副画像データおよびオブジェクトテーブルなどを
記憶する。ＶＲＡＭ５８は、表示装置２０に表示される
画面内容を保持するメモリであり、主画像のフレームデ
ータが書き込まれる。このデータは、表示信号に変換さ
れて表示装置２０に出力される。

【００８９】記録媒体７０は、第１から第２の実施形態
に関連して説明した画像処理装置１００の機能を、ＣＰ
Ｕ６０に実現させるためのプログラムを記録する。記録
媒体７０がドライブ装置６６に挿入されると、そのプロ
グラムは、ＲＡＭ６２またはハードディスク６４に読み
出され、ＣＰＵ６０は、読み出されたプログラムにより
画像処理を行う。この記録媒体７０は、ＣＤ−ＲＯＭ、
ＤＶＤ、ＦＤなどのコンピュータ読み取り可能な媒体で
ある。また記録媒体７０は、主画像データ、副画像デー
タ、テーブルなどを記録し、記録媒体７０がドライブ装
置６６に挿入されると、それらのデータが、ハードディ
スク６４に書き込まれる。

【００９０】ここでは、画像処理用のプログラムが記録
媒体７０に記録されている例について説明したが、別の
例においては、プログラムは、無線、有線を問わず、外
部のサーバから送信されてもよい。図１０に示したハー
ドウェア構成において、プログラムは、コンピュータに
画像処理機能を実現させればよいのであって、外部から
供給される場合だけでなく、予めハードディスク６４に
格納されていてよいことも当業者には理解されるところ
である。

【００９１】図１１は、本発明の第３の実施形態にかか
る画像データ生成装置２００の構成図である。画像デー
タ生成装置２００は、データの生成作業を行う作業者に
よって取り扱われ、前述した画像処理装置１００におい
て使用される主画像データや副画像データなどを生成す
る機能を有する。

【００９２】画像データ生成装置２００は、表示装置２
０２、入力支援装置２０４、データ処理部２１０および
記憶装置２３０とを備える。データ処理部２１０は、３
次元空間処理部２１２と２次元画像処理部２１４とを有
し、２次元画像処理部２１４は、主画像処理部２１６お
よび副画像処理部２１８とを含む。入力支援装置２０４
は、キーボードや、マウスなどの入力ツールを含む。表
示装置２０２は、画像を映し出す画面を有する。作業者
は、画面を見ながら、入力支援装置２０４を使って画像
データの生成作業を行う。

【００９３】３次元空間処理部２１２は、３次元画像デ
ータを生成する機能を有する。作業者は、仮想の３次元
空間に、立体的な座標データで表現される仮想の３次元
オブジェクトを配置する。作業者は、この３次元空間
に、クリッピング処理や、ライティング処理などを施
し、また、３次元オブジェクトにテクスチャリング処理
を施すことによって、見た目に優れた３次元画像データ
を生成する。生成された３次元画像データは、３次元画
像データ格納部２３２に格納される。

【００９４】２次元画像処理部２１４は、３次元画像デ
ータに基づいて、主画像データ、副画像データ、および
テーブルを生成する機能を有する。

【００９５】まず、主画像処理部２１６は、３次元画像
データを、所定の視点から見た２次元画像に変換して、
主画像のデータを生成する。ユーザが利用する画像処理
装置１００の視点切替機能およびズーム機能などのオプ
ション機能に対応するためには、同一の３次元画像デー
タを用いて、視点を切り替えた別の主画像、または、主
画像の一部を拡大した主画像なども生成しておく。

【００９６】副画像処理部２１８は、主画像処理部２１
６において主画像を生成する際の視点情報に基づいて、
３次元画像データを、主画像と同一の視点から見た２次
元画像に変換し、副画像のデータを生成する。このと
き、リンク先などを設定される予定の３次元オブジェク
トについては、２次元画像において、識別情報を有する
２次元オブジェクトとして扱えるように変換し、２次元
画像に変換されたときにリンク先などが設けられない単
なる絵としての機能しか有しない３次元オブジェクトに
ついては、削除してもよい。

【００９７】副画像のデータは、３次元オブジェクトを
特定する識別情報を、２次元オブジェクトを特定する識
別情報として利用するのが好ましい。具体的には、仮想
の３次元空間において、所要の３次元オブジェクトに、
オブジェクトごとに異なる色づけを行って、３次元オブ
ジェクトに対する識別情報を付加する。この色づけは、
ベタ塗りの一色によりなされることが好ましい。それぞ
れが着色された３次元オブジェクトを含む３次元空間
を、２次元画像に変換することによって、副画像データ
が生成される。この例では、２次元画像に変換する前に
３次元オブジェクトを着色したことによって、３次元オ
ブジェクトを特定する色情報を、２次元オブジェクトの
識別情報として利用することが可能となる。２次元画像
に色付けを行うことは作業的に面倒であるが、上記の作
業は、３次元オブジェクトの加工であり、３次元オブジ
ェクトへの着色は極めて容易に行うことができるため、
副画像データは、作業者に作業負担を強いることなく生
成される。また、画像の圧縮技術を利用して、副画像デ
ータを圧縮することによって、画像データ量を小さくす
ることができるため、副画像データの格納、配信などの
取扱いも、メモリの記録容量やトラフィックなどの制限
をそれほど気にすることなく行うことができる。また、
別の例として、３次元オブジェクトのオブジェクト名な
どを表現する識別コードを、２次元オブジェクトの識別
情報として利用することも可能である。

【００９８】副画像処理部２１８は、さらに副画像オブ
ジェクトテーブル２３８ないしは主画像アイテムテーブ
ル２４０、またはその両者を生成する。副画像オブジェ
クトテーブル２３８および主画像アイテムテーブル２４
０は、両者ともあたり判定に用いるものであるため、必
ずしも両者を生成する必要はなく、少なくとも一方を生
成すればよい。

【００９９】副画像オブジェクトテーブル２３８は、図
５に関連して説明したテーブルであり、オブジェクト識
別情報に対して、オブジェクト名ないしはオブジェクト
関連情報、またはその両者を対応付けて生成される。第
１および第２の実施形態において説明した画像処理装置
１００によるあたり判定は、副画像データと、副画像オ
ブジェクトテーブル２３８とを用いて行われる。

【０１００】主画像アイテムテーブル２４０は、主画像
におけるアイテムの座標情報と、２次元オブジェクトの
識別情報とを対応付けたテーブルである。このテーブル
によると、画像処理装置１００によるあたり判定は、副
画像データを必要とせず、この主画像アイテムテーブル
２４０を用いて行われる。このテーブル２４０は、副画
像データから生成される。

【０１０１】図１２は、副画像処理部２１８の構成図を
示す。副画像処理部２１８は、副画像データ生成部２２
０、副画像オブジェクトテーブル生成部２２２および主
画像アイテムテーブル生成部２２４とを備える。

【０１０２】まず、副画像データ生成部２２０におい
て、副画像データが生成される。生成された副画像デー
タは、主画像アイテムテーブル生成部２２４に供給され
る。主画像アイテムテーブル生成部２２４は、色づけさ
れた副画像のオブジェクトをもとに、アイテムテーブル
を生成する。副画像は、オブジェクトに色情報を付加し
て、画素ごとに表現したものであるため、その色情報を
取り出して、主画像の所定のアイテムを示す座標につい
てのテーブルを生成することは容易に実現できる。ま
た、副画像データより生成されるアイテムテーブルは、
主画像のアイテムと同一の形状を表現したものであるた
め、従来の矩形領域によるオブジェクト領域よりも、正
確なあたり判定を可能とする。

【０１０３】副画像オブジェクトテーブル生成部２２２
は、副画像データを受けて、オブジェクトテーブルを生
成する。別の例では、作業者が副画像データを生成する
際に、同時に、テーブルを生成することとしてもよい。
また、副画像データを生成する前に、予めオブジェクト
テーブルを作成してもよい。

【０１０４】図１３は、データ生成装置２００により、
主画像データおよび副画像データを生成するステップを
説明するための画面イメージである。まず、図１３
（ａ）に示されるように、背景画像を設定する。本ステ
ップにおいて、全ての画像（絵）が３次元オブジェクト
として生成されるのが好ましいが、２次元画像に変換し
た際にオブジェクトとして機能するもの以外について
は、２次元画像であっても構わない。

【０１０５】図１３（ｂ）は、背景画像に、３次元の複
数のオブジェクト、ここでは、人、車、犬を配置した状
態を示す。続いて、図１３（ｃ）は、人に、３次元オブ
ジェクトである帽子と眼鏡を付けた状態を示す。ここま
でのステップにより、３次元のフレーム画像が完成す
る。

【０１０６】それから、図１３（ｄ）に示されるよう
に、この３次元フレーム画像を２次元に変換して、主画
像フレームを生成する。この例では、主画像フレーム
が、３次元の画面イメージと同一の視点から見た画像と
して構成される。背景画像も含めた全てのオブジェクト
が３次元で構成される場合には、２次元の主画像は、図
１３（ｃ）とは別の視点から切り出すことも可能であ
る。

【０１０７】また、図１３（ｅ）は、３次元フレーム画
像を主画像フレームと同一の視点から見た副画像フレー
ムを示す。副画像フレームの生成ステップを説明する
と、まず、３次元フレーム画像の所定のオブジェクト、
ここでは、眼鏡、帽子、車に所定の色付けを行う。それ
から、色付けを行ったもの以外のオブジェクトを、仮想
の３次元空間から削除する。その後、仮想の３次元空間
を、２次元画像に変換して、図１３（ｅ）に示された副
画像フレームを得る。色付け作業は、３次元空間におい
て行うため非常に簡単であり、副画像データを、単純な
ステップで生成することが可能となる。

【０１０８】図１４は、データ生成装置２００によるデ
ータ生成のフローチャートである。まず、Ｓ３０で、本
フローがスタートする。

【０１０９】Ｓ３２で、仮想の３次元画像データを取得
する。Ｓ３４で、２次元の表示用の主画像データを生成
し、また、Ｓ３６で、２次元の非表示用の副画像データ
を生成する。その後、Ｓ３８で副画像のオブジェクトテ
ーブルを生成し、また、Ｓ４０で主画像のアイテムテー
ブルを生成する。Ｓ３８とＳ４０とは、選択的にいずれ
かのステップが実行されるものであってよい。また、Ｓ
３８によるオブジェクトテーブルの生成は、副画像デー
タの生成と同時、または、独立して行われてもよい。Ｓ
４２で、本フローが終了する。

【０１１０】図１５は、本発明の第４の実施形態にかか
るデータ生成装置２００に組み込まれる２次元画像処理
部２１４の構成図である。２次元画像処理部２１４は、
主画像取得部２５０、エッジ検出部２５２、副画像デー
タ生成部２２０、副画像オブジェクトテーブル生成部２
２２および主画像アイテムテーブル生成部２２４を備え
る。図１２と同一の符号を付した構成は、図１２におい
て対応する構成と同一または同様の機能および動作を実
現する。第３の実施形態では、３次元画像データを利用
して、副画像データなどを生成する方法について説明し
たが、本実施形態では、２次元画像データから、副画像
データを生成する方法を説明する。

【０１１１】主画像取得部２５０が、２次元画像を取得
する。それから、エッジ検出部２５２が、主画像に含ま
れるアイテムの境界（エッジ）を検出する。副画像デー
タ生成部２２０は、エッジ検出部２５２からアイテムの
境界情報を取得し、その境界により囲まれる領域に、ア
イテムを特定するための識別情報を付加して、副画像の
データを生成する。この識別情報は、色情報であってよ
く、境界に囲まれる領域を単一色で塗りつぶすことによ
って、副画像データを生成することができる。副画像デ
ータは、副画像データ格納部２３６に供給される。副画
像オブジェクトテーブル生成部２２２は、オブジェクト
テーブルを生成し、主画像アイテムテーブル生成部２２
４は、アイテムテーブルを生成する。

【０１１２】図１６は、２次元主画像から副画像データ
を生成する方法を示すフローチャートである。Ｓ５０
で、本フローがスタートする。

【０１１３】Ｓ５２で、表示用の主画像を取得する。つ
づいて、Ｓ５４で、主画像から所定のアイテムの境界を
検出し、Ｓ５６で、検出したアイテムの境界により囲ま
れる領域に、そのアイテムを特定するための識別情報を
付加し、所定のオブジェクトを含む非表示用の副画像の
データを生成する。Ｓ５８で、識別情報と、オブジェク
トに関する情報とを対応付けた副画像オブジェクトテー
ブルを生成する。また、Ｓ６０で、副画像データに基づ
いて、主画像における座標と、識別情報とを対応付けた
主画像アイテムテーブルを生成する。Ｓ５８とＳ６０
は、選択的に、いずれか一方が実行されてもよい。Ｓ６
２で、本フローが終了する。

【０１１４】図１７は、本発明の第５の実施形態にかか
る画像処理システム３００の構成図である。画像処理シ
ステム３００は、画像配信装置３１０と、端末３４０と
を備え、画像配信装置３１０と端末３４０とがネットワ
ーク３３０を介して信号の授受を行うことができるよう
に構成されている。本明細書では、「ネットワーク」と
いう用語を、有線または無線の通信手段の双方を含む概
念として用いる。すなわち、画像配信装置３１０と端末
３４０は、電話回線や専用回線、公衆網などの有線で接
続されてもよく、また、搬送波を介して無線で信号の授
受を行ってもよい。画像配信装置３１０は、インターネ
ット上でコンテンツを提供するサーバや、番組を放送す
る放送局などを含む。また、端末３４０は、汎用コンピ
ュータであってよく、またゲーム装置や、医療診断・ト
レーニング装置、放送受信機、さらには、ＰＤＡ端末や
携帯電話を含む携帯端末など、要は画像処理機能を実現
することができ、且つ通信機能を有する機器であればよ
い。

【０１１５】画像配信装置３１０は、制御部３２０、記
憶部３１２および送受信部３２２を備える。記憶部３１
２は、主画像のデータを格納する主画像データ格納部３
１４、副画像のデータを格納する副画像データ格納部３
１６、オブジェクトテーブルを格納したテーブル３１８
を有する。前述したように、副画像のデータは、識別情
報を付加された少なくとも一つのオブジェクトを含んで
いる。送受信部３２２は、データ信号の送受信を行う機
能を有する。

【０１１６】端末３４０は、送受信部３３２および画像
処理装置１００を備える。画像処理装置１００について
は、前述した実施形態において説明したとおりである。
送受信部３２２は、データ信号の送受信を行う機能を有
する。

【０１１７】画像配信装置３１０は、端末３４０からの
画像配信要求を受けると、制御部３２０により、記憶部
３１２から、主画像データ、副画像データ、およびテー
ブルが読み出され、それらのデータを送受信部３２２か
ら送信する。端末３４０は、送受信部３３２でそれらの
データを受け取り、画像処理装置１００における記憶装
置に格納する。画像処理装置１００は、受け取ったデー
タを利用して、画像処理を行う。画像処理装置１００
は、全ての主画像、副画像、およびテーブルについての
データを一度に受け取ってもよく、また、画面に映し出
される画像を変更する度に、新たな画像のデータを受け
取ってもよい。送受信部３２２は、主画像データおよび
副画像データを互いに同期させて送信することが好まし
い。また、端末におけるあたり判定処理のために、送受
信部３２２は、主画像データおよび副画像データを送信
する前に、テーブルを送信することが好ましい。

【０１１８】図１８は、本発明の第６の実施形態にかか
る画像処理システム３００の構成図である。画像処理シ
ステム３００は、画像配信装置３１０と、端末３４０と
を備え、画像配信装置３１０と端末３４０とがネットワ
ーク３３０を介して信号の授受を行うことができるよう
に構成されている。

【０１１９】画像配信装置３１０は、制御部３２０、記
憶部３１２、送受信部３２２、ポインタ情報受付部３２
４、およびオブジェクト検出部３２６を備える。端末３
４０は、送受信部３３２、表示装置２０、表示処理部３
０、ポインタ操作部２２、入力受付部２４、ポインタ情
報検出部２６、再生処理部３３６および記憶装置３３４
を備える。図３または図１７に示した構成と同一の符号
を付した構成は、図３または図１７において対応する構
成と同一または同様の機能および動作を実現する。

【０１２０】画像配信装置３１０は、端末３４０からの
画像配信要求を受けると、制御部３２０により記憶部３
１２から、主画像データを読み出し、送受信部３２２か
ら送信する。端末３４０は、送受信部３３２で主画像デ
ータを受け取り、記憶装置３３４に格納する。再生処理
部３３６は、主画像データを再生し、表示処理部３０
は、主画像を表示装置２０において表示させる。

【０１２１】端末のユーザは、表示装置２０に表示され
た主画像上で、ポインタ操作部２２を介してポインタを
操作する。ポインタの操作情報は、入力受付部２４によ
り受け付けられ、ポインタ情報検出部２６が、その主画
像のフレームにおけるポインタの位置情報と、その主画
像フレームを特定するフレーム特定情報とを含んだポイ
ンタ情報を検出する。ポインタ情報は、送受信部３３２
より、画像配信装置３１０に送信される。

【０１２２】画像配信装置３１０において、送受信部３
２２は、ポインタ情報を受信し、ポインタ情報受付部３
２４に供給する。オブジェクト検出部３２６は、ポイン
タ情報と、副画像データとに基づいて、オブジェクトを
検出する。オブジェクトが検出されると、制御部３２０
は、オブジェクトに関連する情報を、送受信部３２２か
ら送信させる。本実施形態では、あたり判定を画像配信
装置３１０側でおこなうため、副画像データを端末３４
０に送信する必要がなく、送信データ量を少なくすると
いう効果を実現できる。

【０１２３】以上、本発明を実施の形態をもとに説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態は例示であり、そ
れらの各構成要素や各処理プロセスの組合せに、さらに
いろいろな変形例が可能なこと、またそうした変形例も
本発明の範囲にあることは当業者に理解されるところで
ある。

【０１２４】本発明の実施形態を説明するにあたり冒頭
でも触れたように、各実施形態で示した装置およびシス
テムは、ソフトウェアによっても実現することが可能で
ある。したがって、それぞれの装置およびシステムに、
所要の機能を実現させるプログラムについての発明も、
本明細書で開示されていることは、当業者に理解される
ところである。

【０１２５】また、以上の実施の形態では、主画像デー
タと副画像データとが異なるデータ格納部に格納されて
いる例について説明してきたが、その変形例として、画
像処理装置１００は、これらのデータを、同一のデータ
格納部に格納してもよい。その際、主画像データと副画
像データとを、同一フレームごとにまとめた一連の画像
データとして形成することが好ましい。例えば、フレー
ムの右側に主画像、左側に副画像というように、主画像
と副画像とをまとめた画像データを形成する。この画像
データは、再生処理部４０（図３参照）において再生さ
れ、主画像は表示処理部３０に、副画像はオブジェクト
検出部３４に分離して供給される。第1および第２の実
施形態と同様に、主画像は、表示装置２０において表示
され、副画像は、オブジェクト検出部３４であたり判定
に用いられる。同一フレームの主画像および副画像が同
時に再生されることにより、再生における時間誤差が発
生することなく、より一層リアルタイムなあたり判定を
実現することが可能となる。この変形例における画像処
理装置１００がコンピュータに上記機能を行わしめるプ
ログラムによって実現されてもよいことも、当業者に理
解されるところである。

【０１２６】

【発明の効果】本発明によれば、従来よりも優れた画像
処理機能を有する装置およびシステム、さらには、その
装置およびシステムに用いられる画像データの生成方法
を提供することができるという効果を奏する。

【図面の簡単な説明】

【図１】（ａ）は、２点の座標値（ｘ_１,ｙ_１）、（ｘ
_２,ｙ_ｎ）を指定することで、オブジェクト領域１２を
設定した従来の方法であり、（ｂ）は、２つの矩形状の
領域より形成されるオブジェクト領域を設定した従来の
方法を示す。

【図２】（ａ）は、図１（ａ）により示されるオブジェ
クト領域に関するテーブルを示し、（ｂ）は、図１
（ｂ）により示されるオブジェクト領域に関するテーブ
ルを示す。

【図３】本発明の第１の実施形態にかかる画像処理装置
の構成図である。

【図４】（ａ）は、表示用の主画像フレームを示し、
（ｂ）は、その主画像フレームに対応する副画像フレー
ムを示す。

【図５】（ａ）は、図４に例示した主画像についてのオ
ブジェクトテーブルであり、（ｂ）は、（ａ）とは異な
る主画像についてのオブジェクトテーブルである。

【図６】本発明の第１の実施形態にかかる画像処理装置
による画像処理方法のフローチャートである。

【図７】本発明の第２の実施形態にかかる画像処理装置
の構成図である。

【図８】画像切替部の構成図である。

【図９】表示装置の画面表示例を示す。

【図１０】本発明の第１および２の実施形態にかかる画
像処理装置のハードウェアコンポーネントを示す構成図
である。

【図１１】本発明の第３の実施形態にかかる画像データ
生成装置の構成図である。

【図１２】副画像処理部の構成図を示す。

【図１３】主画像データおよび副画像データを生成する
ステップを説明するための画面イメージである。

【図１４】データ生成装置によるデータ生成方法のフロ
ーチャートである。

【図１５】本発明の第４の実施形態にかかるデータ生成
装置に組み込まれる２次元画像処理部の構成図である。

【図１６】２次元主画像から副画像データを生成する方
法を示すフローチャートである。

【図１７】本発明の第５の実施形態にかかる画像処理シ
ステムの構成図である。

【図１８】本発明の第６の実施形態にかかる画像処理シ
ステムの構成図である。

【符号の説明】

２４・・・入力受付部、２６・・・ポインタ情報検出
部、２８・・・時間信号供給部、３０・・・表示処理
部、３２・・・指示部、３４・・・オブジェクト検出
部、４０・・・再生処理部、４２・・・主画像再生部、
４４・・・副画像再生部、５０・・・記憶装置、５２・
・・主画像データ格納部、５４・・・副画像データ格納
部、５６・・・オブジェクトテーブル５６、１００・・
・画像処理装置、２００・・・画像データ生成装置、２
０２・・・表示装置、２０４・・・入力支援装置、２１
０・・・データ処理部、２３０・・・記憶装置、３００
・・・画像処理システム、３１０・・・画像配信装置、
３３０・・・ネットワーク、３４０・・・端末

フロントページの続き Ｆターム(参考） 2C001 AA00 AA14 AA15 BA04 BA05 BA06 BB03 BB05 BB06 CA09 CB01 CC02 5B050 AA08 BA09 BA10 BA13 CA05 CA07 CA08 DA04 EA06 EA07 EA09 EA12 EA13 EA27 FA02 FA05 FA09 FA12 FA14 5B057 AA20 CA01 CA13 CA20 CB01 CB13 CC04 CD14 CE08 CE16 CH01 CH07 CH11 DA11 DB03 DB06 DC09 DC16 DC33 5E501 AA17 BA05 CA02 CB07 FB43

Claims (70)

【特許請求の範囲】
1. 【請求項１】 ポインタの操作を受け付ける入力受付部
   と、 主画像を表示させる表示処理部と、 少なくとも一つのオブジェクトを含む副画像のデータを
   格納する副画像データ格納部と、 前記主画像におけるポインタ情報を検出する第１検出部
   と、 検出された前記ポインタ情報と、前記副画像データとに
   基づいて、オブジェクトを検出する第２検出部とを備え
   たことを特徴とする画像処理装置。
2. 【請求項２】 前記副画像データ格納部は、オブジェク
   トごとに割り当てられるオブジェクト識別情報を付加し
   た副画像データを格納することを特徴とする請求項１に
   記載の画像処理装置。
3. 【請求項３】 表示するための主画像が複数存在する場
   合に、副画像データ格納部は、それぞれの主画像に対応
   する副画像データを格納し、各副画像データは、それぞ
   れ独立したオブジェクト識別情報を有することを特徴と
   する請求項２に記載の画像処理装置。
4. 【請求項４】 前記副画像データは、複数のオブジェク
   トに、それぞれ異なる色情報を前記オブジェクト識別情
   報として付加したものであることを特徴とする請求項２
   または３に記載の画像処理装置。
5. 【請求項５】 前記主画像は、前記副画像に含まれるオ
   ブジェクトに対応するアイテムを含むことを特徴とする
   請求項２から４のいずれかに記載の画像処理装置。
6. 【請求項６】 主画像における前記アイテムと、副画像
   における前記オブジェクトは、その形状および動きを同
   一とするように構成されることを特徴とする請求項５に
   記載の画像処理装置。
7. 【請求項７】 前記第２検出部は、副画像において前記
   ポインタ情報により特定される位置に割り当てられたオ
   ブジェクト識別情報に基づいて、オブジェクトを検出す
   ることを特徴とする請求項２から６のいずれかに記載の
   画像処理装置。
8. 【請求項８】 前記主画像を、表示用映像として再生す
   る主画像再生部と、 前記副画像を、非表示用映像として再生する副画像再生
   部とを備えたことを特徴とする請求項２から７のいずれ
   かに記載の画像処理装置。
9. 【請求項９】 前記第２検出部は、前記主画像における
   ポインタの操作に合わせて、仮想的なポインタを前記副
   画像において動かすことによって、オブジェクトを検出
   することを特徴とする請求項８に記載の画像処理装置。
10. 【請求項１０】 前記副画像再生部は、前記主画像再生
    部による主画像の再生に同期して、前記副画像を再生す
    ることを特徴とする請求項８または９に記載の画像処理
    装置。
11. 【請求項１１】 前記ポインタ情報は、主画像中に配置
    されるポインタの位置情報と、主画像のフレーム情報と
    を含むことを特徴とする請求項１から１０のいずれかに
    記載の画像処理装置。
12. 【請求項１２】 前記第２検出部においてオブジェクト
    が検出された場合に、前記主画像において、ポインタの
    位置にあるアイテムが、オブジェクトに相当する構成で
    あることを指示する指示部を備えることを特徴とする請
    求項１から１１のいずれかに記載の画像処理装置。
13. 【請求項１３】 前記表示処理部は、前記指示部からの
    指示を受け、ポインタの形状を変化させることを特徴と
    する請求項１２に記載の画像処理装置。
14. 【請求項１４】 前記オブジェクト識別情報と、前記オ
    ブジェクトに関連する情報とを対応付けたテーブルを備
    えることを特徴とする請求項２に記載の画像処理装置。
15. 【請求項１５】 画面中に入力された位置情報を受け付
    ける入力受付部と、 主画像を表示させる表示処理部と、 少なくとも一つのオブジェクトを含む副画像のデータを
    格納する副画像データ格納部と、 前記主画像における入力位置情報を検出する第１検出部
    と、 検出された前記位置情報と、前記副画像データとに基づ
    いて、オブジェクトを検出する第２検出部とを備えたこ
    とを特徴とする画像処理装置。
16. 【請求項１６】 コンピュータに、 ディスプレイに、主画像を表示する機能と、 前記主画像におけるポインタ情報を検出する機能と、 前記ポインタ情報と、少なくとも一つのオブジェクトを
    含む副画像のデータとに基づいて、オブジェクトを検出
    する機能とを実現させるためのプログラム。
17. 【請求項１７】 前記副画像データは、オブジェクトご
    とに割り当てられるオブジェクト識別情報を付加した画
    像データであることを特徴とする請求項１６に記載のプ
    ログラム。
18. 【請求項１８】 表示するための主画像が複数存在する
    場合に、副画像は、それぞれの主画像ごとに存在し、各
    副画像データは、それぞれ独立したオブジェクト識別情
    報を有することを特徴とする請求項１７に記載のプログ
    ラム。
19. 【請求項１９】 前記副画像データは、複数のオブジェ
    クトに、それぞれ異なる色情報を前記オブジェクト識別
    情報として付加したものであることを特徴とする請求項
    １７または１８に記載のプログラム。
20. 【請求項２０】 前記主画像は、前記副画像に含まれる
    オブジェクトに対応するアイテムを含むことを特徴とす
    る請求項１７から１９のいずれかに記載のプログラム。
21. 【請求項２１】 主画像における前記アイテムと、副画
    像における前記オブジェクトは、その形状および動きを
    同一とするように構成されることを特徴とする請求項２
    ０に記載のプログラム。
22. 【請求項２２】 前記副画像において、前記ポインタ情
    報により特定される位置に割り当てられたオブジェクト
    識別情報に基づいて、オブジェクトを検出する機能をコ
    ンピュータに実現させるための請求項１７から２１のい
    ずれかに記載のプログラム。
23. 【請求項２３】 前記主画像を、表示用映像として再生
    する機能と、 前記副画像を、非表示用映像として再生する機能とをコ
    ンピュータに実現させることを特徴とする請求項１７か
    ら２２のいずれかに記載のプログラム。
24. 【請求項２４】 前記主画像におけるポインタの操作に
    合わせて、仮想的なポインタを前記副画像において動か
    すことによって、オブジェクトを検出する機能をコンピ
    ュータに実現させるための請求項２３に記載のプログラ
    ム。
25. 【請求項２５】 前記主画像の再生に同期して、前記副
    画像を再生する機能をコンピュータに実現させることを
    特徴とする請求項２３または２４に記載のプログラム。
26. 【請求項２６】 前記ポインタ情報は、主画像中に配置
    されるポインタの位置情報と、主画像のフレーム情報と
    を含むことを特徴とする請求項１６から２５のいずれか
    に記載のプログラム。
27. 【請求項２７】 オブジェクトが検出された場合に、前
    記主画像において、ポインタの位置にあるアイテムが、
    オブジェクトに相当する構成であることを指示する機能
    をコンピュータに実現させるための請求項１６から２６
    のいずれかに記載のプログラム。
28. 【請求項２８】 オブジェクトが検出された場合に、ポ
    インタの形状を変化させる機能をコンピュータに実現さ
    せるための請求項２７に記載のプログラム。
29. 【請求項２９】 請求項１６から２８のいずれかに記載
    したプログラムを記録したコンピュータ読み取り可能な
    記録媒体。
30. 【請求項３０】 コンピュータに、 ディスプレイに、主画像を表示する機能と、 前記主画像において入力された位置情報を検出する機能
    と、 前記位置情報と、少なくとも一つのオブジェクトを含む
    副画像のデータとに基づいて、オブジェクトを検出する
    機能とを実現させるためのプログラム。
31. 【請求項３１】 複数の主画像を格納する主画像格納部
    と、 主画像を表示する主画像表示領域と、 ポインタの操作を受け付ける入力受付部と、 主画像表示領域においてポインタにより指定されたアイ
    テムの一覧を表示する指定アイテム表示領域と、 前記指定アイテム表示領域に表示されたアイテムが指定
    されると、そのアイテムが含まれる主画像を検索する検
    索部と、 検索された主画像を特定する情報を表示する検索結果表
    示領域とを備えることを特徴とするゲーム装置。
32. 【請求項３２】 前記検索結果表示領域は、主画像が有
    する複数のフレームのうち、指定されたアイテムを含ん
    だフレームを表示することを特徴とする請求項３１に記
    載のゲーム装置。
33. 【請求項３３】 前記検索結果表示領域は、検索された
    主画像を特定する情報を、その優先度に応じて表示する
    ことを特徴とする請求項３１または３２に記載のゲーム
    装置。
34. 【請求項３４】 主画像の一部を拡大して表示させるズ
    ーム部とを備えることを特徴とする請求項３１から３３
    のいずれかに記載のゲーム装置。
35. 【請求項３５】 表示されている主画像を、別の角度か
    ら見ることができるように視点を切り替える視点切替部
    を備えることを特徴とする請求項３１から３４のいずれ
    かに記載のゲーム装置。
36. 【請求項３６】 前記検索結果表示領域に表示された情
    報が指定されると、その情報に関連する主画像を主画像
    表示領域に表示させる主画像切替部を備えることを特徴
    とする請求項３１から３５のいずれかに記載のゲーム装
    置。
37. 【請求項３７】 主画像表示領域に複数の主画像を表示
    させ、それらの主画像によってユーザにゲームストーリ
    ーの謎解きに関するヒントを与えることを特徴とする請
    求項３１から３６のいずれかに記載のゲーム装置。
38. 【請求項３８】 コンピュータに、 ディスプレイの第１領域に、複数の主画像のうち、少な
    くとも１つの主画像を表示する機能と、 ディスプレイの第２領域に、表示される主画像に含まれ
    るアイテムであって、ポインタにより指定されたものの
    一覧を表示する機能と、 一覧として表示されたアイテムが指定されると、そのア
    イテムが含まれる主画像を検索する機能と、 ディスプレイの第３領域に、検索された主画像を特定す
    る情報を表示する機能とを実現させるためのプログラ
    ム。
39. 【請求項３９】 前記第３領域に、主画像が有する複数
    のフレームのうち、指定されたアイテムを含んだフレー
    ムを表示する機能をコンピュータに実現させることを特
    徴とする請求項３８に記載のプログラム。
40. 【請求項４０】 前記第３領域に、検索された主画像を
    特定する情報を、その優先度に応じて表示する機能をコ
    ンピュータに実現させることを特徴とする請求項３８ま
    たは３９に記載のプログラム。
41. 【請求項４１】 前記第１領域に、主画像の一部を拡大
    して表示する機能をコンピュータに実現させることを特
    徴とする請求項３８から４０のいずれかに記載のプログ
    ラム。
42. 【請求項４２】 表示されている主画像を、別の角度か
    ら見ることができるように視点を切り替える機能をコン
    ピュータに実現させることを特徴とする請求項３８から
    ４１のいずれかに記載のプログラム。
43. 【請求項４３】 第１領域に複数の主画像を表示させ、
    それらの主画像によってユーザにゲームストーリーの謎
    解きに関するヒントを与えることを特徴とする請求項３
    ８から４２のいずれかに記載のプログラム。
44. 【請求項４４】 仮想の３次元オブジェクトが配置され
    た仮想の３次元空間を、２次元画像に変換して主画像の
    データを生成するステップと、 前記３次元オブジェクトを、識別情報を有する２次元オ
    ブジェクトとして扱えるように、前記仮想の３次元空間
    を２次元画像に変換して副画像のデータを生成するステ
    ップとを備えることを特徴とするデータ生成方法。
45. 【請求項４５】 前記副画像データ生成ステップは、３
    次元オブジェクトを特定する識別情報を、２次元オブジ
    ェクトを特定する識別情報として利用した副画像のデー
    タを生成することを特徴とする請求項４４に記載のデー
    タ生成方法。
46. 【請求項４６】 前記副画像データ生成ステップは、仮
    想の３次元空間における前記３次元オブジェクトに所定
    の色づけを行い、その３次元空間を２次元画像に変換し
    て副画像のデータを生成することを特徴とする請求項４
    ４または４５に記載のデータ生成方法。
47. 【請求項４７】 前記２次元オブジェクトを特定する識
    別情報と、前記３次元オブジェクトまたは前記２次元オ
    ブジェクトに関する情報とを対応付けた第１テーブルを
    生成するステップを備えることを特徴とする請求項４４
    から４６のいずれかに記載のデータ生成方法。
48. 【請求項４８】 前記副画像データに基づいて、前記主
    画像における座標と、前記２次元オブジェクトの識別情
    報とを対応付けた第２テーブルを生成するステップを備
    えることを特徴とする請求項４４から４７のいずれかに
    記載のデータ生成方法。
49. 【請求項４９】 主画像から所定のアイテムの境界を検
    出するステップと、 検出したアイテムの境界により囲まれる領域に、該アイ
    テムを特定するための識別情報を付加したオブジェクト
    を含む副画像のデータを生成するステップと、を備える
    ことを特徴とするデータ生成方法。
50. 【請求項５０】 前記識別情報は、色情報であることを
    特徴とする請求項４９に記載のデータ生成方法。
51. 【請求項５１】 前記副画像データの生成ステップは、
    境界により囲まれる領域を単一色で塗りつぶすことによ
    り、その色を前記識別情報とする副画像のデータを生成
    することを特徴とする請求項５０に記載のデータ生成方
    法。
52. 【請求項５２】 前記識別情報と、前記オブジェクトに
    関する情報とを対応付けた第１テーブルを生成するステ
    ップを備えることを特徴とする請求項４９から５１のい
    ずれかに記載のデータ生成方法。
53. 【請求項５３】 前記副画像データに基づいて、前記主
    画像における座標と、前記識別情報とを対応付けた第２
    テーブルを生成するステップを備えることを特徴とする
    請求項４９から５２のいずれかに記載のデータ生成方
    法。
54. 【請求項５４】 仮想の３次元空間に仮想の３次元オブ
    ジェクトを配置するステップと、 前記仮想の３次元空間を２次元画像に変換して、表示用
    の主画像のデータを生成するステップと、 前記仮想の３次元空間を２次元画像に変換して、非表示
    用の副画像のデータを生成するステップとを備えること
    を特徴とするデータ生成方法。
55. 【請求項５５】 表示用の主画像から所定のアイテムの
    境界を検出するステップと、 検出したアイテムの境界により囲まれる領域を抽出した
    非表示用の副画像のデータを生成するステップと、を備
    えることを特徴とするデータ生成方法。
56. 【請求項５６】 画像配信装置と、端末とを備える画像
    処理システムであって、 前記画像配信装置は、 主画像のデータを格納する主画像データ格納部と、 識別情報を付加した少なくとも一つのオブジェクトを含
    む副画像のデータを格納する副画像データ格納部と、 主画像データを送信する送信部とを備え、 前記端末は、 主画像データを受信する受信部と、 主画像を表示させる表示処理部と、 表示された主画像におけるポインタの操作を受け付ける
    入力受付部と、 主画像中のポインタの位置情報、およびポインタにより
    指示される主画像のフレームを特定するフレーム特定情
    報を含んだポインタ情報を検出する検出部と、 前記ポインタ情報を送信する送信部と、を備え、 前記画像配信装置は、 前記副画像データと、送信されてきた前記ポインタ情報
    に基づいて、オブジェクトを検出することを特徴とする
    画像処理システム。
57. 【請求項５７】 画像を配信する画像配信装置であっ
    て、 主画像のデータを配信する送信部と、 識別情報を付加したオブジェクトを有する副画像のデー
    タを格納する副画像データ格納部と、 オブジェクトと識別情報とを対応付けたテーブルを格納
    するテーブル格納部と、 端末から送信されるポインタ情報を受信する受信部と、 前記ポインタ情報と前記副画像データとに基づいて識別
    情報を抽出し、抽出された前記識別情報と、前記テーブ
    ルとに基づいて、オブジェクトを検出する検出部とを備
    えることを特徴とする画像配信装置。
58. 【請求項５８】 前記送信部は、検出されたオブジェク
    トに関連する情報を配信することを特徴とする請求項５
    ７に記載の画像配信装置。
59. 【請求項５９】 コンピュータに、 ディスプレイに、主画像を表示する機能と、 表示される主画像のフレームを特定する情報を検出する
    機能と、 前記主画像におけるポインタの位置情報を検出する機能
    と、 ポインタの位置情報と、フレーム特定情報とを、画像配
    信装置に送信する機能とを実現させるためのプログラ
    ム。
60. 【請求項６０】 画像配信装置と、端末とを備える画像
    処理システムであって、 前記画像配信装置は、 主画像のデータと、識別情報を付加した少なくとも一つ
    のオブジェクトを含む副画像のデータとを格納する画像
    データ格納部と、 主画像データおよび副画像データを送信する送信部とを
    有し、 前記端末は、 主画像データおよび副画像データを受信する受信部と、 主画像を表示させる表示処理部と、 表示された主画像におけるポインタの操作を受け付ける
    入力受付部と、 主画像のフレームにおけるポインタの位置情報、および
    その主画像のフレームを特定するフレーム特定情報を含
    んだポインタ情報を検出する第１検出部と、 前記ポインタ情報と、前記副画像データとに基づいて、
    オブジェクトを検出する第２検出部とを有することを特
    徴とする画像処理システム。
61. 【請求項６１】 前記送信部は、前記主画像データおよ
    び前記副画像データを、互いに同期させて送信すること
    を特徴とする請求項６０に記載の画像処理システム。
62. 【請求項６２】 前記画像配信装置は、オブジェクトと
    識別情報とを対応付けたテーブルを格納するテーブル格
    納部を備え、 前記送信部は、前記主画像データおよび前記副画像デー
    タを送信する前に、前記テーブルを送信することを特徴
    とする請求項６０または６１に記載の画像処理システ
    ム。
63. 【請求項６３】 画像を配信する画像配信装置であっ
    て、 主画像のデータと、識別情報を付加したオブジェクトを
    含む副画像のデータとを格納する画像データ格納部と、 オブジェクトと識別情報とを対応付けたテーブルを格納
    するテーブル格納部と、 前記主画像データ、副画像データおよびテーブルを配信
    する送信部とを備えることを特徴とする画像配信装置。
64. 【請求項６４】 前記送信部は、主画像データおよび副
    画像データを、互いに同期させて配信することを特徴と
    する請求項６３に記載の画像配信装置。
65. 【請求項６５】 前記送信部は、主画像データを送信す
    る前に、その主画像に対応するテーブルを送信すること
    を特徴とする請求項６３または６４に記載の画像配信装
    置。
66. 【請求項６６】 前記副画像は、前記主画像に含まれる
    複数のアイテムのうち少なくとも一部をオブジェクトと
    して含むことを特徴とする請求項６３から６５のいずれ
    かに記載の画像配信装置。
67. 【請求項６７】 前記副画像データは、複数のオブジェ
    クトに、それぞれ異なる色情報を前記識別情報として付
    加したものであることを特徴とする請求項６３から６６
    のいずれかに記載の画像配信装置。
68. 【請求項６８】 画素の集合として第１の画像を表示さ
    せる表示処理部と、 前記第１の画像を構成する各々の画素が、オブジェクト
    の一部に相当するものであるか否かを示すオブジェクト
    識別情報を第２の画像として格納する格納部と、 前記第１の画像における任意の点を指定するポインタの
    操作を受け付ける入力受付部と、 そのポインタに連動して、そのポインタが指定する前記
    第１の画像の画素に対応するオブジェクト識別情報を前
    記第２の画像から抽出し、オブジェクトを検出する検出
    部と、を備えることを特徴とする画像処理装置。
69. 【請求項６９】 画面中に入力される位置情報を受け付
    ける入力受付部と、 主画像のデータと、識別情報を付加した少なくとも一つ
    のオブジェクトを含む副画像のデータとを同一フレーム
    ごとにまとめた画像データを格納する画像データ格納部
    と、 前記画像データを再生して、主画像と副画像とに分離す
    る再生処理部と、 分離された前記主画像を表示させる表示処理部と、 前記位置情報と、分離された前記副画像とに基づいて、
    オブジェクトを検出するオブジェクト検出部とを備えた
    ことを特徴とする画像処理装置。
70. 【請求項７０】 コンピュータに、 画面中に入力される位置情報を検出する機能と、 主画像のデータと、識別情報を付加した少なくとも一つ
    のオブジェクトを含む副画像のデータとを同一フレーム
    ごとにまとめた画像データを再生して、主画像と副画像
    とに分離する機能と、 分離された前記主画像を画面に表示させる機能と、 前記位置情報と、分離された前記副画像とに基づいて、
    オブジェクトを検出する機能とを実現させるためのプロ
    グラム。