JP5292149B2 - Information processing apparatus and information processing method - Google Patents
Information processing apparatus and information processing method Download PDFInfo
- Publication number
- JP5292149B2 JP5292149B2 JP2009075267A JP2009075267A JP5292149B2 JP 5292149 B2 JP5292149 B2 JP 5292149B2 JP 2009075267 A JP2009075267 A JP 2009075267A JP 2009075267 A JP2009075267 A JP 2009075267A JP 5292149 B2 JP5292149 B2 JP 5292149B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- area
- guidance
- specific area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、表示画像に応じたユーザの入力指示に従い情報処理を行う情報処理技術に関する。 The present invention relates to an information processing technique for performing information processing in accordance with a user input instruction corresponding to a display image.
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。 Home entertainment systems have been proposed that not only execute game programs, but also play video. In this home entertainment system, the GPU generates a three-dimensional image using polygons (see, for example, Patent Document 1).
一方、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。 On the other hand, a technique for enlarging / reducing a display image and moving up / down / left / right using a plurality of resolution tile images generated from a digital image such as a high-definition photograph has been proposed. In this image processing technique, an original image size is reduced in a plurality of stages to generate images with different resolutions, and images in each layer are divided into one or a plurality of tile images to represent the original image in a hierarchical structure. Usually, the image with the lowest resolution is composed of one tile image, and the original image with the highest resolution is composed of the largest number of tile images. The image processing apparatus quickly performs enlarged display or reduced display by switching the tile image being used to a tile image of a different hierarchy at the time of enlargement processing or reduction processing of the display image.
近年は携帯端末などでも表示画面のサイズが拡大し、情報処理装置の種類によらず高精細画像を表示することが可能となってきている。そのため視覚に訴える様々なコンテンツがより身近なものとなった。しかし表示すべき情報が複雑化、高度化すると、それを使いこなすための操作も複雑になってくる。キーの割り付けを理解したり、複数のキーを同時に操作したりする状況は、装置の扱いに不慣れなユーザにとっては特に、負担がかかりやすかった。 In recent years, the size of a display screen has been expanded even in a portable terminal or the like, and it has become possible to display a high-definition image regardless of the type of information processing apparatus. Therefore, various contents appealing to the sight became more familiar. However, as the information to be displayed becomes more complex and sophisticated, the operation for using it becomes more complex. The situation of understanding the key assignments and operating a plurality of keys at the same time is particularly burdensome for users who are not accustomed to handling the device.
本発明はこのような課題に鑑みてなされたものであり、その目的は、表示画像に対するユーザの操作を支援する技術を提供することにある。 The present invention has been made in view of such a problem, and an object of the present invention is to provide a technique for supporting a user operation on a display image.
本発明のある態様は情報処理装置に関する。この情報処理装置は、ズームアップすべき対象を表す特定領域を含む画像のデータを保持する記憶装置と、画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザから受け付ける入力情報取得部と、視点の移動要求に応じて表示する領域を変化させて画像のデータから表示画像を生成する表示画像処理部と、ユーザが画像の拡大操作を行っているときに、視点が、特定領域と、視点によって定まる画面に映る領域との位置関係に対して設定した誘導条件を満たすときは、視点に水平方向の動きを加えることにより、画面に映る領域を特定領域方向へ誘導するように表示画像処理部を制御する誘導制御部と、を備えたことを特徴とする。 One embodiment of the present invention relates to an information processing apparatus. This information processing apparatus accepts from a user a storage device that holds data of an image including a specific area that represents a target to be zoomed in, and a viewpoint movement request in a virtual space defined by the image plane and the distance from the image plane. An input information acquisition unit, a display image processing unit that generates a display image from image data by changing a display area in response to a viewpoint movement request, and a viewpoint when a user performs an image enlargement operation When the guidance condition set for the positional relationship between the specific area and the area displayed on the screen determined by the viewpoint is satisfied, the area displayed on the screen is guided in the specific area direction by adding a horizontal movement to the viewpoint. And a guidance control unit for controlling the display image processing unit.
本発明の別の態様は情報処理方法に関する。この情報処理方法は、ズームアップすべき対象を表す特定領域を含む画像のデータをメモリより読み出し表示装置に出力するステップと、画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザから受け付けるステップと、視点の移動要求に応じて表示装置に表示する領域を変化させるステップと、ユーザが画像の拡大操作を行っているときに、視点が、特定領域と、視点によって定まる画面に映る領域との位置関係に対して設定した誘導条件を満たすときは、視点に水平方向の動きを加えることにより、画面に映る領域を特定領域方向へ誘導するステップと、を含むことを特徴とする。 Another aspect of the present invention relates to an information processing method. In this information processing method, a step of reading out data of an image including a specific area representing an object to be zoomed out from a memory and outputting the data to a display device, and moving a viewpoint in a virtual space defined by the image plane and a distance from the image plane The step of accepting the request from the user, the step of changing the area to be displayed on the display device in response to the viewpoint movement request, and the viewpoint determined by the specific area and the viewpoint when the user is performing an image enlargement operation When the guidance condition set for the positional relationship with the area shown on the screen is satisfied, the step of guiding the area shown on the screen toward the specific area by adding a horizontal movement to the viewpoint is included. And
本発明のさらに別の態様はコンテンツのデータ構造に関する。このコンテンツのデータ構造は、画像のデータと、画像のうちズームアップすべき対象を表す特定領域のデータと、ユーザが画像の拡大操作を行っているときに、画面に映る領域を特定領域方向へ誘導するために、画像平面および画像平面からの距離によって定義される仮想空間における視点に水平方向の動きを加える条件であって、特定領域と画面に映る領域との位置関係に対して設定した誘導条件と、を対応づけたことを特徴とする。 Yet another embodiment of the present invention relates to a data structure of content. The data structure of this content is that the image data, the specific area data representing the object to be zoomed in the image, and the area displayed on the screen in the specific area direction when the user is performing an image enlargement operation. In order to guide, a condition that applies horizontal motion to the viewpoint in the virtual space defined by the image plane and the distance from the image plane, the guide set for the positional relationship between the specific area and the area displayed on the screen It is characterized by associating conditions.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 Note that any combination of the above-described components, and the expression of the present invention converted between a method, an apparatus, a system, a computer program, a recording medium on which the computer program is recorded, and the like are also effective as an aspect of the present invention. .
本発明によると、表示画像に対する操作においてユーザにかかる負担を軽減できる。 According to the present invention, it is possible to reduce a burden on a user in an operation on a display image.
図１は、本発明の実施の形態にかかる情報処理システム１の使用環境を示す。情報処理システム１は、画像処理、動画再生、音声再生、通信などの機能の少なくともいずれかを含むコンテンツを処理する情報処理装置１０と、情報処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。
FIG. 1 shows a use environment of an
情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、階層化された圧縮画像のデータを含むコンテンツのソフトウェアなどをダウンロードして取得してもよい。なお情報処理装置１０は、無線通信により外部ネットワークに接続してもよい。なお情報処理装置１０は、ゲーム装置やパーソナルコンピュータなどであってもよく、ソフトウェアを各種記録媒体からロードすることで後述する機能を実現してもよい。
In the
ユーザが、表示装置１２に表示された画像を見ながら、表示領域の拡大／縮小、上下左右方向へのスクロールを要求する入力を入力装置に対して行うと、入力装置はそれに応じて、表示領域の移動および拡大縮小の要求信号を情報処理装置１０に送信する。情報処理装置１０は当該信号に応じて、表示装置１２の画面内の画像を変化させる。このような表示領域の移動および拡大縮小は、表示画像に対するユーザの仮想的な視点の移動とも捉えることができるため、以後、「視点の移動」と総称する。情報処理装置１０は、あらかじめ定めた規則に従い、画像中の所定の領域と対応づけられた処理をさらに実行してもよい。例えばユーザが所定の領域をズームアップすると、情報処理装置１０は当該領域に対応づけておいた動作を開始する。
When the user inputs to the input device requesting enlargement / reduction of the display region and scrolling in the up / down / left / right direction while viewing the image displayed on the
図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５で構成される。
FIG. 2 shows an external configuration example of the
情報処理システム１において、入力装置２０の操作手段には、視点の移動、すなわち表示領域の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示領域の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示領域の縮小要求を入力でき、また手前から押すことで、表示領域の拡大要求を入力できる。また、表示領域のスクロールの入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向へのスクロール要求を入力できる。なお、視点移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。
In the
入力装置２０は、入力された視点移動要求信号を情報処理装置１０に伝送する機能をもち、本実施の形態では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、視点移動要求信号を情報処理装置１０に伝送してもよい。
The
図３は、本実施の形態において使用する画像データの階層構造例を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。以下、このような階層構造をもつ画像データを「階層データ」とよぶ。
FIG. 3 shows an example of a hierarchical structure of image data used in the present embodiment. The image data has a hierarchical structure including a
図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
The hierarchical data shown in FIG. 3 has a hierarchical structure of a quadtree, and each hierarchy is composed of one or
情報処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態で記憶装置に保持されており、コンテンツの起動に際し記憶装置から読み出されてデコードされる。本実施の形態の情報処理装置１０は、複数種類の圧縮形式に対応したデコード機能を有し、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式の圧縮データをデコード可能とする。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層または複数の階層に含まれる複数のタイル画像単位に行われていてもよい。
In the
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される視点移動要求信号から表示領域の移動量を導出すると、その移動量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。仮想空間におけるフレーム座標は、表示画像の生成処理に利用される。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
As shown in FIG. 3, the hierarchical structure of the hierarchical data is set with the horizontal direction as the X axis, the vertical direction as the Y axis, and the depth direction as the Z axis, thereby constructing a virtual three-dimensional space. When the
階層データに含まれる各階層の画像データは仮想空間のＺ軸に対して離散的に存在する。そのため、画像データがない階層間の縮尺率で画像を表示する場合は、Ｚ軸方向で近傍にある画像データを用いる。例えば、表示画像の縮尺率が第２階層３４の近傍にある場合、表示画像は当該第２階層の画像データを用いて作成する。これを実現するためには、各階層の間、例えば中間にソース画像の切り替え境界を設定する。表示画像の縮尺率が当該切り替え境界を越えると、表示画像の生成に用いる画像データを切り替え、当該画像を拡大したり縮小したりして表示する。
The image data of each layer included in the layer data exists discretely with respect to the Z axis of the virtual space. Therefore, when displaying an image at a scale ratio between hierarchies where there is no image data, image data in the vicinity in the Z-axis direction is used. For example, when the scale ratio of the display image is in the vicinity of the
図４は情報処理装置１０の構成を示している。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
FIG. 4 shows the configuration of the
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、階層化された圧縮画像データと、当該画像を用いて様々な機能を実現するための設定ファイルとを含むコンテンツファイルを受信してもよい。コンテンツファイルには、様々な機能を実行するために必要なデータ、例えば圧縮符号化された動画データ、音楽データ、ウェブサイトの名前とＵＲＬ（Uniform Resource Locator）との対応づけデータなどがさらに含まれていてもよい。
The
またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された視点移動要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
The
ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。スイッチ４２を介して受信された各種データは、ハードディスクドライブ５０に格納される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読み出し専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。コンテンツファイルはこれらの記録媒体に格納されていてもよい。
The
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
The
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。
The
メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた処理結果を出力する。
The
本実施の形態の情報処理装置１０は、視点の移動に伴い表示画像を円滑に変更するために、あらかじめ圧縮画像データの少なくとも一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。また、ユーザからの視点移動要求をもとに、将来表示させる領域を予測し、メインメモリ６０にロードした圧縮画像データのさらに一部をデコードしてバッファメモリ７０に格納してもよい。これにより、後の必要なタイミングで、表示画像の生成に使用する画像を瞬時に切り替えることが可能となる。
The
図５は本実施の形態における画像データの流れを模式的に示している。まずコンテンツファイルに含まれる階層データはハードディスクドライブ５０に格納されている。ハードディスクドライブ５０に代わり、記録媒体装着部５２やディスクドライブ５４に装着された記録媒体が保持していてもよい。あるいは、情報処理装置１０がネットワークを介して接続した画像サーバから階層データをダウンロードするようにしてもよい。ここでの階層データは上述のとおり、Ｓ３ＴＣ形式などによる固定長圧縮、あるいはＪＰＥＧ形式などによる可変長圧縮がなされている。
FIG. 5 schematically shows the flow of image data in the present embodiment. First, the hierarchical data included in the content file is stored in the
この階層データのうち、少なくとも一部の画像データを圧縮した状態のままメインメモリ６０にロードする（Ｓ１０）。ここでロードする領域は、現在の表示画像の仮想空間における近傍や、画像の内容、ユーザの閲覧履歴等に基づいて、高頻度で表示要求がなされると予測される領域など、あらかじめ定めた規則によって決定する。ロードは、視点移動要求がなされたときのみならず、例えば所定の時間間隔で随時行う。これによりロード処理が一時期に集中しないようにする。
Of the hierarchical data, at least a part of the image data is loaded into the
次に、メインメモリ６０に格納されている圧縮画像データのうち、表示に必要な領域の画像、または必要と予測される領域の画像のデータをデコードし、バッファメモリ７０に格納する（Ｓ１２）。バッファメモリ７０は、少なくとも２つのバッファ領域７２、７４を含む。各バッファ領域７２、７４のサイズは、フレームメモリ７６のサイズよりも大きく設定され、入力装置２０から視点移動の要求信号が入力された場合に、ある程度の量の移動に対しては、バッファ領域７２、７４に展開した画像データで表示画像を生成できるようにする。
Next, among the compressed image data stored in the
バッファ領域７２、７４の一方は、表示画像の生成に用いる画像を保持するために利用される表示用バッファであり、他方は、以後、必要と予測される画像を準備するために利用されるデコード用バッファである。図５の例では、バッファ領域７２が表示用バッファ、バッファ領域７４がデコード用バッファで、表示領域６８が表示されているものとする。
One of the
次に、表示用バッファであるバッファ領域７２に格納された画像のうち表示領域６８の画像を、フレームメモリ７６に描画する（Ｓ１４）。この間に、新たな領域の画像が必要に応じてデコードされ、バッファ領域７４に格納される。格納が完了したタイミングや表示領域６８の移動量などに応じて、表示用バッファとデコード用バッファを切り替える（Ｓ１６）。これにより、表示領域の移動や縮尺率の変更などに対し表示画像をスムーズに切り替えることができる。
Next, the image in the
これまで述べた処理は、ある画像の表示領域の移動、拡大縮小を行うために、図３で示したような一つの階層データによって構成される仮想空間において、ユーザからの視点移動要求に従いフレーム座標を移動させる態様であった。一方、複数の階層データを表示対象として用意し、表示画像が階層データ間を行き来するようにしてもよい。図６はそのような態様において表示対象となる複数の階層データの関係を模式的に示している。 In the processing described so far, in order to move and enlarge / reduce the display area of a certain image, the frame coordinates according to the viewpoint movement request from the user in the virtual space constituted by one hierarchical data as shown in FIG. It was the aspect which moves. On the other hand, a plurality of hierarchical data may be prepared as display targets, and the display image may be moved back and forth between the hierarchical data. FIG. 6 schematically shows a relationship between a plurality of hierarchical data to be displayed in such an aspect.
図中、２つの三角形は異なる階層データ１５０および１５２を示している。それぞれの階層データ１５０、１５２は実際には、図３に示すように解像度の異なる複数の画像データが図のＺ軸方向に離散的に存在する構成を有する。ユーザが入力装置２０によって表示領域の拡大／縮小を要求すると、表示領域、ひいては視点が、図のＺ軸方向に移動することになる。一方、表示領域を上下左右に移動させる要求を行うと、図の水平面を移動することになる。このような仮想空間において、２つの階層データ１５０および１５２が図のように重なり合った画像データを構築する。
In the figure, two triangles indicate different
そして階層データ１５０の画像を表示中、ユーザが継続的に拡大要求を行うと、視点が矢印ａのように移動し、階層データ１５２の領域に入る、すなわち階層データ間を移動することになる。異なる階層データの領域に進入すると、表示画像を生成するためのデータが階層データ１５０から階層データ１５２へと切り替わる。この処理は、これまで述べた画像表示の処理手順において、メインメモリ６０へロードする対象の階層データを変更するのみで実現できる。
When the user continuously requests enlargement while displaying the image of the
図６のような複数の階層データからなる画像データを構築するために、階層データ１５０と階層データ１５２を切り替えるときの画像の解像度および位置をあらかじめ設定しておく。この設定は図６中、線１５４で表され、これにより階層データの重なり具合が決定できる。同図の例では、Ｚ軸がｚ１なる解像度、線１５４が表す位置において、階層データ１５０から階層データ１５２への切り替えが行われる。以後、このような階層データ間の切り替えを「リンク」と呼ぶ。なお切り替えを行う階層データの画像は縮尺率の異なる同一の画像でもよいし、全く異なる画像でもよい。
In order to construct image data composed of a plurality of hierarchical data as shown in FIG. 6, the resolution and position of the image when switching the
さらに、階層データ１５２への表示画像の切り替えに代わり、動画再生、音声再生、表示の加工、表示領域の移動、といった処理を行うようにしてもよい。この場合も、線１５４のように、階層データ１５０に対しリンク領域を設定しておき、視点が当該領域に到達したらそれに対応づけておいた処理を開始する。
Furthermore, instead of switching the display image to the
このようにすると、ユーザが階層データ１５０の画像を見ながら、ある領域に視点を近づけていくと、その領域に対応づけた情報が表示されたり、動画再生やアプリケーション起動がなされたりする、といった態様を実現できる。このようなリンク領域を一つの画像データに複数設定すれば、複数の処理の中から選択して動作させるメニュー画面を構築することができる。このように、視点の移動により開始する処理を「埋め込みオブジェクト」と呼ぶ。そして画像データと埋め込みオブジェクトとの関連づけもまた、「リンク」と呼ぶ。
In this way, when the user approaches the viewpoint while viewing the image of the
図７はリンクが設定されている画像の例を示している。表示画像３５０にはリンク領域３５２ａ、３５２ｂ、３５２ｃなど複数のリンク領域が設定されている。例えばユーザが、表示画像３５０を初期画像としてリンク領域３５２ａへズームインしていくと、当該リンク領域３５２ａが画面全体に表示された時点で、対応する処理、すなわち画像生成に用いる階層データを切り替えたり埋め込みオブジェクトを実行したりする。このためには、図３に示した仮想空間における、リンク領域３５２ａが画面全体に表示されるときのフレーム座標と、当該リンクによって実行する処理の識別情報および、動画データやプログラムなど処理に必要なデータの識別情報やアドレスなどを対応づけた設定ファイルを、階層データに対応づけて作成しておく。
FIG. 7 shows an example of an image to which a link is set. A plurality of link areas such as
このようにリンク領域への視点の移動をきっかけとして画像の切り替えや埋め込みオブジェクトの実行などを行う態様は、単にポインティングデバイスの操作によって選択肢リストから選択する場合と比べ、元の画像からの連続性を感じることができ、デザイン性に優れたコンテンツを様々な形で実現できる。このように特定の領域をズームアップしていく必要があるとき、ユーザは、入力装置を用いて水平方向に位置合わせをしながら拡大操作を行うことになるが、このような操作はできるだけ簡略化できることが望ましい。 In this way, the aspect of switching the image or executing the embedded object triggered by the movement of the viewpoint to the link area is more continuous from the original image than when selecting from the option list by simply operating the pointing device. You can feel and design content with various forms. When it is necessary to zoom in on a specific area in this way, the user performs an enlargement operation while aligning in the horizontal direction using the input device. Such an operation is simplified as much as possible. It is desirable to be able to do it.
図７の例ではリンク領域３５２ａ、３５２ｂ、３５２ｃなどは整列して離れて配置されているためリンク領域の範囲を認識しやすいが、一枚の絵や写真など全体として連続している画像にリンク領域を設定することも考えられる。このような場合、リンク領域の範囲がわかりづらいため、画面とリンク領域との位置合わせにさらに手間がかかることになる。そこで本実施の形態では、ある視点の範囲では、ユーザが拡大操作をしているときに水平方向に微調整を加えて画面をリンク領域へ誘導することにより、ユーザの入力を支援する。なお誘導先の領域はリンク領域でなくてもよく、コンテンツ作成者が意図的に視点を誘導したい領域などでもよいが、以下の説明ではリンク領域を例にとる。
In the example of FIG. 7, the
図８は制御部１００の構成を詳細に示している。制御部１００は入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、表示対象の階層データをハードディスクドライブ５０からロードするロード部１０３、入力に応じて表示領域を決定する表示領域決定部１０４、圧縮画像データをデコードするデコード部１０６、表示画像を描画する表示画像処理部１１４を含む。制御部１００はさらに、画面がリンク領域に誘導されるように表示領域決定部１０４が決定する表示領域を修正する誘導制御部１１６と、リンク領域に対し設定された処理を実行するリンク実行部を含む。
FIG. 8 shows the configuration of the
図８において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
In FIG. 8, each element described as a functional block for performing various processes can be configured by a CPU (Central Processing Unit), a memory, and other LSIs in terms of hardware. This is realized by a program loaded on the computer. As described above, the
ハードディスクドライブ５０には、階層データと上述の設定ファイルを含むコンテンツファイルを格納しておく。リンクを設定した複数の階層データからなる画像データを表示する場合は、複数の階層データとそれぞれに対応する設定ファイルを格納する。コンテンツファイルにはさらに、動画データやアプリケーションプログラムなど埋め込みオブジェクトの処理に必要なデータを必要に応じて含めてよい。
The
入力情報取得部１０２は、入力装置２０のユーザによる操作に従い、コンテンツの起動／終了、視点の移動などの要求に係る情報を入力装置２０より取得し、当該情報をロード部１０３、表示領域決定部１０４、誘導制御部１１６に通知する。ロード部１０３は、入力情報取得部１０２からコンテンツの起動要求がなされたことを通知されたら、コンテンツの初期画像の階層データおよびその設定ファイルをハードディスクドライブ５０から読み出し、メインメモリ６０に格納する。ロード部１０３はさらに、視点の移動先の階層データや埋め込みオブジェクトの実行に必要なデータなどを、必要に応じてハードディスクドライブ５０から読み出し、メインメモリ６０に格納する。
The input
表示領域決定部１０４は、入力情報取得部１０２から視点の移動要求がなされたことを通知されたら、視点の移動量を階層データの仮想空間における座標に変換し、表示すべき移動先のフレーム座標を決定する。誘導制御部１１６は、設定ファイルに設定されたリンク領域に対して所定の範囲に視点がある間は、画面を当該リンク領域に誘導するように、表示領域決定部１０４が決定したフレーム座標を修正する。この誘導は、入力装置２０に対してユーザが視点の移動要求を行っている期間中、当該要求に対する微調整として実施する。詳細は後に述べる。
When notified by the input
デコード部１０６は、メインメモリ６０から圧縮画像データの一部を読み出しデコードし、バッファメモリ７０にデコード後のデータを格納する。デコード部１０６がデコードするデータは、表示領域を含む所定サイズの画像データでよい。あらかじめ広範囲の画像データをデコードし、バッファメモリ７０に格納しておくことにより、メインメモリ６０からの読み出し回数を削減でき、円滑な視点移動を実現できる。表示画像処理部１１４は、表示領域決定部１０４が決定した、表示すべき領域のフレーム座標を取得し、バッファメモリ７０から対応する画像データを読み出し、表示処理部４４のフレームメモリ７６に描画する。
The
リンク実行部１１８は、メインメモリ６０に格納した、表示中の階層データに対応づけられた設定ファイルを参照し、移動先の視点がリンクの条件を満たしている場合に、リンク領域に対して設定された処理を実行する。ここで「リンクの条件」とは、上述のとおり画面全体にリンク領域が表示されるときの視点でもよいし、リンク領域の所定の割合が画面内に入っているときの視点の範囲などでもよい。さらに拡大率などにしきい値を設けてもよい。このような条件は、リンク領域の配置などに鑑み、コンテンツ作成者などがあらかじめ設定する。
The
埋め込みオブジェクトを実行するためのプログラムやデータがメインメモリ６０に格納されていなければ、リンク実行部１１８はロード部１０３に、当該プログラムやデータの識別情報とともに、ハードディスクドライブ５０からメインメモリ６０へのロード要求を発行する。
If the program and data for executing the embedded object are not stored in the
別の階層データへ表示を切り替える場合も、必要に応じてロード部１０３に対しロード要求を発行する。さらにリンク実行部１１８は表示領域決定部１０４に対して、階層データの切り替え要求を発行する。これに応じて表示領域決定部１０４は、フレーム座標を切り替え後の階層データのものに変換し、当該階層データの識別情報とともにデコード部１０６に通知する。デコード部１０６はそれに応じて、リンク先の階層データをデコード処理対象とする。
Even when the display is switched to another hierarchical data, a load request is issued to the
次に、誘導制御部１１６が画面をリンク領域に誘導する機構について説明する。上述のように本実施の形態では、画像内にリンク領域を設け、その領域に画面を合わせることによって様々な処理を実現する。このような態様においてユーザは多くの場合、入力装置２０のアナログスティック２７ｂのような拡大縮小キーによる画像のズームアップと、十字キー２１のような方向指示キーによる水平方向の位置合わせとを繰り返しながら、目標とする領域をズームアップしていく。
Next, a mechanism for guiding the screen to the link area by the
このような操作中、画像がある程度拡大された段階で画面内の多くの面積を一つのリンク領域が占めている場合などは、多少位置がずれていたとしても、ユーザが当該リンク領域を目標としていることが予測できる。この性質を利用し、画面内におけるリンク領域の見え方によって、ユーザがどのリンク領域を目標としているかを予測する。そして画像の拡大操作と連動するように、水平方向に微調整をかけて画面を当該リンク領域へ誘導する。 During such operations, when one link area occupies a large area in the screen when the image is enlarged to some extent, even if the position is slightly shifted, the user can target the link area. Can be predicted. Using this property, it is predicted which link area the user is aiming for according to the appearance of the link area in the screen. Then, the screen is guided to the link area by fine adjustment in the horizontal direction so as to be linked with the image enlargement operation.
具体的には、誘導条件として、表示画像の拡大率およびリンク領域が画面からはみ出している割合にそれぞれしきい値を設定する。リンク領域が画面からはみ出している割合とは、リンク領域が画面からはみ出している方向におけるリンク領域の幅に対する、はみ出している長さの割合である。縦横２方向にはみ出している場合は当該割合の大きい方とする。そして拡大率がしきい値を超え、かつあるリンク領域が画面からはみ出している割合がしきい値より小さい場合、ユーザがそのリンク領域を目標としていると予測する。 Specifically, threshold values are set as the guiding conditions for the enlargement ratio of the display image and the ratio of the link area protruding from the screen, respectively. The ratio of the link area protruding from the screen is the ratio of the length of the link area to the width of the link area in the direction in which the link area protrudes from the screen. If it protrudes in the vertical and horizontal directions, the higher ratio is assumed. When the enlargement ratio exceeds the threshold and the ratio of a certain link area protruding from the screen is smaller than the threshold, it is predicted that the user is targeting the link area.
そのような予測ができる状態においてユーザが拡大縮小キーによって画像を拡大する操作を行ったら、それに応じて表示画像の拡大率を増加させると同時に、目標としていると予測したリンク領域へ近づくように、水平方向に表示領域を移動していく。なお誘導条件を満たしているか否かの監視は、ユーザが視点移動要求を行っている期間においては常時行う。また誘導条件は、上記の設定ファイルに、リンク領域ごと、あるいは全リンク領域で共通に設定してもよいし、誘導制御部１１６が階層データによらず保持するパラメータとしてもよい。さらに、ユーザが拡大操作とともに水平方向の移動操作も行っているときは、誘導処理を行わなくてもよい。
When the user performs an operation of enlarging the image with the enlargement / reduction key in a state where such prediction can be performed, the enlargement ratio of the display image is increased accordingly, and at the same time, the link area predicted to be the target is approached, Move the display area horizontally. Whether or not the guidance condition is satisfied is always monitored during a period when the user is making a viewpoint movement request. The guidance condition may be set in the setting file in common for each link area or in all link areas, or may be a parameter held by the
図９は、視点の違いによる、リンク領域と画面の位置関係の変化を説明する図である。図の縦方向が画像に対する視点の高さを表し、最も下の線が画像平面である。画像平面上、リンク領域３５２を太線で表している。まず視点３６０ａから画像を見ると、視界を表す三角形からわかるように、リンク領域３５２ははみ出さずに視界、すなわち画面内に入る。一方、視点３６０ｂから画像を見ると、リンク領域３５２の一部は画面からはみ出す。
FIG. 9 is a diagram for explaining a change in the positional relationship between the link area and the screen due to a difference in viewpoint. The vertical direction of the figure represents the height of the viewpoint with respect to the image, and the lowest line is the image plane. On the image plane, the
また、視点が画像平面に近づくほど、画面に対してリンク領域３５２の大きさが大きくなるため、リンク領域３５２は画面からはみ出しやすくなる。したがって、例えばリンク領域３５２が画面からはみ出さないような視点の範囲は、視点範囲３６２のような形状となる。はみ出す割合に対するしきい値を変化させても、視点範囲の形状は視点範囲３６２と同様である。すなわち上述のように誘導条件を設定すると、それに合致する視点範囲が視点範囲３６２のように定まる。
In addition, the closer the viewpoint is to the image plane, the larger the size of the
また図９において視点３６３は、リンク領域３５２がちょうど画面全体に表示される視点、すなわちリンクによる処理を実行するときの視点である。誘導制御部１１６は、ユーザが画像を拡大している期間において、視点３６３を目指して視点、ひいては画面の誘導制御を行う。なおリンク領域３５２は、リンクが設定されている領域、すなわちズームアップしていくと画像が切り替わったり動画が表示されたりする領域と厳密に同じ領域でなくてもよい。例えば当該リンクが設定されている領域とその周囲を含む領域などでもよい。
In FIG. 9, a
ここで誘導条件を一つ設定すると、当該誘導条件によって定まる視点範囲に対する視点の内外判定によって、誘導する／しないの二者択一の態様が実現される。本実施の形態ではさらに、誘導条件によって定まる視点範囲の周囲に中間的な視点範囲を設けてもよい。以後、前者の視点範囲を「誘導範囲」、後者の視点範囲を「準誘導範囲」とする。準誘導範囲に視点があるときは、誘導範囲に視点があるときより小さい誘導力で誘導を行う。ここで「誘導力」とは、例えばユーザの操作による画像の拡大速度に対する、誘導による画像の水平方向の移動速度の割合である。 If one guiding condition is set here, an alternative mode of guiding / not guiding is realized by the inside / outside determination of the viewpoint with respect to the viewpoint range determined by the guiding condition. In the present embodiment, an intermediate viewpoint range may be provided around the viewpoint range determined by the guidance condition. Hereinafter, the former viewpoint range is referred to as “guidance range”, and the latter viewpoint range is referred to as “semi-guidance range”. When there is a viewpoint in the quasi-guidance range, guidance is performed with a smaller guidance force than when the viewpoint is in the guidance range. Here, the “guidance force” is, for example, the ratio of the moving speed of the image in the horizontal direction by the guidance to the enlargement speed of the image by the user's operation.
図１０は、誘導範囲と準誘導範囲の関係を模式的に示している。図の表し方は図９と同様であり、最も下にリンク領域３５２が存在する。また同図上部には、各範囲を上から見た様子も示している。同図において誘導範囲３６４は図９の視点範囲３６２に対応し、誘導の目標となる視点が視点３６８である。このような誘導範囲３６４の周囲に、準誘導範囲３６６を設定する。準誘導範囲３６６は例えば、誘導範囲３６４と同じ中心線を有し水平面方向に所定の割合だけ広げた領域のうち、誘導範囲３６４以外の範囲とする。準誘導範囲および各範囲の誘導力は、設定ファイルにリンク領域ごと、あるいは全リンク領域で共通に設定してもよいし、階層データに関わらず誘導制御部１１６が保持していてもよい。
FIG. 10 schematically shows the relationship between the guidance range and the quasi-guidance range. The representation of the figure is the same as in FIG. 9, and the
ユーザによる画像の拡大速度が同じであっても、視点が誘導範囲にあるか準誘導範囲にあるかによって、誘導による画面、ひいては視点の水平方向の移動速度が異なる。例えば、準誘導範囲３６６内の視点３７２の単位時間あたりの移動量（矢印Ｂ）の水平方向成分は、誘導範囲３６４内の視点３７０の単位時間あたりの移動量（矢印Ａ）の水平方向成分に比べ小さくなる。
Even when the image enlargement speed by the user is the same, the screen for the guidance, and thus the horizontal movement speed of the viewpoint, differs depending on whether the viewpoint is in the guidance range or the semi-guidance range. For example, the horizontal component of the movement amount per unit time (arrow B) of the
また同図の例のように準誘導範囲３６６にある視点３７２が矢印Ｂのように誘導されながら画像平面に近づいていく途中で準誘導範囲３６６から逸脱した場合は、矢印Ｃのように誘導対象から除外し、ユーザの操作による画像拡大のみを行う。すなわち各範囲に対する視点の内外判定は、ユーザが拡大操作を行っている期間で常時実行するため、誘導の開始、停止、誘導力の変更を、視点の移動とともにリアルタイムで実行する。
When the
準誘導範囲は誘導範囲と比べ、同じ拡大率でリンク領域が画面からはみ出す量が多い視点の範囲と考えることができる。したがってこのように誘導範囲と準誘導範囲を設けることにより、リンク領域が画面に入っている程度に応じて細かく誘導力を調整することがでる。結果として、目標としていないリンク領域に強く誘導されたり、わずかな画面の振れによって誘導されるされないが切り替わったりといった、誘導によってユーザが感じる違和感を少なくすることができる。 The quasi-guidance range can be considered as a viewpoint range in which the link area protrudes from the screen at the same enlargement ratio as compared with the guidance range. Therefore, by providing the guidance range and the quasi-guidance range in this way, the guidance force can be finely adjusted according to the extent to which the link area is on the screen. As a result, it is possible to reduce a sense of discomfort felt by the user, such as being strongly guided to an untargeted link area, or not being induced by a slight screen shake but being switched.
誘導範囲３６４、準誘導範囲３６６のそれぞれにおいて、誘導力は一定でなくてもよい。図１１は、リンク領域の中心線からの、視点の水平方向の距離に対する誘導力の設定例を示している。図中、縦軸は誘導力であり、横軸の中心がリンク領域の中心線に対応する。この図では、誘導範囲においては誘導力を一定値ａとし、準誘導範囲では中心線からの距離に応じて誘導力が値ａから単調減少し、中心線から最も離れた境界において０となる設定がなされている。同様に、誘導範囲においても中心線からの距離に応じて誘導力を変化させてもよい。
In each of the
さらに誘導範囲、準誘導範囲の２つの範囲に分けずに連続的に誘導力が変化するようにしてもよいし、３つ以上の範囲に分けてもよい。いずれの場合も、リンク領域の中心線から視点までの水平方向の距離が短いほど、ユーザが当該リンク領域を目標としている可能性が高いと考えることができるため、その値に応じて誘導力を変化させることにより、自然な動きでユーザの視点移動を支援することができる。 Further, the induction force may be continuously changed without being divided into two ranges of the induction range and the semi-induction range, or may be divided into three or more ranges. In any case, the shorter the horizontal distance from the center line of the link area to the viewpoint, the higher the possibility that the user is targeting the link area. By changing, it is possible to support the user's viewpoint movement with natural movement.
誘導範囲を規定する誘導条件として、リンク領域が画面からはみ出す割合にしきい値を設ける代わりに、誘導範囲を直接設定するようにしてもよい。例えば、視点の高さの変化に対する、リンク領域の中心線から視点までの距離の変化の割合を設定することにより、図１０の誘導範囲に代わり、断面形状が円形である円錐状の誘導範囲を設定できる。準誘導範囲も同様に設定でき、断面形状は誘導範囲の周囲を形成する中空円形状となる。この場合も、これまでの説明と同様の機構で同様の効果を得ることができる。 As a guide condition for defining the guide range, the guide range may be set directly instead of providing a threshold value for the ratio of the link area protruding from the screen. For example, by setting the ratio of the change in the distance from the center line of the link area to the viewpoint with respect to the change in the height of the viewpoint, instead of the guidance range in FIG. Can be set. The quasi-induction range can be set in the same manner, and the cross-sectional shape is a hollow circular shape that forms the periphery of the induction range. In this case, the same effect can be obtained with the same mechanism as described above.
さらに、誘導範囲または準誘導範囲が、複数のリンク領域で重複する領域をもつ場合、当該領域に入った視点に対する誘導力は、各リンク領域への誘導力を、当該視点から各リンク領域の中心線までの距離によって重み付け平均した値としてもよい。ここで誘導力および中心線までの距離は、ベクトル計算であり、縦方向成分、横方向成分ごとに算出する。このような場合でも、視点が画像に近づく途中で、距離が遠いなど誘導力の弱いリンク領域の誘導範囲や準誘導範囲からはやがて逸脱し、最終的には視点に最も近いリンク領域へと誘導される。 Furthermore, when the guidance range or the quasi-guidance range has an overlapping area in a plurality of link areas, the guidance force for the viewpoint entering the area is the guidance force to each link area from the viewpoint to the center of each link area. A weighted average value may be used depending on the distance to the line. Here, the guidance force and the distance to the center line are vector calculations, and are calculated for each of the vertical direction component and the horizontal direction component. Even in such a case, while the viewpoint is approaching the image, it will eventually depart from the guidance area or quasi-guidance area of the weakly guided link area, such as a long distance, and will eventually lead to the link area closest to the viewpoint. Is done.
次にこれまで述べた構成による情報処理装置１０の動作について説明する。図１２は情報処理装置１０が行う、リンク領域への画面の誘導およびリンクの実行に係る処理手順を示すフローチャートである。まずユーザが情報処理装置１０に対してコンテンツの起動要求を行うと、図７に示した表示画像３５０のような初期画像が表示される（Ｓ１８）。この状態で、ユーザが入力装置２０を用いて視点移動要求を行うと、入力情報取得部１０２がその情報を取得する（Ｓ２０）。当該移動要求が、画像平面に視点を近づける要求、すなわち画像の拡大要求であったら（Ｓ２２のＹ）、誘導制御部１１６は、視点が準誘導範囲内にあるか否かを判定する（Ｓ２４）。
Next, the operation of the
視点が準誘導範囲内にある場合（Ｓ２４のＹ）、誘導制御部１１６は、準誘導範囲に対して設定された誘導力に基づき、表示領域決定部１０４が決定した拡大方向の画面の動きに対し、水平方向の動きを追加することにより画面を誘導する（Ｓ２６）。このときの誘導力は上述のとおり、視点が誘導範囲内にあるときより弱い。視点が準誘導範囲内になく誘導範囲内にある場合は（Ｓ２４のＮ、Ｓ２８のＹ）、Ｓ２６と同様、拡大方向の画面の動きに対し、水平方向の動きを追加して画面を誘導するが、このときの誘導力はＳ２６より強い（Ｓ３０）。なおＳ２６およびＳ３０の処理は、実際には、デコード部１０６、表示画像処理部１１４などにより画像が描画される。以後の表示領域移動処理も同様である。
When the viewpoint is within the quasi-guidance range (Y in S24), the
視点が準誘導範囲にも誘導範囲にもない場合は（Ｓ２４のＮ、Ｓ２８のＮ）、表示領域決定部１０４が決定した拡大方向の画面の動きをそのまま採用する（Ｓ３２）。Ｓ２０で取得した視点移動要求が拡大要求のみでなければ（Ｓ２２のＮ）、表示領域決定部１０４は当該視点移動要求どおりに表示領域を移動させる（Ｓ３４）。Ｓ２０〜Ｓ３４の処理を場合によっては繰り返し行うことにより、視点は徐々に、あるリンク領域に近づいていく。リンク実行部１１８は、例えば画面全体にリンク領域が表示されるなど、リンクの条件が満たされるまで視点の移動結果を監視し（Ｓ３６のＮ）、当該条件が満たされた時点で（Ｓ３６のＹ）、当該リンク領域に対して設定された処理を実行する（Ｓ３８）。
If the viewpoint is neither in the quasi-guidance range nor in the guidance range (N in S24, N in S28), the screen movement in the enlargement direction determined by the display
以上述べた本実施の形態によれば、表示画像の拡大縮小を含む視点の移動をユーザから受け付けて表示領域を更新する情報処理装置において、画像中の特定の領域と画面に映る領域との位置関係によって、当該領域をズームアップする意図がユーザにあるか否かを判断する。ズームアップする意図があると判断した場合は表示領域の誘導を行う。具体的には、ユーザが画像の拡大要求を行っている場合に、表示領域を拡大するとともに水平方向の移動を追加する。これにより、所望の領域をズームアップする際にユーザに必要とされる操作の一部を省略でき、ユーザの負担が減る。特に、あらかじめ設定された領域に画面を合わせることにより、当該領域に対応づけられた処理を開始するような態様において、ユーザが表示領域を微調整せずとも効率よく当該処理を開始することができる。 According to the present embodiment described above, in the information processing apparatus that accepts the movement of the viewpoint including enlargement / reduction of the display image from the user and updates the display area, the position of the specific area in the image and the area displayed on the screen Based on the relationship, it is determined whether or not the user intends to zoom up the area. If it is determined that there is an intention to zoom up, the display area is guided. Specifically, when the user makes an image enlargement request, the display area is enlarged and horizontal movement is added. Thereby, a part of operation required for the user when zooming up a desired area can be omitted, and the burden on the user is reduced. In particular, by matching the screen to a preset area, the process can be started efficiently without fine adjustment of the display area in a mode in which the process associated with the area is started. .
誘導に際しては、ユーザが画像の拡大要求を行っている期間において、当該拡大要求による拡大速度に対応するように水平方向に調整を行う。すなわち調整幅がユーザの拡大要求のための操作の強さに連動しているため、勝手に視点が移動してしまうといった感覚を与えることなく、自然な動きでの誘導が実現できる。 When guiding, during the period when the user is requesting enlargement of the image, adjustment is made in the horizontal direction so as to correspond to the enlargement speed according to the enlargement request. That is, since the adjustment range is linked to the strength of the operation for the user's enlargement request, guidance with natural movement can be realized without giving a sense that the viewpoint moves without permission.
また、誘導を行う条件として視点範囲を２種類以上設定することにより、誘導を段階的に行う。すなわち、特定の領域と画面とのずれが比較的大きい段階では、ユーザが当該特定の領域をズームアップしようとしている可能性がそれほど高くないと判断し、誘導力を小さくしておき、ずれが小さくなったら本格的な誘導を行う。このようにすることで、適切なタイミングで適切な量だけ誘導を行うことができる。 In addition, by setting two or more viewpoint ranges as conditions for performing the guidance, the guidance is performed step by step. That is, at a stage where the deviation between the specific area and the screen is relatively large, it is determined that the possibility that the user is trying to zoom up the specific area is not so high, the guidance force is reduced, and the deviation is small. When it comes to it, full-scale guidance is performed. By doing in this way, guidance can be performed by an appropriate amount at an appropriate timing.
さらに、隣り合う複数の領域の間に視点がある場合などは、各領域までの距離に応じて最終的な誘導量を決定する。具体的には、各領域への誘導量を距離によって重み付け平均する。このようにすると、ズームアップすべき領域が近接していても適切な誘導力を求めることができるため、様々なレイアウトの画像に対し本実施の形態を適用することが可能となる。 Further, when there is a viewpoint between a plurality of adjacent regions, the final amount of guidance is determined according to the distance to each region. Specifically, the amount of guidance to each area is weighted and averaged by the distance. In this way, an appropriate guidance force can be obtained even if the area to be zoomed up is close to, so that this embodiment can be applied to images of various layouts.
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. Those skilled in the art will understand that the above-described embodiment is an exemplification, and that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.
１ 情報処理システム、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ３０ 第０階層、 ３２ 第１階層、 ３４ 第２階層、 ３６ 第３階層、 ３８ タイル画像、 ４４ 表示処理部、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 ７６ フレームメモリ、 １００ 制御部、 １０２ 入力情報取得部、 １０３ ロード部、 １０４ 表示領域決定部、 １０６ デコード部、 １１４ 表示画像処理部、 １１６ 誘導制御部、 １１８ リンク実行部、 ３６４ 誘導範囲、 ３６６ 準誘導範囲。
DESCRIPTION OF
Claims (11)
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザから受け付ける入力情報取得部と、
前記視点の移動要求に応じて表示する領域を変化させて前記画像のデータから表示画像を生成する表示画像処理部と、
ユーザが画像の拡大操作を行っているときに、前記視点が、前記特定領域と、前記視点によって定まる画面に映る領域との位置関係に対して設定した誘導条件を満たすときは、前記視点に水平方向の動きを加えることにより、画面に映る領域を前記特定領域の方向へ誘導するように前記表示画像処理部を制御する誘導制御部と、
を備えたことを特徴とする情報処理装置。 A storage device for holding data of an image including a specific area representing an object to be zoomed in;
An input information acquisition unit that receives a request to move a viewpoint in a virtual space defined by an image plane and a distance from the image plane;
A display image processing unit that generates a display image from the image data by changing a display area in response to the movement request of the viewpoint;
When the user is performing an image enlargement operation, when the viewpoint satisfies the guidance condition set for the positional relationship between the specific area and the area shown on the screen determined by the viewpoint, the viewpoint is horizontal. A guidance control unit that controls the display image processing unit so as to guide the region shown on the screen in the direction of the specific region by adding a movement in the direction;
An information processing apparatus comprising:
前記誘導制御部は、ユーザの拡大操作による拡大速度に対する、前記水平方向の動きの速度を、前記視点がどの誘導条件を満たすかによって異ならせることを特徴とする請求項１から３のいずれかに記載の情報処理装置。 A plurality of the guiding conditions are provided for one specific area,
The said guidance control part changes the speed of the said horizontal direction movement with respect to the expansion speed by a user's expansion operation according to which guidance conditions the said viewpoint satisfies. The information processing apparatus described.
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザから受け付けるステップと、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させるステップと、
ユーザが画像の拡大操作を行っているときに、前記視点が、前記特定領域と、前記視点によって定まる画面に映る領域との位置関係に対して設定した誘導条件を満たすときは、前記視点に水平方向の動きを加えることにより、画面に映る領域を前記特定領域の方向へ誘導するステップと、
を含むことを特徴とする情報処理方法。 Reading out image data including a specific area representing a target to be zoomed up from a memory and outputting the data to a display device;
Receiving from the user a request to move the viewpoint in a virtual space defined by the image plane and the distance from the image plane;
Changing a region to be displayed on the display device in response to the movement request of the viewpoint;
When the user is performing an image enlargement operation, when the viewpoint satisfies the guidance condition set for the positional relationship between the specific area and the area shown on the screen determined by the viewpoint, the viewpoint is horizontal. Directing the area shown on the screen in the direction of the specific area by applying a movement in the direction;
An information processing method comprising:
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザから受け付ける機能と、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させる機能と、
ユーザが画像の拡大操作を行っているときに、前記視点が、前記特定領域と、前記視点によって定まる画面に映る領域との位置関係に対して設定した誘導条件を満たすときは、前記視点に水平方向の動きを加えることにより、画面に映る領域を前記特定領域の方向へ誘導する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 A function of reading out data of an image including a specific area representing a target to be zoomed up from a memory and outputting the data to a display device;
A function of accepting a request to move a viewpoint in a virtual space defined by an image plane and a distance from the image plane from a user;
A function of changing a region to be displayed on the display device in response to the movement request of the viewpoint;
When the user is performing an image enlargement operation, when the viewpoint satisfies the guidance condition set for the positional relationship between the specific area and the area shown on the screen determined by the viewpoint, the viewpoint is horizontal. A function of guiding the area shown on the screen in the direction of the specific area by adding a movement in the direction;
A computer program for causing a computer to realize the above.
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザから受け付ける機能と、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させる機能と、
ユーザが画像の拡大操作を行っているときに、前記視点が、前記特定領域と、前記視点によって定まる画面に映る領域との位置関係に対して設定した誘導条件を満たすときは、前記視点に水平方向の動きを加えることにより、画面に映る領域を前記特定領域の方向へ誘導する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。 A function of reading out data of an image including a specific area representing a target to be zoomed up from a memory and outputting the data to a display device;
A function of accepting a request to move a viewpoint in a virtual space defined by an image plane and a distance from the image plane from a user;
A function of changing a region to be displayed on the display device in response to the movement request of the viewpoint;
When the user is performing an image enlargement operation, when the viewpoint satisfies the guidance condition set for the positional relationship between the specific area and the area shown on the screen determined by the viewpoint, the viewpoint is horizontal. A function of guiding the area shown on the screen in the direction of the specific area by adding a movement in the direction;
The recording medium which recorded the computer program characterized by making a computer implement | achieve.
前記画像のうちズームアップすべき対象を表す特定領域のデータと、
前記特定領域と画面に映る領域との位置関係に対して設定した誘導条件と、
を対応づけ、メモリから読み出されることにより、コンピュータが、前記画像を表示装置に表示し、ユーザから受け付けた、画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求によって、前記位置関係が前記誘導条件を満たすとき、前記視点に水平方向の動きを加えることにより画面に映る領域を前記特定領域の方向へ誘導することを特徴とするコンテンツファイルのデータ構造。 Image data,
Data of a specific area representing an object to be zoomed up in the image;
Guidance conditions set for the positional relationship between the specific area and the area shown on the screen;
Is read from the memory, the computer displays the image on the display device, and receives the viewpoint movement in the virtual space defined by the image plane and the distance from the image plane, which is received from the user. A data structure of a content file , characterized in that when a positional relationship satisfies the guidance condition, an area displayed on a screen is guided in a direction of the specific area by adding a horizontal movement to the viewpoint .
Priority Applications (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009075267A JP5292149B2 (en) | 2009-03-25 | 2009-03-25 | Information processing apparatus and information processing method |
| CN200980158283.XA CN102362308B (en) | 2009-03-25 | 2009-12-18 | Information processing apparatus and information processing method |
| US13/255,351 US9250704B2 (en) | 2009-03-25 | 2009-12-18 | Information processing device and information processing method |
| PCT/JP2009/007037 WO2010109570A1 (en) | 2009-03-25 | 2009-12-18 | Information processing apparatus and information processing method |
| EP09842186.0A EP2413311B1 (en) | 2009-03-25 | 2009-12-18 | Information processing device and information processing method |
| CA2754672A CA2754672C (en) | 2009-03-25 | 2009-12-18 | Information processing device and information processing method |
| BRPI0925014-0A BRPI0925014B1 (en) | 2009-03-25 | 2009-12-18 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND, COMPUTER-READABLE RECORDING MEDIA |
| RU2011142869/08A RU2520353C9 (en) | 2009-03-25 | 2009-12-18 | Information processing device and information processing method |
| KR1020117024890A KR101319575B1 (en) | 2009-03-25 | 2009-12-18 | Information processing device and information processing method |
| AU2009343075A AU2009343075B2 (en) | 2009-03-25 | 2009-12-18 | Information processing device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009075267A JP5292149B2 (en) | 2009-03-25 | 2009-03-25 | Information processing apparatus and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010230734A JP2010230734A (en) | 2010-10-14 |
| JP5292149B2 true JP5292149B2 (en) | 2013-09-18 |
Family
ID=43046661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009075267A Active JP5292149B2 (en) | 2009-03-25 | 2009-03-25 | Information processing apparatus and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5292149B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5367034B2 (en) * | 2011-08-24 | 2013-12-11 | 株式会社ソニー・コンピュータエンタテインメント | Image processing apparatus and image processing method |
| KR101837283B1 (en) | 2016-05-16 | 2018-03-09 | 한국과학기술원 | Method and system for correcting play areas using slope information of user terminal during 360 degree content playback |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3498001B2 (en) * | 1999-02-16 | 2004-02-16 | 富士通株式会社 | Panoramic image display system, creation system and program recording medium thereof |
| JP4050777B1 (en) * | 2007-04-06 | 2008-02-20 | 株式会社デジタルマックス | Image display system |
-
2009
- 2009-03-25 JP JP2009075267A patent/JP5292149B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010230734A (en) | 2010-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2010109570A1 (en) | Information processing apparatus and information processing method | |
| JP5520512B2 (en) | Information processing apparatus and information processing method | |
| WO2010055604A1 (en) | Image processing device, information processing device, image processing method, and information processing method | |
| JP5662267B2 (en) | Image display system, information processing apparatus, server, and image processing method | |
| JP2012014640A (en) | Screen output device, screen output system, and screen output method | |
| JP5292149B2 (en) | Information processing apparatus and information processing method | |
| JP5292146B2 (en) | Information processing apparatus and information processing method | |
| JP5992729B2 (en) | Information processing apparatus and information processing method | |
| US8972877B2 (en) | Information processing device for displaying control panel image and information image on a display | |
| JP5520473B2 (en) | Information processing apparatus and information processing method | |
| JP5520469B2 (en) | Image processing apparatus and image processing method | |
| JP5292148B2 (en) | Information processing apparatus and information processing method | |
| JP5292147B2 (en) | Information processing apparatus and information processing method | |
| JP5520472B2 (en) | Information processing apparatus and information processing method | |
| JP5920673B2 (en) | Image processing apparatus and image processing method | |
| JP5520471B2 (en) | Image processing apparatus and image processing method | |
| JP5524469B2 (en) | Image processing apparatus and image processing method | |
| JP5520470B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101125 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110128 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130610 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5292149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |