JP2006319818A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2006319818A
JP2006319818A JP2005141969A JP2005141969A JP2006319818A JP 2006319818 A JP2006319818 A JP 2006319818A JP 2005141969 A JP2005141969 A JP 2005141969A JP 2005141969 A JP2005141969 A JP 2005141969A JP 2006319818 A JP2006319818 A JP 2006319818A
Authority
JP
Japan
Prior art keywords
moving image
image
screen
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005141969A
Other languages
English (en)
Other versions
JP4485991B2 (ja
Inventor
Tomokazu Kake
智一 掛
Yasushi Okumura
泰史 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2005141969A priority Critical patent/JP4485991B2/ja
Priority to US11/432,293 priority patent/US8049757B2/en
Publication of JP2006319818A publication Critical patent/JP2006319818A/ja
Application granted granted Critical
Publication of JP4485991B2 publication Critical patent/JP4485991B2/ja
Priority to US13/240,220 priority patent/US8570330B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414Vertical resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421Horizontal resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 複数のユーザの動画像を用いて画面表示を制御すること。
【解決手段】 複数のユーザの各動画像を取得して、取得される前記各動画像を画面に表示する。そして、前記各動画像の内容に応じて前記画面の表示内容を制御する。このとき、前記画面における前記各動画像の表示位置と、前記各動画像の内容と、に応じて、前記画面において所定の移動画像を移動させるようにしてもよいし、前記各動画像の内容に応じて、前記画面における該動画像の表示領域を変形させるようにしてもよい。
【選択図】 図4

Description

本発明は画像処理装置、画像処理方法及びプログラムに関し、特にユーザの動画像を含む画面を表示する画像処理装置、画像処理方法及びプログラムに関する。
下記特許文献1には、コンピュータで作成した画像にユーザの動画像を合成し、ユーザの動画像の内容に基づいて画面表示を制御する画像処理装置が開示されている。この画像処理装置によれば、コンピュータで作成した画像中の登場人物のようにユーザを演出することができ、ゲームソフト等の面白さを倍加させることができる。
特許第3298870号公報
しかしながら、上記従来技術は、1人のユーザの動画像を、コンピュータで作成した画像の固定された位置に合成するものであり、複数のユーザの動画像を用いて画面表示を制御することができない。このため、複数のユーザによるゲームやコミュニケーションに適用することができないという問題があった。
本発明は上記課題に鑑みてなされたものであって、その目的は、複数のユーザの動画像を用いて画面表示を制御することができる画像処理装置、画像処理方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る画像処理装置は、複数のユーザの各動画像を取得する動画像取得手段と、前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段と、前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段と、を含むことを特徴とする。
また、本発明に係る画像処理方法は、複数のユーザの各動画像を取得する動画像取得ステップと、前記動画像取得ステップで取得される前記各動画像を画面に表示する動画像表示ステップと、前記各動画像の内容に応じて前記画面の表示内容を制御する制御ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、複数のユーザの各動画像を取得する動画像取得手段、前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段、及び前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段として、例えば家庭用ゲーム機、携帯用ゲーム機、業務用ゲーム機、パーソナルコンピュータ、サーバコンピュータ、携帯電話機、携帯情報端末等のコンピュータを機能させるためのプログラムである。このプログラムは、例えばDVD−ROM、CD−ROM、ROMカートリッジ等のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
本発明によれば、複数のユーザの動画像を用いて画面表示を制御することができる。このため、複数のユーザによるゲームやコミュニケーションに適用することができる。
また、前記制御手段は、前記画面における前記各動画像の表示位置と、前記各動画像の内容と、に応じて、前記画面において所定の移動画像を移動させるようにしてもよい。こうすれば、移動画像を通じて、ユーザ間のコミュニケーションを演出することができるようになる。
例えば、前記制御手段は、前記各動画像のうち少なくとも1つの前記画面における表示位置を始点とし、他の少なくとも1つの前記画面における表示位置を終点として、前記移動画像を移動させてもよい。始点の動画像に係るユーザと終点の動画像に係るユーザとの間におけるコミュニケーションを演出することができる。
このとき、前記制御手段は、前記始点又は前記終点に係る動画像を乱数に基づいて決定するようにしてもよいし、前記始点又は前記終点に係る動画像を前記複数のユーザのうち一部又は全部からの指示に従って決定するようにしてもよい。
また、前記制御手段は、前記終点に係る動画像を前記始点に係る動画像の内容(例えば動画像に映し出されるユーザの動きの方向や動きの大きさ)に応じて決定するようにしてもよい。こうすれば、ユーザは、自分の動作により移動画像の終点を決定することができる。
例えば、前記制御手段は、前記始点に係る動画像の各部分領域における変化量と、該動画像の各部分領域の位置と、に応じて、前記終点に係る動画像を前記各動画像の中から決定するようにしてもよい。こうすれば、始点の動画像に係るユーザは、自らの動作により終点の動画像を決定することができる。
また、前記制御手段は、前記始点に係る動画像の変化量に応じて前記移動画像の数を制御するようにしてもよい。こうすれば、移動画像の数により動画像の変化量、すなわちユーザの動きを示すことができる。
また、前記制御手段は、前記各動画像の内容に応じて、前記画面における該動画像の表示領域を変形させるようにしてもよい。こうすれば、ユーザらは、自分たちの動作により、各動画像の表示領域を変形させることができる。このため、例えばゲーム等のエンタテインメントシステムに適用した場合に、より興趣を増すシステムとすることができる。
この場合、前記制御手段は、前記画面における前記各動画像の表示領域と、他の画像の表示位置と、に応じて前記画面の表示内容を制御するようにしてもよい。例えば、前記制御手段は、前記画面における前記各動画像の表示領域に応じて、前記他の画像の表示位置を移動させてもよい。こうすれば、ユーザは、自らの動作により他の画像の表示位置を移動させることができるようになる。
また、前記制御手段は、前記各動画像における所定内容が映し出された位置に応じて、前記画面における該動画像の表示領域を変形させてもよい。所定内容が映し出された位置は、例えば顔認識技術により認識される顔の位置である。こうすれば、ユーザは、所定内容が映し出される位置を変化させるよう動作することで、動画像の表示領域を任意に変形させることができる。
以下、本発明の実施形態について図面に基づき詳細に説明する。
実施形態1.
図1は、本実施形態1に係るエンタテインメントシステム(画像処理装置)を用いて構成されたネットワークシステムの構成図である。同図に示すように、このシステムはインターネットやLAN等のネットワーク50に接続された複数のエンタテインメントシステム10からなる。各エンタテインメントシステム10は、ユーザの動画像を撮影するカメラユニット46が接続されたコンピュータを含んで構成されており、ネットワーク50を介してユーザの動画像を示すデータを授受することで、各エンタテインメントシステム10において、多数のユーザの動画像が含まれる共通の画面を表示させることができるようになっている。
図2は、本実施形態1に係るエンタテインメントシステム(画像処理装置)のハードウェア構成を示す図である。同図に示すように、エンタテインメントシステム10は、MPU(Micro Processing Unit)11と、メインメモリ20と、画像処理部24と、モニタ26と、入出力処理部28と、音声処理部30と、スピーカ32と、光ディスク読み取り部34と、光ディスク36と、ハードディスク38と、インタフェース(I/F)40,44と、コントローラ42と、カメラユニット46と、ネットワークインタフェース48と、を含んで構成されるコンピュータシステムである。
図3は、MPU11の構成を示す図である。同図に示すように、MPU11は、メインプロセッサ12と、サブプロセッサ14a,14b,14c,14d,14e,14f,14g,14hと、バス16と、メモリコントローラ18と、インタフェース(I/F)22と、を含んで構成される。
メインプロセッサ12は、図示しないROM(Read Only Memory)に記憶されるオペレーティングシステム、例えばDVD(Digital Versatile Disk)−ROM等の光ディスク36から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて、各種情報処理を行ったり、サブプロセッサ14a乃至14hに対する制御を行ったりする。
サブプロセッサ14a乃至14hは、メインプロセッサ12からの指示に従って、各種情報処理を行ったり、エンタテインメントシステム10の各部を、例えばDVD−ROM等の光ディスク36から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて制御したりする。
バス16は、アドレス及びデータをエンタテインメントシステム10の各部でやり取りするためのものである。メインプロセッサ12、サブプロセッサ14a乃至14h、メモリコントローラ18、インタフェース22は、バス16を介して相互にデータ授受可能に接続される。
メモリコントローラ18は、メインプロセッサ12及びサブプロセッサ14a乃至14hからの指示に従って、メインメモリ20へのアクセスを行う。
メインメモリ20には、光ディスク36やハードディスク38から読み出されたプログラム及びデータや、通信ネットワークを介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ20はメインプロセッサ12やサブプロセッサ14a乃至14hの作業用としても用いられる。
インタフェース22には画像処理部24及び入出力処理部28が接続される。メインプロセッサ12及びサブプロセッサ14a乃至14hと、画像処理部24又は入出力処理部28と、の間のデータ授受はインタフェース22を介して行われる。
画像処理部24は、GPU(Graphical Processing Unit)とフレームバッファとを含んで構成される。GPUは、メインプロセッサ12やサブプロセッサ14a乃至14hから供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ26に出力される。なお、モニタ26には例えば家庭用テレビ受像機が用いられる。
入出力処理部28には、音声処理部30、光ディスク読み取り部34、ハードディスク38、インタフェース40,44が接続される。入出力処理部28は、メインプロセッサ12及びサブプロセッサ14a乃至14hと、音声処理部30、光ディスク読み取り部34、ハードディスク38、インタフェース40,44、ネットワークインタフェース48と、の間のデータ授受を制御する。
音声処理部30は、SPU(Sound Processing Unit)とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク36やハードディスク38から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。SPUは、これらの各種音声データを再生してスピーカ32から出力させる。なお、スピーカ32には例えば家庭用テレビ受像機の内蔵スピーカが用いられる。
光ディスク読み取り部34は、メインプロセッサ12及びサブプロセッサ14a乃至14hからの指示に従って、光ディスク36に記憶されたプログラムやデータを読み取る。なお、エンタテインメントシステム10は、光ディスク36以外の他の情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。
光ディスク36は例えばDVD−ROM等の一般的な光ディスク(コンピュータ読み取り可能な情報記憶媒体)である。また、ハードディスク38は一般的なハードディスク装置である。光ディスク36やハードディスク38には各種プログラムやデータがコンピュータ読み取り可能に記憶される。
インタフェース(I/F)40,44は、コントローラ42やカメラユニット46等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばUSB(Universal Serial Bus)インタフェースが用いられる。なお、図1では省略されているが、エンタテインメントシステム10には、エンタテインメントシステム10を通信ネットワークに接続するためのインタフェースが含まれるようにしてもよい。
コントローラ42は汎用操作入力手段であり、ユーザが各種操作(例えばゲーム操作)を入力するために用いられる。入出力処理部28は、所定時間(例えば1/60秒)ごとにコントローラ42の各部の状態をスキャンし、その結果を表す操作信号をメインプロセッサ12やサブプロセッサ14a乃至14hに供給する。メインプロセッサ12やサブプロセッサ14a乃至14hは、ユーザによって行われた操作の内容をその操作信号に基づいて判断する。なお、エンタテインメントシステム10は複数のコントローラ42を接続可能に構成されており、各コントローラ42から入力される操作信号に基づいて、メインプロセッサ12やサブプロセッサ14a乃至14hが各種処理を実行するようになっている。
カメラユニット46は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間(例えば1/60秒)ごとに入力する。本実施の形態におけるカメラユニット46は、撮影画像をJPEG(Joint Photographic Experts Group)形式の画像データとして入力するようになっている。また、カメラユニット46は、例えばレンズをプレイヤに向けた状態でモニタ26の上に設置され、所定のケーブルを介してインタフェース44に接続される。ネットワークインタフェース48は入出力処理部28とネットワーク50とに接続されており、エンタテインメントシステム10がネットワーク50を介して他のエンタテインメントシステム10とデータ通信するのを中継するようになっている。
図4は、本実施形態1に係る1つのエンタテインメントシステム10において、モニタ26に表示される画面を示している。同図(a)に示すように、モニタ26に表示される画面には、ネットワーク50を介して通信接続された他のエンタテインメントシステム10から送信される他のユーザの動画像、及び当該モニタ26とともにエンタテインメントシステム10に接続されたカメラユニット46により撮影されるユーザの動画像が(同図(a)では合計16の動画像)含まれている。本実施形態1では、これら複数の動画像から1又は複数が始点動画像として選択されるとともに、他の1又は複数が終点動画像として選択されるようになっている。同図(a)では、始点動画像52a,52bと終点動画像52cが選択された様子が示されている。始点動画像及び終点動画像は、画面に含まれている複数の動画像の中から乱数により選択されてもよいし、当該エンタテインメントシステム10又はネットワーク50を介して通信接続された他のエンタテインメントシステム10に備えられたコントローラ42の入力に従って選択されてもよい。
その後、始点動画像の内容からユーザの動きが検知されると、該始点動画像の表示位置から終点動画像の表示位置に向けて、移動画像が移動するようになっている。ここでは、始点動画像52aから終点動画像52cに向けて、多数の星形の移動画像54aが移動するとともに、始点動画像52bから終点動画像52cに向けて、多数の六角形の移動画像54bが移動するようにしている。
図5は、エンタテインメントシステム10による画像処理を示すフロー図である。エンタテインメントシステム10では、他のエンタテインメントシステム10に備えられたカメラユニット46にて撮影されたユーザの動画像をJPEGストリーム形式でネットワーク50を介して受信する。そして、受信されるJPEGストリーム形式の動画像データは、サブプロセッサ14a〜14hのうち一部によりデコードされ、ラスタ形式に変換される。ラスタ形式に変換されたデータはメインメモリ20に格納される。そして、上述した始点動画像については、サブプロセッサ14a〜14hのうち他により、動画像データがメインメモリ20から読み出され、動き検出処理が行われるようになっている。動き検出処理では、ラスタ形式の動画像データを構成する各タイミング(例えば時間が連続する)のフレーム画像の差分を演算し、その差分画像又は該差分を適宜フィルタ処理した画像の画素値の総和を算出する。この値は、始点動画像の変化量(ユーザの動き量)を示すものであり、これもまた、メインメモリ20に格納される。
そして、サブプロセッサ14a〜14hのうち、さらに他のサブプロセッサにより、メインメモリ20に格納されたラスタ形式に変換済みの動画像がモニタ26に映し出される画面に配置される(S101)。また、例えば乱数により、画面に配置された複数の動画像の中から始点動画像及び終点動画像が選択される(S102)。
その後、上記のようにしてサブプロセッサ14a〜14hのうち一部によって算出される始点動画像の変化量を、メインメモリ20から読み出す(S103)。そして、読み出した値が所定値を超えていれば、該始点動画像の表示位置から、S102で決定された終点動画像の表示位置に向けて移動するよう、移動画像54aや54bを画面に表示する(S104)。
本実施形態1に係るエンタテインメントシステム10によれば、始点動画像に映し出されたユーザから、終点動画像に映し出されたユーザに向けて、メッセージやエネルギーを送っているかのような映像をモニタ26に映し出すことができる。
なお、終点動画像、或いは移動画像54a,54bの移動方向を、始点動画像の内容に応じて決定してもよい。例えば、図6に示すように、始点動画像におけるユーザの動きの方向に移動画像54a,54bを移動させてもよい。この場合、移動画像54a,54bの移動方向上にあるユーザ動画像を終点動画像に選択すればよい。
ユーザの動きの方向は、例えば、始点動画像の差分画像(異なるタイミングにおけるフレーム画像の差分)を生成し、差分画像において所定値を超える画素値を持つ画素群の位置に基づいて判断すればよい。この際、ユーザの動きの大きさ、すなわち上記差分画像において所定値を超える画素群を持つ画素群の位置の広がりにより、移動画像54a,54bの移動速度を変化させるようにしてもよい。こうすれば、ユーザが大きく手等を動かすことにより、移動画像54a,54bを早く移動させることができるようになる。また、動画像に表れるユーザの動き量に応じて、該動画像から発せられる移動画像54の数を制御するようにしてもよい。
実施形態2.
図7は、本発明の実施形態2に係るエンタテインメントシステム10において、モニタ26に表示される画面の一例を示している。なお、本実施形態2及び後述する実施形態3乃至6においても、図1乃至3に示されるシステム構成が採用されており、光ディスク36に格納され、MPU11で実行されるプログラムのみが実施形態1とは異なる。
図7に示すように、実施形態2では画面に複数の立方体が表示される。この立方体は、メインメモリ20に構築される仮想3次元空間に配置された方形オブジェクト60を示しており、同図に示される画面は、この仮想3次元空間を所与の視点から見た様子を示している。各方形オブジェクト60の上面には、ネットワーク50を介して通信接続された他のエンタテインメントシステム10から送信されるユーザの動画像、及び当該画面を表示するモニタ26とともにエンタテインメントシステム10に接続されたカメラユニット46により撮影されたユーザの動画像がテクスチャとして貼付されている。また、仮想3次元空間には球状の球形オブジェクト64も配置されており、この球形オブジェクト64は仮想3次元空間において放物運動を行い、方形オブジェクト60等の他のオブジェクトに衝突したときには、運動方向を変えるようになっている。
本実施形態2では、ユーザがカメラユニット46の前で動き(例えば手等を動かし)、動画像の内容を変化させることにより、その動画像がテクスチャとして貼付された方形オブジェクト60の上面が変形するようになっている。すなわち、図8に示すように、方形オブジェクト60の上面は複数の矩形領域に区分けされており、各矩形領域の角部にはポリゴン頂点が設けられている。そして、各矩形領域に写し出されたユーザの動きの量を、ユーザ動画像の差分画像のうち当該矩形領域の部分に基づいて算出し、最も大きな動きが現れている領域の角部に配されたポリゴン頂点が、方形オブジェクト60から離れる向きに移動するようになっている。この移動量は、例えば矩形領域に映し出されたユーザの動きの量に基づいて決定される。そして、他の矩形領域の角部に配されたポリゴン頂点は、それよりも短い距離だけ、同じ向きに移動する。これにより、ユーザの動きに応じて、該ユーザの動画像がテクスチャとして貼付された方形オブジェクト60の上面が変形するようになっている。この方形オブジェクト60の変形はリアルタイムに計算され、画面に表示される。
本実施形態2では、各時刻での方形オブジェクト60の形状に応じて、球形オブジェクト64の跳ね返り方向が算出されるので、ユーザは自らカメラユニット46の前で動くことにより、球形オブジェクト64を任意の方向に跳ねさせることができる。なお、方形オブジェクト60の変形速度に基づいて球形オブジェクト64が跳ね返る際の速度を決定するようにしても好適である。
本実施形態2によれば、ユーザらは、それぞれカメラユニット46の前で動くことにより、仮想3次元空間において球形オブジェクト64を用いたバレーボールを行うことができる。これにより、例えばゲーム等に適用した場合に、非常に興趣を高めることができる。
実施形態3.
図9(a)(b)は、本発明の実施形態3に係るエンタテインメントシステム10において、モニタ26に映し出される画面の一例を示している。同図(a)に示すように、本実施形態では、画面に複数のユーザの動画像が映し出されている。これらユーザの動画像には、当該画面を映し出すモニタ26とともにエンタテインメントシステム10に接続されているカメラユニット46により映し出される動画像と、ネットワーク50を介して接続されたエンタテインメントシステム10から受信する動画像と、が含まれている。
本実施形態では、同図(b)に示すように、ユーザがカメラユニット46の前で動くと、その動きが現れた画像領域の近傍から、他の動画像が離れるようになっている。すなわち、ユーザの動きが現れた動画像の部分領域から離れるよう、他の動画像の表示位置が移動するようになっている。こうしても、複数のユーザの動画像を含む画面を用いて、ユーザはゲーム等を楽しむことができる。
実施形態4.
図10(a)(b)は、本発明の実施形態4に係るエンタテインメントシステム10において、モニタ26に映し出される画面の一例を示している。実施形態3では、ユーザの動きが現れた動画像の表示領域は変形しなかったが、同図(a)に示すように、ある動画像に映し出されたユーザが大きく動くと、同図(b)に示すように、その動きに応じて動画像の表示領域が変形し、それに伴って他の動画像がはじき飛ばされるようにしてもよい。
実施形態5.
図11は、本発明の実施形態5に係るエンタテインメントシステム10において、モニタ26に映し出される画面の一例を示している。本実施形態では、ユーザの動画像に該ユーザの動きが現れると、それに応じて動画像の表示領域が変形する。そして、この表示領域が画面に表示された他の画像に接すると、該画像に対応する処理が実行され、画面が更新される。例えば、画面に各種操作ボタンの画像を表示しておき、ユーザが動画像の表示領域を自らの動きにより変形させ、任意の操作ボタンの画像に該表示領域を接触させることにより、その操作ボタンの画像に対応した処理を実行して、画面を更新することができる。
実施形態6.
以上の説明では、動画像に現れたユーザの動きにより、モニタ26に映し出される画面の表示内容を制御するようにしたが、図12に示すように、動画像中の顔等の身体部分を映し出した位置に関して動画像の表示領域を変形させ、これにより、他の動画像の位置を移動させるようにしてもよい。
本発明の実施形態に係るエンタテインメントシステム(画像処理装置)を用いたネットワークシステムの構成図である。 本発明の実施形態に係るエンタテインメントシステムのハードウェア構成図である。 MPUの内部構成図である。 本発明の実施形態1に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。 本発明の実施形態1に係るエンタテインメントシステムの画像処理を示すフロー図である。 表示画面の変形例を示す図である。 本発明の実施形態2に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。 実施形態2に係る表示画面を生成するための画像処理を説明する図である。 本発明の実施形態3に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。 本発明の実施形態4に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。 本発明の実施形態5に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。 本発明の実施形態6に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。
符号の説明
10 エンタテインメントシステム、11 MPU、12 メインプロセッサ、14a〜14h サブプロセッサ、16 バス、18 メモリコントローラ、20 メインメモリ、22,40,44 インタフェース、24 画像処理部、26 モニタ、28 入出力処理部、30 音声処理部、32 スピーカ、34 光ディスク読み取り部、36 光ディスク、38 ハードディスク、42 コントローラ、46 カメラユニット、48 ネットワークインタフェース、50 ネットワーク、52a,52b 始点動画像、52c 終点動画像、54a,54b 移動画像、62 矩形領域、60 方形オブジェクト、64 球状オブジェクト。

Claims (13)

  1. 複数のユーザの各動画像を取得する動画像取得手段と、
    前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段と、
    前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段と、
    を含むことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記制御手段は、前記画面における前記各動画像の表示位置と、前記各動画像の内容と、に応じて、前記画面において所定の移動画像を移動させる、
    ことを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記制御手段は、前記各動画像のうち少なくとも1つの前記画面における表示位置を始点とし、他の少なくとも1つの前記画面における表示位置を終点として、前記移動画像を移動させる、
    ことを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記制御手段は、前記始点又は前記終点に係る動画像を乱数に基づいて決定する、
    ことを特徴とする画像処理装置。
  5. 請求項3に記載の画像処理装置において、
    前記制御手段は、前記始点又は前記終点に係る動画像を前記複数のユーザのうち一部又は全部からの指示に従って決定する、
    ことを特徴とする画像処理装置。
  6. 請求項3に記載の画像処理装置において、
    前記制御手段は、前記終点に係る動画像を前記始点に係る動画像の内容に応じて決定する、
    ことを特徴とする画像処理装置。
  7. 請求項2乃至6のいずれかに記載の画像処理装置において、
    前記制御手段は、前記始点に係る動画像の変化量に応じて前記移動画像の数を制御する、
    ことを特徴とする画像処理装置。
  8. 請求項1又は2に記載の画像処理装置において、
    前記制御手段は、前記各動画像の内容に応じて、前記画面における該動画像の表示領域を変形させる、
    ことを特徴とする画像処理装置。
  9. 請求項8に記載の画像処理装置において、
    前記制御手段は、前記画面における前記各動画像の表示領域と、他の画像の表示位置と、に応じて前記画面の表示内容を制御する、
    ことを特徴とする画像処理装置。
  10. 請求項9に記載の画像処理装置において、
    前記制御手段は、前記画面における前記各動画像の表示領域に応じて、前記他の画像の表示位置を移動させる、
    ことを特徴とする画像処理装置。
  11. 請求項8に記載の画像処理装置において、
    前記制御手段は、前記各動画像における所定内容が映し出された位置に応じて、前記画面における該動画像の表示領域を変形させる、
    ことを特徴とする画像処理装置。
  12. 複数のユーザの各動画像を取得する動画像取得ステップと、
    前記動画像取得ステップで取得される前記各動画像を画面に表示する動画像表示ステップと、
    前記各動画像の内容に応じて前記画面の表示内容を制御する制御ステップと、
    を含むことを特徴とする画像処理方法。
  13. 複数のユーザの各動画像を取得する動画像取得手段、
    前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段、及び
    前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段
    としてコンピュータを機能させるためのプログラム。
JP2005141969A 2005-05-13 2005-05-13 画像処理装置、画像処理方法及びプログラム Active JP4485991B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005141969A JP4485991B2 (ja) 2005-05-13 2005-05-13 画像処理装置、画像処理方法及びプログラム
US11/432,293 US8049757B2 (en) 2005-05-13 2006-05-11 Image processing device, image processing method and information storage medium
US13/240,220 US8570330B2 (en) 2005-05-13 2011-09-22 Image processing device, image processing method and information storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005141969A JP4485991B2 (ja) 2005-05-13 2005-05-13 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2006319818A true JP2006319818A (ja) 2006-11-24
JP4485991B2 JP4485991B2 (ja) 2010-06-23

Family

ID=37418682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005141969A Active JP4485991B2 (ja) 2005-05-13 2005-05-13 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (2) US8049757B2 (ja)
JP (1) JP4485991B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094799A1 (ja) * 2015-11-30 2017-06-08 株式会社ニコン 表示装置、表示方法および表示プログラム
WO2017098780A1 (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5479414B2 (ja) * 2010-11-24 2014-04-23 キヤノン株式会社 情報処理装置およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298870B2 (ja) 1990-09-18 2002-07-08 ソニー株式会社 画像処理装置及び画像処理方法
US5621430A (en) * 1994-08-29 1997-04-15 Software Garden, Inc. Method and apparatus for navigating multiple independent windowed images
US5911145A (en) * 1996-07-29 1999-06-08 Rae Technology, Inc. Hierarchical structure editor for web sites
JP2001245269A (ja) * 2000-02-25 2001-09-07 Sony Corp コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体
JP2002218424A (ja) 2001-01-12 2002-08-02 Mitsubishi Electric Corp 映像表示制御装置
JP4624577B2 (ja) * 2001-02-23 2011-02-02 富士通株式会社 複数のセンサによるヒューマンインタフェースシステム
JP3603118B2 (ja) * 2001-06-08 2004-12-22 東京大学長 擬似3次元空間表現システム、擬似3次元空間構築システム、ゲームシステム、及び電子地図提供システム
US7084888B2 (en) * 2001-08-09 2006-08-01 Konami Corporation Orientation detection marker, orientation detection device and video game device
JP2003219047A (ja) * 2002-01-18 2003-07-31 Matsushita Electric Ind Co Ltd 通信装置
US7433327B2 (en) * 2003-10-09 2008-10-07 Hewlett-Packard Development Company, L.P. Method and system for coordinating communication devices to create an enhanced representation of an ongoing event

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094799A1 (ja) * 2015-11-30 2017-06-08 株式会社ニコン 表示装置、表示方法および表示プログラム
JP2017102218A (ja) * 2015-11-30 2017-06-08 株式会社ニコン 表示装置および表示プログラム
CN108292492A (zh) * 2015-11-30 2018-07-17 株式会社尼康 显示装置、显示方法及显示程序
WO2017098780A1 (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10375353B2 (en) 2015-12-11 2019-08-06 Sony Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
US8570330B2 (en) 2013-10-29
JP4485991B2 (ja) 2010-06-23
US8049757B2 (en) 2011-11-01
US20120007893A1 (en) 2012-01-12
US20060256118A1 (en) 2006-11-16

Similar Documents

Publication Publication Date Title
JP5026692B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4177381B2 (ja) 画像生成方法、画像生成装置、および画像生成プログラム
JP4778865B2 (ja) 画像ビューワ、画像表示方法及びプログラム
JP4180065B2 (ja) 画像生成方法、画像生成装置、および画像生成プログラム
US8979650B2 (en) Game apparatus, recording medium having game program recorded thereon, and game system
JP3648535B1 (ja) ゲーム装置、コンピュータの制御方法及びプログラム
JP4447568B2 (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
JP5550248B2 (ja) プログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造
JP2002196855A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8072458B2 (en) Storage medium having game program stored thereon and game apparatus
US20070257914A1 (en) Image Processing Device, Image Processing Method, And Information Storage Medium
US11698680B2 (en) Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
JP2008165584A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2017217352A (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP4809655B2 (ja) 画像表示装置、画像表示装置の制御方法及びプログラム
JP2009061161A (ja) プログラム、情報記憶媒体、及び、ゲームシステム
JP2011186566A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP4485991B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5502043B2 (ja) ゲーム装置、および、プログラム
JP6509302B1 (ja) ゲームプログラム及びゲームシステム
JP2002102532A (ja) 情報処理システム、方法、コンピュータプログラム、記録媒体、半導体デバイス
JP2005100115A (ja) ゲームプログラム、及びゲーム装置
JP2009061159A (ja) プログラム、情報記憶媒体、及び、ゲームシステム
WO2024060959A1 (zh) 虚拟环境中的观影画面调整方法、装置、存储介质及设备
JP2002251626A (ja) 画像の生成方法及びそれに用いるプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100325

R150 Certificate of patent or registration of utility model

Ref document number: 4485991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250