JP2011248502A - 情報処理装置、情報出力方法及びプログラム - Google Patents

情報処理装置、情報出力方法及びプログラム Download PDF

Info

Publication number
JP2011248502A
JP2011248502A JP2010119136A JP2010119136A JP2011248502A JP 2011248502 A JP2011248502 A JP 2011248502A JP 2010119136 A JP2010119136 A JP 2010119136A JP 2010119136 A JP2010119136 A JP 2010119136A JP 2011248502 A JP2011248502 A JP 2011248502A
Authority
JP
Japan
Prior art keywords
agent
organism
information processing
growth
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010119136A
Other languages
English (en)
Inventor
Shigeru Owada
茂 大和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010119136A priority Critical patent/JP2011248502A/ja
Priority to US13/084,648 priority patent/US20110295513A1/en
Priority to CN2011101351247A priority patent/CN102262735A/zh
Publication of JP2011248502A publication Critical patent/JP2011248502A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8058—Virtual breeding, e.g. tamagotchi
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】実世界の生物と関連付けられるエージェントの外見又は振る舞いの日々の変化を通じてその生物の成長状況をユーザに呈示すること。
【解決手段】生物の成長状況を認識するための入力データを取得するデータ取得部と、上記データ取得部により取得される上記入力データに基づいて、上記生物の成長状況を認識する認識部と、上記認識部により認識される上記生物の成長状況に応じて、上記生物と関連付けられるエージェントの状態を決定するエージェント制御部と、上記エージェント制御部により決定される上記エージェントの状態に応じたエージェント画像を出力する出力部と、を備える情報処理装置を提供する。
【選択図】図２

Description

本発明は、情報処理装置、情報出力方法及びプログラムに関する。
従来、実世界に存在する動物や植物などの生物を擬人化して表現する営みがなされている。例えば、あるブログサイトでは、ペットの視点、又は観葉植物の視点から見た日々の出来事若しくは気分などが、ブログの記事を通じて公開されている。ブログの記事では、擬人化の手段は、主にテキストによる表現となる。これに対し、擬人化された生物へのより強い親近感あるいは楽しさをユーザ（又は読み手、聞き手など）に提供するために、下記非特許文献１は、実世界に存在する生物（例えば植物）と関連付けられる人物の外見を有するエージェントを拡張現実において表示する試みを紹介している。
擬人化したエージェントを用いて生物の状況を表現することの利点の１つは、生物そのものに仮想的に人間のようなアクションを行わせる場合と比較して、不自然でない多様な表現が可能であるという点である。また、ユーザの嗜好に応じて異なる外見を有するエージェントを用いることもできる。下記非特許文献１においては、植物の現在の状態が各種センサを用いて検出され、センサデータに基づいて認識される植物の状態に応じて、コミカルなエージェントが画面上で様々なアクションを行う。
西田 健志，大和田 茂，"萌え木：拡張現実による植物育成支援"，WISS 第14回インタラクティブシステムとソフトウェアに関するワークショップ2006，pp.23-26
しかしながら、上記非特許文献１に記載された技術では、植物の現在の状態はセンサデータに基づいて認識されるものの、植物が成長過程においてどのような状況にあるのかは認識されない。そのため、エージェントの外見や振る舞いは、植物の成長状況によっては変化することがない。しかし、特に植物を含む生物全般を育成するユーザにとって、生物が日々成長していく様子を実感することは、生物の現在の状態を知ることと同等か又はそれ以上に重要である。即ち、生物の成長状況をエージェントの外見又は振る舞いの日々の変化を通じてユーザに感じさせることにより、ユーザの育成に対する意欲を向上させ、ユーザにさらなる楽しさを提供し、又は実用的な情報として成長状況をユーザに知らせることが可能となる。
そこで、本発明は、実世界の生物と関連付けられるエージェントの外見又は振る舞いの日々の変化を通じてその生物の成長状況をユーザに呈示することのできる、新規かつ改良された情報処理装置、情報出力方法及びプログラムを提供しようとするものである。
本発明のある実施形態によれば、生物の成長状況を認識するための入力データを取得するデータ取得部と、上記データ取得部により取得される上記入力データに基づいて、上記生物の成長状況を認識する認識部と、上記認識部により認識される上記生物の成長状況に応じて、上記生物と関連付けられるエージェントの状態を決定するエージェント制御部と、上記エージェント制御部により決定される上記エージェントの状態に応じたエージェント画像を出力する出力部と、を備える情報処理装置が提供される。
上記エージェントは、例えば、拡張現実（ＡＲ：Augmented Reality）空間又は仮想現実（ＶＲ：Virtual Reality）空間内で存在が与えられる仮想的なキャラクターである。上記エージェントは、上記情報処理装置により認識される上記生物の成長状況を、多様な表現形式でユーザに呈示する。
また、上記エージェントの状態は、上記エージェントの外見、活動レベル、行動の特性、感情の特性及び発話のバリエーションのうち少なくとも１つを含んでもよい。
また、上記エージェントの状態は、上記エージェントの外見を含み、上記エージェント制御部は、上記認識部により認識される上記生物の成長状況に応じて、上記エージェントの外見を決定してもよい。
また、上記情報処理装置は、上記入力データと上記生物の成長との関係を記述する成長モデルを記憶するデータベース、をさらに備え、上記認識部は、上記入力データ及び上記成長モデルに基づいて、上記生物の成長状況を認識してもよい。
また、上記入力データは、上記生物を撮像した生物画像を含み、上記認識部は、上記生物画像を入力画像として画像認識処理により上記生物の成長状況を認識してもよい。
また、上記データ取得部は、上記生物の周囲に設置されるセンサであって、上記生物の成長に影響を与えるパラメータ又は上記生物の成長に応じて変化するパラメータを計測するセンサを用いて、上記入力データを取得してもよい。
また、上記データ取得部は、上記生物を育成するユーザにより入力される上記入力データをユーザインタフェースを介して取得してもよい。
また、上記情報処理装置は、ネットワークを介して他の情報処理装置との間で通信する通信部、をさらに備え、上記エージェント制御部は、上記通信部による通信を介して、他の情報処理装置を対象とする上記エージェントの行動を行わせてもよい。
また、上記エージェントの行動の頻度又は行動の対象となる他の情報処理装置の範囲は、上記生物の成長状況に応じた上記エージェントの活動レベルに依存して変化してもよい。
また、上記エージェントの活動レベルは、上記生物の成長の少なくとも初期から中期にかけて増大してもよい。
また、上記エージェント制御部は、テキスト又は音声により上記エージェントにユーザに向けて発話させ、上記エージェントの発話の内容は、上記生物の成長状況に応じた上記エージェントの感情の特性又は発話のバリエーションに基づいて決定されてもよい。
また、上記出力部は、上記生物を撮像した生物画像に上記エージェント画像を重畳させて出力してもよい。
また、上記生物は、植物であってもよい。
また、本発明の別の実施形態によれば、情報処理装置の処理手段を用いて生物についての情報を出力するための情報出力方法であって、生物の成長状況を認識するための入力データを取得するステップと、取得された上記入力データに基づいて、上記生物の成長状況を認識するステップと、認識された上記生物の成長状況に応じて、上記生物と関連付けられるエージェントの状態を決定するステップと、決定された上記エージェントの状態に応じたエージェント画像を出力するステップと、を含む情報出力方法が提供される。
また、本発明の別の実施形態によれば、情報処理装置を制御するコンピュータを、生物の成長状況を認識するための入力データを取得するデータ取得部と、上記データ取得部により取得される上記入力データに基づいて、上記生物の成長状況を認識する認識部と、上記認識部により認識される上記生物の成長状況に応じて、上記生物と関連付けられるエージェントの状態を決定するエージェント制御部と、上記エージェント制御部により決定される上記エージェントの状態に応じたエージェント画像を出力する出力部と、として機能させるためのプログラムが提供される。
以上説明したように、本発明に係る情報処理装置、情報出力方法及びプログラムによれば、実世界の生物と関連付けられるエージェントの外見又は振る舞いの日々の変化を通じてその生物の成長状況をユーザに呈示することができる。
一実施形態に係る情報処理システムの概要について説明するための模式図である。 一実施形態に係る情報処理装置の構成を示すブロック図である。 一実施形態に係る成長モデルの一例について説明するための第１の説明図である。 一実施形態に係る成長モデルの一例について説明するための第２の説明図である。 一実施形態に係る認識部により認識される生物の成長状況について説明するための説明図である。 一実施形態に係るエージェントデータの一例について説明するための説明図である。 現在状態に応じたエージェントデータの決定について説明するための説明図である。 エージェントのサイズに応じたエージェント画像の例を示す説明図である。 状態履歴に応じたエージェントデータの決定について説明するための説明図である。 状態遷移に応じたエージェントデータの決定について説明するための説明図である。 生物画像についての画像認識処理を利用したエージェントデータの決定について説明するための説明図である。 エージェントのタイプに応じたエージェント画像の例を示す説明図である。 生物の成長過程に沿ったエージェントの活動レベルの変化について説明するための説明図である。 一実施形態に係る出力画像の第１の例を示す説明図である。 一実施形態に係る出力画像の第２の例を示す説明図である。 一実施形態に係る出力画像の第３の例を示す説明図である。 一実施形態に係る情報出力処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る情報処理システムの概要
２．一実施形態に係る情報処理装置の構成
２−１．全体的な構成例
２−２．成長状況の認識
２−３．エージェントの状態の決定
２−４．他の情報処理装置とのコミュニケーション
２−５．エージェント画像の表示
３．一実施形態に係る情報出力処理の流れ
４．まとめ
＜１．一実施形態に係る情報処理システムの概要＞
まず、図１を用いて、本発明の一実施形態に係る情報処理システムの概要を説明する。図１は、本実施形態に係る情報処理システム１の概要を示す模式図である。図１を参照すると、情報処理システム１は、情報処理装置１００、撮像装置１０２及びセンサ群１０４を含む。撮像装置１０２及びセンサ群１０４は、生物１２が育成されている育成環境１０に設置される。ネットワーク１０８は、情報処理装置１００と撮像装置１０２及びセンサ群１０４とを接続する。
図１の例において、生物１２は、鉢植えされた植物である。ユーザは、育成環境１０内で生物１２を育成すると共に、情報処理装置１００が出力する画像を通じて、生物１２の成長状況を把握する。なお、図１の例に限定されず、生物１２は、他の種類の生物であってもよい。例えば、植物の代わりに、魚、昆虫又は小型の哺乳類などの動物の成長状況が扱われてもよい。
撮像装置１０２は、生物１２が存在する方向に向けて設置され、生物１２を撮像した入力画像を情報処理装置１００へ送信する。本明細書では、情報処理装置１００に入力される生物を撮像した画像を、生物画像という。
センサ群１０４は、育成環境１０内で、生物１２の周囲に設置される。センサ群１０４は、例えば、生物１２の成長に影響を与えるパラメータ、又は生物１２の成長に応じて変化するパラメータを計測する。そして、センサ群１０４は、計測の結果を表すセンサデータを情報処理装置１００へ送信する。センサ群１０４は、生物１２の成長に影響を与えるパラメータとして、例えば、照度、気温、湿度、並びに水及び肥料の投与量を計測してもよい。また、センサ群１０４は、生物１２の成長に応じて変化するパラメータとして、例えば、生物１２又は生物１２が植えられた鉢全体の重さ、並びに空気中の酸素濃度及び二酸化炭素濃度の変化量を計測してもよい。なお、動物の成長状況の認識を目的とする場合には、動物の成長に影響を与えるパラメータ及び動物の成長に応じて変化するパラメータとして、例えば、水及び餌の投与量、並びに動物の重さが計測されてもよい。また、水及び肥料又は餌の投与量の代わりに、投与の有無を表す二値データがパラメータとして扱われてもよい。
情報処理装置１００は、撮像装置１０２から送信される生物画像及びセンサ群１０４から送信されるセンサデータを入力データとして取得し、生物１２の成長状況を認識する。また、情報処理装置１００は、画面１０６を有する。そして、情報処理装置１００は、後に詳細に説明するように、認識した生物１２の成長状況に応じたエージェント画像を画面１０６上で表示する。情報処理装置１００は、例えば、ＰＣ（Personal Computer）に代表される汎用的な情報処理装置であってもよく、デジタル家電機器、スマートフォン又はゲーム端末などのその他の種類の情報処理装置であってもよい。
ネットワーク１０８は、情報処理装置１００と撮像装置１０２及びセンサ群１０４とを接続するための、有線通信ネットワーク又は無線通信ネットワークである。なお、図１の例に限定されず、撮像装置１０２及びセンサ群１０４は、異なる通信ネットワークを介して、情報処理装置１００と接続されてもよい。また、例えば、撮像装置１０２は情報処理装置１００と物理的に一体の装置であってもよい。ネットワーク１０８は、後に説明するように、情報処理装置１００が他の情報処理装置との間でデータ交換するためにも用いられ得る。
＜２．一実施形態に係る情報処理装置の構成＞
［２−１．全体的な構成例］
図２は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図２を参照すると、情報処理装置１００は、データ取得部１１０、データベース１２０、認識部１３０、エージェント制御部１４０、通信部１５０及び出力部１６０を備える。以下、図３〜図１６を用いて、各部についてより詳細に説明する。
［２−２．成長状況の認識］
データ取得部１１０は、生物１２の成長状況を認識するための入力データを取得する。そして、データ取得部１１０は、取得した入力データを認識部１３０及び出力部１６０へ出力する。本実施形態において、入力データには、撮像装置１０２から受信される生物画像及びセンサ群１０４から受信されるセンサデータが含まれる。さらに、データ取得部１１０は、外部の情報源から補助データを取得してもよい。補助データもまた、入力データの一部として、認識部１３０による生物１２の成長状況の認識のために使用され得る。補助データは、例えば、天気予報サービスにより提供される天候、気温及び湿度に関するデータなどを含み得る。
データベース１２０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、情報処理装置１００による処理のための様々なデータを記憶する。例えば、データベース１２０は、入力データと生物の成長との関係を記述するデータである成長モデル１２２を、生物の種類ごとに予め記憶する。また、データベース１２０は、成長状況の認識の基礎となるパラメータセットの履歴である成長ログ１３２、及び認識部１３０により認識される生物１２の状態の履歴である状態履歴１３４を記憶する。さらに、データベース１２０は、エージェントの状態の決定のために使用されるエージェントモデル１４２、及びエージェント制御部１４０により決定されるエージェントの状態を表すエージェントデータ１４４を記憶する。
認識部１３０は、データ取得部１１０により取得される入力データに基づいて、生物１２の成長状況を認識する。本明細書において、生物の成長状況とは、一連の成長過程における生物の状態及びその変化を含む概念である。より具体的には、本実施形態において、認識部１３０は、データベース１２０に記憶されている成長モデル１２２と入力データとに基づいて、生物１２の成長状況の少なくとも一部分を認識する。また、認識部１３０は、生物画像を入力画像とする画像認識処理により、生物１２の成長状況の他の部分を認識する。
（１）成長モデルに基づく成長状況の認識の例
上述したように、データベース１２０には、入力データと生物の成長との関係を記述する成長モデル１２２が、生物の種類ごとに予め記憶されている。ユーザは、例えば、生物１２の育成を開始するに際して、生物１２の種類を情報処理装置１００のユーザインタフェースを介して登録する。それにより、認識部１３０は、登録された種類に応じた成長モデル１２２を利用することができる。その代わりに、例えば、生物１２（又は生物１２が植えられた鉢など）に生物１２の種類を識別するためのタグ（例えば、バーコード若しくはＱＲコードが印刷されたタグ、又はＲＦ−ＩＤタグなど）を付し、情報処理装置１００が当該タグを読み取ることで生物１２の種類を認識してもよい。
図３及び図４は、成長モデル１２２について説明するための説明図である。
図３は、入力データに基づいて決定される３つのパラメータＰ１、Ｐ２及びＰ３が形成する状態ベクトル空間における、生物１２の成長曲線γの例を示している。入力データに基づいて決定されるパラメータとは、例えば、センサデータに含まれる上述した照度、気温、湿度、並びに水及び肥料の投与量などを含み得る。また、認識部１３０は、これらセンサデータを加工することにより他のパラメータを得ることもできる。例えば、認識部１３０は、継続的に計測される照度から１日ごとの日照時間をパラメータとして算出してもよい。また、認識部１３０は、生物１２の育成開始からの積算気温を算出し、気温の代わりに積算気温をパラメータとして用いてもよい。また、認識部１３０は、補助データに含まれる天候のデータから予測される日照時間などをパラメータとして用いてもよい。さらに、認識部１３０は、生物画像を解析することにより生物１２のサイズ又は（植物である場合の）葉の数などを認識し、その認識結果をパラメータとして用いてもよい。このようなパラメータセットは、多次元の状態ベクトル空間を形成する。図３の例では、説明の簡明さの観点から３次元空間を示しているが、実際にはより多くの次元を有する状態ベクトル空間が形成され得る。このような状態ベクトル空間において、入力データに基づいて決定されるパラメータ値のセットを時系列でプロットしていくと、図３に例示したような生物１２の成長曲線γを得ることができる。
図４においては、状態ベクトル空間がパラメータＰｘ及びパラメータＰｙにより定まる２次元平面でより簡略的に表現されている。また、状態ベクトル空間は、ボロノイ図の考え方に従って、それぞれ既知のパラメータ値のセットに対応する点Ｐ１〜Ｐ８を母点とする複数の領域に分割されている。
点Ｐ１〜Ｐ８は、例えば、参照用の個体（即ち、成長モデル１２２を獲得するために育成される生物１２と同種の個体）を予め育成し、当該参照用の個体の成長過程における特徴的な段階においてパラメータ値を記憶することにより設定される。そして、点Ｐ１〜Ｐ８の各々をそれぞれ含む複数の領域が、状態ベクトル空間内で定義される。領域間のエッジは、必ずしもボロノイ図のように母点間の二等分線に沿って形成されなくてもよい。例えば、個々の生物の種類について専門知識を有するエキスパート又は育成経験を有するユーザが、適切な領域間のエッジを定義してもよい。
生物１２の成長過程における個々の状態は、それぞれ、これら複数の領域のいずれかと対応付けられる。図４の例では、母点Ｐ１を含む領域に属するパラメータ値のセットは、状態Ｖ１と対応付けられている。同様に、母点Ｐ２〜Ｐ８をそれぞれ含む各領域に属するパラメータ値のセットは、状態Ｖ２〜Ｖ８の各々と対応付けられている。本実施形態において、成長モデル１２２は、このような状態ベクトル空間内で定義される各領域のエッジの位置、及び各領域と生物１２の状態との対応関係とを記述するデータである。
従って、認識部１３０は、生物１２の成長状況の認識に際して、入力データに基づいて決定されるパラメータ値のセットを状態ベクトル空間にプロットする。次に、認識部１３０は、生物１２に対応する成長モデル１２２を参照し、プロットした点が属する領域に対応する状態を取得する。ここで取得される状態（例えば、状態Ｖ１〜Ｖ８のいずれか）は、生物１２の現在の状態である。そして、認識部１３０は、取得した生物１２の現在の状態を状態履歴１３４に追記する。図４の例では、成長曲線γに沿って成長する生物１２の状態履歴は、状態Ｖ１、Ｖ２、Ｖ３、Ｖ５及びＶ８を順に含む。
図５は、認識部１３０により認識される生物の成長状況について説明するための説明図である。
図５の左には、入力データに基づいて決定されるパラメータ値のセットを時間軸に沿って記録した成長ログ１３２が示されている。認識部１３０は、このような成長ログ１３２の各レコードのパラメータ値のセットから、上述したように、例えば生物１２のその時点の状態を周期的に（例えば１日１回、又は１時間に１回など）認識し、認識結果を状態履歴１３４に記録する。なお、生物１２の状態の記録は必ずしも周期的に行われなくてもよく、例えばユーザによる指示が与えられた時点、又は生物１２の状態に特徴的な変化が現れた時点で、生物１２の状態が記録されてもよい。図５の右には、一例としての状態履歴１３４｛Ｖ１，Ｖ２，Ｖ３，…，Ｖｉ｝が示されている。かかる状態履歴１３４から、生物１２の成長状況として、現在の状態がＶｉであることに加えて、生物１２の直近の状態遷移が状態Ｖｉ−１から状態Ｖｉであることが認識され得る。また、各状態に対応するタイムスタンプ間の時間差（Ｔｉ−Ｔｉ−１）を計算することにより、生物１２の成長速度もまた認識され得る。
なお、ここでは生物１２の種類ごとに成長モデル１２２が定義される例について説明したが、その代わりに、生物１２の種類ごとにパラメータ値に乗算すべき重みが予め定義されてもよい。その場合には、認識部１３０は、入力データに基づいて決定されるパラメータ値に生物１２の種類に対応する重みを乗算した上で、複数の種類に共通する成長モデル１２２を参照して生物１２の成長状況を認識することができる。
（２）変形例
上述した状態ベクトル空間を用いる手法に加えて（又はその代わりに）、以下に説明するようなより単純な手法で生物１２の成長状況が認識されてもよい。
例えば、認識部１３０は、生物１２を撮像した一連の生物画像からなる動画において、ＳＩＦＴ（Scale Invariant Feature Transform）特徴点を追跡することにより、生物１２のおおよその３次元形状を検出することができる。この場合、前処理として画像のセグメンテーションを実行することにより、生物１２が映る領域のみを残してシーンの背景を除去しておくことが望ましい。そして、認識部１３０は、検出した３次元形状から生物１２の体積（例えば、特徴点セットの凸包（Convex Hull）の体積）を導出する。認識部１３０は、例えば、このように導出される生物１２の体積と生物１２の種類の平均的な体積との比較に基づいて、生物１２が成長過程のどの段階にあるかを認識することができる。
また、認識部１３０は、重量計を用いて計測される生物１２の重さを、上述した体積の代わりに用いてもよい。例えば、鉢植えされた植物の重さはユーザにより与えられる水及び肥料の量によっても変化する。しかし、ある程度の長さを超える期間にわたって重さを計測すれば、計測結果は植物の成長に伴って増加する。従って、このような単純な重さを用いることによっても、生物１２の成長状況を認識することができる。
また、データ取得部１１０は、センサ群１０４からのセンサデータに加えて（又はその代わりに）、情報処理装置１００が提供するユーザインタフェースを介して、生物１２を育成するユーザにより入力されるデータを、入力データとして取得してもよい。ユーザにより入力されるデータは、例えば、ユーザが確認した日々の気温若しくは湿度、又はユーザが投与した水及び肥料の量などのデータを含み得る。認識部１３０は、このようなユーザ入力データに基づいて生物１２の成長状況を認識することもできる。
さらに、より簡易な手法として、認識部１３０は、生物１２の育成開始からの経過時間に応じて生物１２の成長状況を推定してもよい。
［２−３．エージェントの状態の決定］
エージェント制御部１４０は、認識部１３０により認識される生物１２の成長状況に応じて、生物１２と関連付けられるエージェントの状態を決定する。本実施形態において、エージェント制御部１４０は、予めデータベース１２０に記憶されているエージェントモデル１４２に従ってエージェントの状態を決定する。そして、エージェント制御部１４０は、決定したエージェントの状態を表すエージェントデータ１４４をデータベース１２０に記憶させる。
図６は、本実施形態に係るエージェントデータの一例について説明するための説明図である。
図６を参照すると、一例としてのエージェントデータ１４４は、エージェントの外見を左右するサイズ及びタイプ、並びにエージェントの振る舞いを左右する活動レベル、行動特性、感情特性及び発話バリエーションという６つのデータ項目を有する。このうち、サイズは、エージェントのサイズを表す。タイプは、複数の候補から選択され得るエージェントの外観のタイプを表す。活動レベルは、エージェントによる特定の行動についての頻度及び範囲を左右するデータである。行動特性は、エージェントの行動の特性を確率ベクトルＡｘで表現する。感情特性は、エージェントの感情の特性を感情間の遷移確率を要素とする遷移行列Ｅｙで表現する。発話バリエーションは、エージェントのユーザに対する発話のバリエーションを定義するテキストのセットを特定する。これらデータ項目の値は、生物１２の成長状況、即ち、図５を用いて説明した生物１２の状態履歴、現在状態、状態遷移、又は成長速度などに応じて、それぞれエージェントモデル１４２に従って決定され得る。
本実施形態において、エージェントモデル１４２は、例えば、図７に例示する第１のエージェントデータ決定テーブル１４２ａ、図９に例示する第２のエージェントデータ決定テーブル１４２ｂ、及び図１０に例示する第３のエージェントデータ決定テーブル１４２ｃを含む。
図７は、生物の現在状態に応じたエージェントデータの決定について説明するための説明図である。
図７を参照すると、生物１２の状態の候補である状態Ｖ１、Ｖ２、Ｖ３、…、Ｖｉ−１、Ｖｉ、…の各々とエージェントのサイズ、活動レベル及び行動特性とを対応付ける第１のエージェントデータ決定テーブル１４２ａが示されている。エージェント制御部１４０は、このような第１のエージェントデータ決定テーブル１４２ａを参照し、認識部１３０により認識される生物１２の現在状態に応じて、エージェントのサイズ、活動レベル及び行動特性を決定する。図７の例では、生物１２の現在状態は状態Ｖｉである。従って、エージェント制御部１４０は、第１のエージェントデータ決定テーブル１４２ａにおいて状態Ｖｉに対応する行を特定し、エージェントのサイズ＝２０、活動レベル＝Ｌｖ３、行動特性＝Ａｉと決定する。
図８は、エージェントのサイズに応じたエージェント画像の例を示す説明図である。図８を参照すると、エージェント画像１４１ａ、１４１ｂ及び１４１ｃが示されている。このうち、エージェント画像１４１ａのサイズは１２、エージェント画像１４１ｂのサイズは１４、エージェント画像１４１ｃのサイズは１６である。このように、生物１２の成長が進むにつれてエージェント画像のサイズを大きくすることで、エージェントのサイズの日々の変化を通じて生物１２の成長をより強くユーザに印象付けることができる。
エージェントの活動レベルについては、後にさらに詳細に説明する。
表１は、エージェントの行動の特性を表現する確率ベクトルの一例を示している。表１において、エージェントの行動として「飛ぶ」、「停まる」及び「喋る」という３つの行動が定義されている。また、各行動について発生確率が与えられている。「飛ぶ」の発生確率は０．５である。即ち、画面上に表示される出力画像において、時間的な割合で５０％の時間にわたって、エージェントが「飛ぶ」アニメーションが表示され得る。また、「停まる」の発生確率は０．３、「喋る」の発生確率は０．２である。
Figure 2011248502
なお、エージェントの行動のバリエーションは、かかる例に限定されない。また、行動特性により発生確率が定義されない種類の行動が存在してもよい。例えば、エージェントの「眠る」という行動が、発生確率によらず時刻に依存して表示されてもよい。また、後に説明する「外出する」という行動の頻度は、行動特性が表す発生確率の代わりに、上述した活動レベルに応じて決定される。
このような確率ベクトルとしての行動特性を生物の個々の状態ごとに定義することにより、生物１２の成長が進むにつれてエージェントが徐々に多彩な行動又は成長の段階ごとに異なる行動をするといった演出をすることが可能となる。
ここで、成長モデルにおいて多数の状態の候補が定義される場合には、全ての状態に人為的に個別にデータ値を対応付けることは困難である。このような課題に対して、エージェントモデル１４２において、一部の代表的な状態にのみデータ値が対応付けられてもよい。この場合、エージェント制御部１４０は、ある現在状態について対応するデータ値が存在しなければ、エージェントモデル１４２においてデータ値が対応付けられている状態のうち、状態ベクトル空間内で現在状態に最も近い（例えば母点間のユークリッド距離が最も小さい）状態を特定する。そして、エージェント制御部１４０は、特定した状態に対応するデータ値を、現在状態に応じたエージェントデータとして採用することができる。また、状態履歴、状態遷移及び成長速度についても同様の手法が適用され得る。
図９は、生物の状態履歴に応じたエージェントデータの決定について説明するための説明図である。
図９を参照すると、生物１２の状態履歴のパターンの候補である状態Ｈ１、Ｈ２、…、Ｈｉ、…の各々とエージェントの感情特性とを対応付ける第２のエージェントデータ決定テーブル１４２ｂが示されている。エージェント制御部１４０は、このような第２のエージェントデータ決定テーブル１４２ｂを参照し、認識部１３０により認識される生物１２の状態履歴に応じて、エージェントの感情特性を決定する。図９の例では、生物１２の状態履歴は｛Ｖ１，Ｖ２，Ｖ３，…，Ｖｉ｝である。エージェント制御部１４０は、かかる状態履歴に対応する行を第２のエージェントデータ決定テーブル１４２ｂにおいて特定し、エージェントの感情特性＝Ｅｊと決定する。
表２は、エージェントの感情の特性を表現する遷移行列の一例を示している。表２において、エージェントの感情の類型として「喜び」、「驚き」、「怒り」、及びその他の感情が定義されている。また、これら感情のペアについて、感情の遷移確率が与えられている。例えば、「喜び」から「喜び」に感情が遷移する（感情が変化しない）確率は０．５である。「喜び」から「驚き」に感情が遷移する確率は０．３である。「喜び」から「怒り」に感情が遷移する確率は０．０５である。エージェント制御部１４０は、このような遷移確率に応じてエージェントの感情を変化させる。そして、エージェントは、例えば発話バリエーションにより定義される内容の候補のうち、エージェントの感情に応じた内容をユーザに向けて発話する。
Figure 2011248502
なお、エージェントの感情の類型として、表２の例に限定されず、例えば、Plutchikによりモデル化された感情環における基本感情（又は基本感情及び応用感情）（http://www.fractal.org/Bewustzijns-Besturings-Model/Nature-of-emotions.htm参照)などのその他の類型が使用されてもよい。
このような遷移行列としての感情特性を生物の状態履歴のパターンごとに定義することにより、生物１２の成長過程に応じて異なる性格をエージェントが有するといった演出をすることが可能となる。
図１０は、状態遷移に応じたエージェントデータの決定について説明するための説明図である。
図１０を参照すると、生物１２の状態遷移のパターンの各々とエージェントの発話バリエーションとを対応付ける第３のエージェントデータ決定テーブル１４２ｃが示されている。エージェント制御部１４０は、このような第３のエージェントデータ決定テーブル１４２ｃを参照し、認識部１３０により認識される生物１２の最新の状態遷移に応じて、エージェントのユーザに対する発話のバリエーションを決定する。図１０の例では、生物１２の状態遷移はＶｉ−１→Ｖｉである。エージェント制御部１４０は、かかる状態遷移に対応する行を第３のエージェントデータ決定テーブル１４２ｃにおいて特定し、発話バリエーション＝ＳＶｋと決定する。なお、個々の発話バリエーションは、例えば、エージェントの感情に応じた発話の内容を定義するテキストのセットであってよい。また、エージェントの感情とは異なるパラメータ（例えば育成環境１０の気温若しくは湿度、補助データから認識され得る天候、ユーザによる閲覧回数、又は他のエージェントとのコミュニケーションの結果など）に応じた発話の内容が定義されてもよい。
このように、生物の状態の遷移ごとに異なる発話のバリエーションを定義することにより、生物１２の状態の日々の変化に応じて多様な内容をエージェントがユーザに話しかけるといった演出をすることが可能となる。
さらに、次に説明するように、図６に例示したエージェントデータ１４４に含まれる一部のデータ項目の値は、状態履歴１３４を用いることなく、生物画像を入力画像とする画像認識処理の結果に応じて決定されてもよい。
図１１は、生物画像についての画像認識処理を利用したエージェントデータの決定について説明するための説明図である。
図１１の左上には、入力データに含まれる一例としての生物画像Ｉｍ０１が示されている。また、図１１の右上には、生物１２の種類ごとに予め記憶される３種類のサンプル画像Ｉｍ１１、Ｉｍ１２及びＩｍ１３が示されている。各サンプル画像は、生物の種類ごとの代表的な成長段階における生物の典型的な外見を映した画像である。代表的な成長段階とは、例えば、植物については、“芽が出た”段階、“茎が伸びた”段階、及び“花が咲いた”段階などであってもよい。図１１の例では、サンプル画像Ｉｍ１１は、ある植物の成長の“芽が出た”段階の画像である。サンプル画像Ｉｍ１２は、ある植物の“茎が伸びた”段階の画像である。サンプル画像Ｉｍ１３は、ある植物の“花が咲いた”段階の画像である。認識部１３０は、公知のパターンマッチングの手法に従い、生物画像Ｉｍ０１とこれらサンプル画像Ｉｍ１１、Ｉｍ１２及びＩｍ１３の各々とを照合する。そして、エージェント制御部１４０は、認識部１３０による照合の結果において最も類似度が高いと判定されるサンプル画像に対応するタイプを、エージェントのタイプとして決定する。例えば、サンプル画像Ｉｍ１１の類似度が最も高い場合には、エージェントのタイプはＴ１（“幼少期”）である。サンプル画像Ｉｍ１２の類似度が最も高い場合には、エージェントのタイプはＴ２（“少年期”）である。サンプル画像Ｉｍ１３の類似度が最も高い場合には、エージェントのタイプはＴ３（“成年期”）である。
図１２は、エージェントのタイプに応じたエージェント画像の例を示す説明図である。図１２において、エージェントのタイプＴ１、Ｔ２及びＴ３にエージェント画像１４１ｄ、１４１ｅ及び１４１ｆがそれぞれ関連付けられている。このように、生物１２の代表的な成長段階に応じてエージェントの外見を変化させることにより、例えば、生物１２の成長をユーザにより強く印象付けると共に、成長の進展に応じた達成感をユーザに与えることができる。
［２−４．他の情報処理装置とのコミュニケーション］
通信部１５０は、ネットワーク１０８を介して他の情報処理装置との間で通信する。そして、エージェント制御部１４０は、通信部１５０による通信を介して、他の情報処理装置を対象とするエージェントの行動を行わせる。本明細書では、このような他の情報処理装置を対象とするエージェントの行動を、エージェントの「外出」という。より具体的には、例えば、通信部１５０は、情報処理装置１００と同様の生物育成用アプリケーションを有する他の情報処理装置との通信セッションを確立する。そして、エージェント制御部１４０は、かかる通信セッションを介して、生物画像、エージェントデータ、及びユーザ名又はエージェント名などのその他のデータを、当該他の情報処理装置との間で交換する。このようなデータ交換は、画面上では、エージェントの訪問という形で仮想的に表現され得る。ユーザが不在である（例えばユーザがシステムにログインしていない）時間に外出したエージェントは、その後ユーザがログインした際に、訪問先で収集した他のユーザが育成している生物の生物画像をユーザに呈示する。また、ユーザがシステムにログインしている時間に他のエージェントが訪問してくると、画面上には、自装置のエージェントに加えて当該他のエージェントの画像が表示され得る。さらに、例えば、外出したエージェントと訪問先に存在する他のエージェントとが表示される画面上で、ユーザ同士のチャットなどが行われてもよい。このようなコミュニケーションにより、生物を育成するユーザ間で生物の成長状況を相互に比較することが可能となり、ユーザの育成に対する意欲が一層向上される。また、複数のユーザによるコミュニティの形成及び活性化の機会を提供することができる。
本実施形態において、上述したようなエージェントの「外出」の頻度及び「外出」の対象となる他の情報処理装置の範囲は、生物の成長状況に応じた活動レベルに応じて変化する。表３は、活動レベルに応じたエージェントの「外出」の頻度及び範囲の定義の一例を示している。表３において、エージェントの活動レベルとしてＬｖ１〜Ｌｖ５までの５つのレベルが定義されている。
例えば、最も活動レベルの低いＬｖ１においては、「外出」の頻度は「ゼロ」、範囲は「なし」である。即ち、活動レベルがＬｖ１である場合には、エージェントは外出をしない。Ｌｖ２においては、「外出」の頻度は「低」、範囲は「限定的」である。この場合、エージェントの外出の頻度は低く、エージェントの訪問先は例えば予め登録されるフレンドユーザなど一定の範囲のユーザに限定される。Ｌｖ３においては、「外出」の頻度は「低」、範囲は「オープン」である。この場合、エージェントの外出の頻度は低いものの、エージェントの訪問先は限定されない（即ち、未知のユーザも訪問先となり得る）。Ｌｖ４においては、「外出」の頻度は「高」、範囲は「限定的」である。Ｌｖ５においては、「外出」の頻度は「高」、範囲は「オープン」である。
Figure 2011248502
図１３は、生物の成長過程に沿ったエージェントの活動レベルの変化について説明するための説明図である。
図１３の例では、生物の成長の少なくとも初期から中期にかけて、エージェントの活動レベルは増大する。より具体的には、例えば、エージェントのタイプがＴ２からＴ３に変わる時点まで、エージェントの活動レベルはＬｖ１、Ｌｖ２、Ｌｖ３、Ｌｖ５という順に変化する。その後、エージェントのタイプがＴ３に変化した後、エージェントの活動レベルはＬｖ４、Ｌｖ２という順に低下する。このような活動レベルの変化は、幼少期から少年期にかけて行動の範囲が徐々に広がり、成年期に到達すると特定の知人との交友を深めるといった人間の典型的な行動のパターンに即したものである。こうした活動レベルの変化により、エージェントの擬人化の度合いがより一層高められることで、生物及びエージェントに対するユーザの親しみが向上されることが期待される。
［２−５．エージェント画像の表示］
出力部１６０は、エージェント制御部１４０による制御の下、エージェントの状態に応じたエージェント画像を生成する。そして、出力部１６０は、生成したエージェント画像をデータ取得部１１０から入力される生物画像に重畳させて画面１０６上に出力する。出力部１６０により生成されるエージェント画像におけるエージェントの外見は、例えば、エージェントデータ１４４に含まれるサイズ及びタイプによって決定される。また、出力部１６０は、エージェントの行動特性に基づいて選択されるエージェントの行動を、一連のエージェント画像によるアニメーションを用いて表現する。さらに、出力部１６０は、エージェントデータ１４４に含まれる感情特性及び発話バリエーションに基づいて選択される発話の内容を、エージェントの言葉として画面１０６上に表示する。その代わりに、出力部１６０は、選択される発話の内容を音声出力してもよい。
図１４〜図１６は、出力部１６０により出力される出力画像の例をそれぞれ示す説明図である。
図１４に例示された出力画像Ｉｍ２１に映る生物１２は、成長過程の初期の植物である。出力画像Ｉｍ２１において、生物１２の近傍にエージェント１４ａのエージェント画像が重畳されている。エージェント１４ａは、生物１２の成長状況に応じて、幼少期の人物のように擬人化されたエージェントである。
次に、図１５に例示された出力画像Ｉｍ２２に映る生物１２は、図１４の生物１２と比較して、より成長している。出力画像Ｉｍ２２において、生物１２の近傍にエージェント１４ｂのエージェント画像が重畳されている。エージェント１４ｂは、生物１２の成長状況に応じて、エージェント１４ａよりも成長した少年期の人物のように擬人化されている。ユーザは、こうしたエージェントの外見の変化から、生物１２の成長状況を楽しさと親しみとを伴って把握することができる。また、ユーザは、背が伸びてきたことを知らせるエージェントの発話内容、又は生物１２の周囲を飛び回るエージェント１４ｂの行動から、生物１２の成長状況を把握することもできる。
次に、図１６に例示された出力画像Ｉｍ２３に映る生物１２は、図１５の生物１２と比較して、さらに成長している。出力画像Ｉｍ２３において、生物１２の近傍にエージェント１４ｃのエージェント画像が重畳されている。エージェント１４ｃは、生物１２の成長状況に応じて、エージェント１４ｂよりもさらに成長した成年期の人物のように擬人化されている。図１５の場合と同様に、ユーザは、こうしたエージェントの外見の変化から生物１２の成長状況を把握することができる。また、図１６の例において、エージェントｃは、お腹が空いていることを発話によりユーザに知らせている。このような発話の内容は、例えば、データ取得部１１０により取得される入力データにおいて肥料の量が少ないような場合に選択され得る。それにより、ユーザは、生物１２の育成のために必要な実用的な情報（この場合には肥料を与えることが必要であること）を得ることができる。
なお、図示されていないものの、出力部１６０は、例えば、エージェント画像の色又はテクスチャを、生物画像から取得される生物１２の色又は表面の模様などに合わせて変化させてもよい。それにより、例えば、ユーザが複数の生物を育成している場合に、どのエージェントがどの生物と関連付けられているかをユーザが簡易に認識することができる。また、出力部１６０は、例えば、生物１２の成長速度に応じて、画面１０６上に表示するエージェント画像のアニメーションの速度又は発話の速度を変化させてもよい。
また、出力画像の例は図１４〜図１６の例に限定されない。例えば、植物である生物１２が萎れていることを認識部１３０が認識した場合に、元気の無いエージェント画像が表示されてもよい。
＜３．一実施形態に係る情報出力処理の流れ＞
図１７は、本実施形態に係る情報処理装置１００による情報出力処理の流れの一例を示すフローチャートである。
図１７を参照すると、まず、データ取得部１１０は、生物１２を撮像した生物画像を撮像装置１０２から取得する（ステップＳ１０２）。また、データ取得部１１０は、生物１２の成長状況を認識するためのセンサデータ及び補助データをセンサ群１０４から取得する（ステップＳ１０４）。そして、データ取得部１１０は、取得した生物画像、センサデータ及び補助データを、入力データとして認識部１３０及び出力部１６０へ出力する。
次に、認識部１３０は、入力データに応じて生物１２の状態ベクトルを決定する（ステップＳ１０６）。次に、認識部１３０は、データベース１２０に記憶されている生物１２に関連する成長モデル１２２を参照し、生物１２の状態ベクトルが属する状態ベクトル空間内の領域に対応する状態を、生物１２の現在状態として決定する。そして、認識部１３０は、生物１２の状態履歴１３４に新たな現在状態を追記する（ステップＳ１０８）。
次に、エージェント制御部１４０は、状態履歴１３４から認識される生物１２の成長状況に応じて、生物１２と関連付けられるエージェントの状態を表すエージェントデータ１４４を決定する（ステップＳ１１０）。また、エージェント制御部１４０は、エージェントデータ１４４の一部（例えば、タイプ）について、生物画像を入力画像とする画像認識処理の結果からデータ値を決定する（ステップＳ１１２）。
次に、出力部１６０は、エージェント制御部１４０により決定されたエージェントデータが示すエージェントの状態に応じたエージェント画像を生成し、生成したエージェント画像を出力する（ステップＳ１１４）。その結果、情報処理装置１００の画面１０６上で、生物画像にエージェント画像が重畳された出力画像が表示される（ステップＳ１１６）。
図１７に示したような情報処理装置１００による情報出力処理のうち、ステップＳ１１２までの処理は、例えば１日１回又は１時間に１回などの周期をもって周期的に行われる。一方、ステップＳ１１４以降のエージェント画像の生成及び表示は、例えば、ユーザがシステムにログインしている間のみ繰り返され得る。
＜４．まとめ＞
ここまで、図１〜図１７を用いて、本発明の一実施形態に係る情報処理装置１００について説明した。本実施形態によれば、生物画像、センサデータ又は補助データなどの入力データに基づいて生物の成長状況が認識され、当該成長状況に応じて異なる状態を有するエージェントの画像が画面上に表示される。それにより、実世界の生物と関連付けられるエージェントの外見又は振る舞いの日々の変化を通じて、その生物の成長状況をユーザに呈示することが可能となる。その結果、ユーザの育成に対する意欲を向上させ、ユーザに楽しさを提供し、又は実用的な情報として成長状況をユーザに知らせることができる。
また、本実施形態によれば、エージェントの状態は、エージェントの外見を左右するサイズ及びタイプ、並びにエージェントの振る舞いを左右する活動レベル、行動特性、感情特性及び発話バリエーションを含む。これらのようなエージェントの状態を生物の成長状況に応じて変化させることにより、例えば植物又は昆虫若しくは爬虫類などのようにユーザに向けてほとんど意思表示をしない生物を育成する場合であっても、擬人化されたエージェントを通じてユーザに親しみを与えると共に、生物が日々成長していく様子をユーザにより強く実感させることができる。
また、本実施形態によれば、生物の成長状況の認識は、予め定義される、入力データと生物の成長との関係を記述する成長モデルを参照することにより行われる。それにより、専門知識を有するエキスパート又は育成経験を有するユーザの知識が成長モデルの定義を通じて活用されるため、生物の成長状況のより的確な認識が可能となる。また、成長モデルを用いることなく、生物画像を入力画像とする画像認識処理に基づいて生物の成長状況が認識されてもよい。その場合には、より簡易なシステムの構成で本実施形態に係る情報出力の効果が享受され得る。
なお、本明細書において説明した情報処理装置１００による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、情報処理装置１００の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時に情報処理装置１００のＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１ 情報処理システム
１２ 生物
１００ 情報処理装置
１０２ 撮像装置
１０４ センサ群
１０６ 画面
１０８ ネットワーク
１１０ データ取得部
１２０ データベース
１２２ 成長モデル
１３０ 認識部
１４０ エージェント制御部
１５０ 通信部
１６０ 出力部

Claims (15)

  1. 生物の成長状況を認識するための入力データを取得するデータ取得部と；
    前記データ取得部により取得される前記入力データに基づいて、前記生物の成長状況を認識する認識部と；
    前記認識部により認識される前記生物の成長状況に応じて、前記生物と関連付けられるエージェントの状態を決定するエージェント制御部と；
    前記エージェント制御部により決定される前記エージェントの状態に応じたエージェント画像を出力する出力部と；
    を備える情報処理装置。
  2. 前記エージェントの状態は、前記エージェントの外見、活動レベル、行動の特性、感情の特性及び発話のバリエーションのうち少なくとも１つを含む、請求項１に記載の情報処理装置。
  3. 前記エージェントの状態は、前記エージェントの外見を含み、
    前記エージェント制御部は、前記認識部により認識される前記生物の成長状況に応じて、前記エージェントの外見を決定する、
    請求項２に記載の情報処理装置。
  4. 前記情報処理装置は、前記入力データと前記生物の成長との関係を記述する成長モデルを記憶するデータベース、をさらに備え、
    前記認識部は、前記入力データ及び前記成長モデルに基づいて、前記生物の成長状況を認識する、
    請求項１〜３のいずれか１項に記載の情報処理装置。
  5. 前記入力データは、前記生物を撮像した生物画像を含み、
    前記認識部は、前記生物画像を入力画像として画像認識処理により前記生物の成長状況を認識する、
    請求項１〜３のいずれか１項に記載の情報処理装置。
  6. 前記データ取得部は、前記生物の周囲に設置されるセンサであって、前記生物の成長に影響を与えるパラメータ又は前記生物の成長に応じて変化するパラメータを計測するセンサを用いて、前記入力データを取得する、請求項１に記載の情報処理装置。
  7. 前記データ取得部は、前記生物を育成するユーザにより入力される前記入力データをユーザインタフェースを介して取得する、請求項１に記載の情報処理装置。
  8. 前記情報処理装置は、ネットワークを介して他の情報処理装置との間で通信する通信部、をさらに備え、
    前記エージェント制御部は、前記通信部による通信を介して、他の情報処理装置を対象とする前記エージェントの行動を行わせる、
    請求項１に記載の情報処理装置。
  9. 前記エージェントの行動の頻度又は行動の対象となる他の情報処理装置の範囲は、前記生物の成長状況に応じた前記エージェントの活動レベルに依存して変化する、請求項８に記載の情報処理装置。
  10. 前記エージェントの活動レベルは、前記生物の成長の少なくとも初期から中期にかけて増大する、請求項９に記載の情報処理装置。
  11. 前記エージェント制御部は、テキスト又は音声により前記エージェントにユーザに向けて発話させ、
    前記エージェントの発話の内容は、前記生物の成長状況に応じた前記エージェントの感情の特性又は発話のバリエーションに基づいて決定される、
    請求項１に記載の情報処理装置。
  12. 前記出力部は、前記生物を撮像した生物画像に前記エージェント画像を重畳させて出力する、請求項１〜１１のいずれか１項に記載の情報処理装置。
  13. 前記生物は、植物である、請求項１〜１２のいずれか１項に記載の情報処理装置。
  14. 情報処理装置の処理手段を用いて生物についての情報を出力するための情報出力方法であって：
    生物の成長状況を認識するための入力データを取得するステップと；
    取得された前記入力データに基づいて、前記生物の成長状況を認識するステップと；
    認識された前記生物の成長状況に応じて、前記生物と関連付けられるエージェントの状態を決定するステップと；
    決定された前記エージェントの状態に応じたエージェント画像を出力するステップと；
    を含む情報出力方法。
  15. 情報処理装置を制御するコンピュータを：
    生物の成長状況を認識するための入力データを取得するデータ取得部と；
    前記データ取得部により取得される前記入力データに基づいて、前記生物の成長状況を認識する認識部と；
    前記認識部により認識される前記生物の成長状況に応じて、前記生物と関連付けられるエージェントの状態を決定するエージェント制御部と；
    前記エージェント制御部により決定される前記エージェントの状態に応じたエージェント画像を出力する出力部と；
    として機能させるためのプログラム。
JP2010119136A 2010-05-25 2010-05-25 情報処理装置、情報出力方法及びプログラム Withdrawn JP2011248502A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010119136A JP2011248502A (ja) 2010-05-25 2010-05-25 情報処理装置、情報出力方法及びプログラム
US13/084,648 US20110295513A1 (en) 2010-05-25 2011-04-12 Information processing apparatus, information output method, and program
CN2011101351247A CN102262735A (zh) 2010-05-25 2011-05-18 信息处理设备、信息输出方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010119136A JP2011248502A (ja) 2010-05-25 2010-05-25 情報処理装置、情報出力方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2011248502A true JP2011248502A (ja) 2011-12-08

Family

ID=45009356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010119136A Withdrawn JP2011248502A (ja) 2010-05-25 2010-05-25 情報処理装置、情報出力方法及びプログラム

Country Status (3)

Country Link
US (1) US20110295513A1 (ja)
JP (1) JP2011248502A (ja)
CN (1) CN102262735A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014060933A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 植物育成支援システム、プログラム及び植物育成支援方法
WO2017199539A1 (ja) * 2016-05-18 2017-11-23 ソニー株式会社 情報処理装置、プログラム、及び情報処理方法
JP2018083583A (ja) * 2016-11-25 2018-05-31 本田技研工業株式会社 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
WO2018100883A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2018105222A1 (ja) * 2016-12-08 2018-06-14 ソニー株式会社 表示制御装置、表示制御方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR101678A1 (es) * 2014-09-11 2017-01-04 Sony Corp Dispositivo de procesamiento de información, método de procesamiento de información y medio de almacenamiento legible por computadora no transitorio de almacenamiento de programa
CN105427086A (zh) * 2015-11-02 2016-03-23 北京金山安全软件有限公司 一种信息提示方法、装置及电子设备
CN106791628A (zh) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 基于ar虚拟现实技术和视频图像处理技术的植物生长观测系统
CN107219877A (zh) * 2017-05-31 2017-09-29 深圳前海弘稼科技有限公司 一种基质栽培供液的控制方法、控制系统及计算机装置
CN107909013B (zh) * 2017-10-31 2020-12-04 北京小米移动软件有限公司 宠物喂食的方法、装置以及宠物喂食机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5133075A (en) * 1988-12-19 1992-07-21 Hewlett-Packard Company Method of monitoring changes in attribute values of object in an object-oriented database
RU2352103C2 (ru) * 2002-09-26 2009-04-20 СиСиЭс ИНК. Система обработки информации для сбора и администрирования данных об окружающей среде, относящихся к условиям, способствующим росту или здоровью живых организмов
US20060270312A1 (en) * 2005-05-27 2006-11-30 Maddocks Richard J Interactive animated characters
WO2007029582A1 (ja) * 2005-09-07 2007-03-15 Ibm Japan, Ltd. 表示装置、出力装置、表示システム、表示方法、媒体、プログラム、及び外部ユニット

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014060933A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 植物育成支援システム、プログラム及び植物育成支援方法
WO2017199539A1 (ja) * 2016-05-18 2017-11-23 ソニー株式会社 情報処理装置、プログラム、及び情報処理方法
JP2018083583A (ja) * 2016-11-25 2018-05-31 本田技研工業株式会社 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
WO2018100883A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2018105222A1 (ja) * 2016-12-08 2018-06-14 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US11080882B2 (en) 2016-12-08 2021-08-03 Sony Corporation Display control device, display control method, and program

Also Published As

Publication number Publication date
CN102262735A (zh) 2011-11-30
US20110295513A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP2011248502A (ja) 情報処理装置、情報出力方法及びプログラム
WO2017199539A1 (ja) 情報処理装置、プログラム、及び情報処理方法
Le Roy et al. Adaptive evolution of butterfly wing shape: from morphology to behaviour
US10089772B2 (en) Context-aware digital play
US20200312003A1 (en) Virtual animal character generation from image or video data
Connor Dolphin social intelligence: complex alliance relationships in bottlenose dolphins and a consideration of selective environments for extreme brain size evolution in mammals
Olson et al. How to study adaptation (and why to do it that way)
US12073327B2 (en) Quantifying objects on plants by estimating the number of objects on plant parts such as leaves, by convolutional neural networks that provide density maps
KR102185469B1 (ko) 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
Streinzer et al. Functional morphology of the visual system and mating strategies in bumblebees (Hymenoptera, Apidae, Bombus)
Shubin Some assembly required: decoding four billion years of life, from ancient fossils to DNA
Lupton The Internet of Animals: Human-Animal Relationships in the Digital Age
Davidson Images of Animals in Rock Art
Stibbe Econarrative: Ethics, ecology, and the search for new narratives to live by
Zheng et al. Marinegpt: Unlocking secrets of ocean to the public
KR102678374B1 (ko) 디지털 트윈 기반 스마트 양식 방법, 관리 장치 및 컴퓨터 프로그램
CN111420400A (zh) Ar游戏中游戏元素的显示方法、装置、设备及介质
Turnhout Following the river Clubtail around: How games and grids transform networks of biodiversity recording and policy
KR102224370B1 (ko) 라이프로그 빅데이터 기반의 지능형 캐릭터 저작 장치 및 방법
Kumar et al. Estimating fish weight growth in aquaponic farming through machine learning techniques
Ngo et al. Automated weed detection system for bokchoy using computer vision
Stephens The Left Brain Speaks, the Right Brain Laughs
Sjöberg et al. Simulating an Ecosystem
Marchio Qualitative Analysis of the Saltwater Aquarium Trade: The Process of Specialization Promotes Science as a Leisure Activity
Hol 'Boe Zegt de Koe': Cultural Conceptualizations of Farmed Animals in the Netherlands

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130806