JP2017103598A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2017103598A
JP2017103598A JP2015234976A JP2015234976A JP2017103598A JP 2017103598 A JP2017103598 A JP 2017103598A JP 2015234976 A JP2015234976 A JP 2015234976A JP 2015234976 A JP2015234976 A JP 2015234976A JP 2017103598 A JP2017103598 A JP 2017103598A
Authority
JP
Japan
Prior art keywords
user
information processing
processing apparatus
unit
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015234976A
Other languages
English (en)
Inventor
智彦 後藤
Tomohiko Goto
智彦 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015234976A priority Critical patent/JP2017103598A/ja
Priority to PCT/JP2016/075825 priority patent/WO2017094306A1/ja
Priority to US15/777,546 priority patent/US11017431B2/en
Priority to CN201680068969.XA priority patent/CN108293171B/zh
Publication of JP2017103598A publication Critical patent/JP2017103598A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • G06Q30/0256User search
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)
  • Stereophonic System (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】所定の場所への誘導に従うモチベーションをユーザに励起させることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索する検索部と、前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御する出力制御部と、を備える、情報処理装置。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年の情報処理および情報通信技術の発展に伴い、コンピュータが広く普及し、日常生活においてもコンピュータが積極的に利用されるようになった。例えば、スマートフォン、携帯電話端末等のモバイル通信端末を用いて、外出先でネットワーク上の情報を閲覧したり、目的地までのナビゲーションサービスを享受したりすることが可能となる。
携帯電話端末を用いたナビゲーション技術に関し、例えば下記特許文献1では、ユーザに対して、周辺に存在する案内対象物の方向から案内音声が聞こえるように合成した合成音声をスピーカから出力する情報処理システムが提案されている。
特開2008−275519号公報
しかしながら、上記特許文献1では、ユーザが目的の場所までの誘導に従うか否かは、ユーザ自身に目的の場所まで行くモチベーションがあるか否かによるものであって、誘導を行った際に必ずしもユーザが目的の場所に移動するとは限らない。したがって、例えばナビゲーション技術を広告に用いた際の効果が限定的になる可能性があった。
そこで、本開示では、所定の場所への誘導に従うモチベーションをユーザに励起させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索する検索部と、前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御する出力制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索することと、前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御することと、を含む情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索する検索部と、前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御する出力制御部と、として機能させるプログラムを提案する。
以上説明したように本開示によれば、所定の場所への誘導に従うモチベーションをユーザに励起させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態による情報処理装置の外観構成の一例を示す斜視図である。 本実施形態による情報処理装置の内部構成の一例を示すブロック図である。 本実施形態によるシナリオ進行の一例を示す図である。 本実施形態による情報処理装置の動作処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理装置の概要
2.内部構成例
3.動作処理
4.まとめ
<<1.本開示の一実施形態による情報処理装置の概要>>
まず、本開示の一実施形態による情報処理装置の概要について、図1を参照して説明する。図1は、本実施形態による情報処理装置1の外観構成の一例を示す斜視図である。
図1に示すように、本実施形態による情報処理装置1は、例えばユーザの首に掛けられるネックバンド型の情報処理端末であってもよい。ネックバンド型の情報処理装置1は、首の両側から後ろ側(背中側)にかけて半周回するような形状の装着ユニット(装着部)を有し、ユーザの首にかけられることでユーザに装着される。図1では、装着ユニットをユーザが装着した状態における斜視図を示す。なお、本明細書では、上下左右前後といった方向を示す言葉を用いるが、これらの方向はユーザの直立姿勢における、ユーザの体の中心(例えば鳩尾の位置)からみた方向を示すものとする。例えば、「右」とはユーザの右半身側の方向を示し、「左」とはユーザの左半身側の方向を示し、「上」とはユーザの頭側の方向を示し、「下」とはユーザの足側の方向を示すものとする。また、「前」とはユーザの体が向く方向を示し、「後」とはユーザの背中側の方向を示すものとする。
図1に示すように、装着ユニットは、ユーザの首に密着して装着されてもよいし、離間して装着されてもよい。なお首かけ型の装着ユニットの他の形状としては、例えば首下げ紐によりユーザに装着されるペンダント型や、頭にかけるヘッドバンドの代わりに首の後ろ側を通るネックバンドを有するヘッドセット型が考えられる。
また、装着ユニットの使用形態は、人体に直接的に装着されて使用される形態であってもよい。直接的に装着されて使用される形態とは、装着ユニットと人体との間に何らの物体も存在しない状態で使用される形態を指す。例えば、図1に示す装着ユニットがユーザの首の肌に接するように装着される場合は本形態に該当する。他にも、頭部に直接的に装着されるヘッドセット型やメガネ型等の多様な形態が考えられる。若しくは、装着ユニットの使用形態は、人体に間接的に装着されて使用される形態であってもよい。間接的に装着されて使用される形態とは、装着ユニットと人体との間に何らかの物体が存在する状態で使用される形態を指す。例えば、図1に示した装着ユニットが、シャツの襟の下に隠れるように装着される等、服の上からユーザに接するように装着される場合は、本形態に該当する。他にも、首下げ紐によりユーザに装着されるペンダント型や、衣服に留め具等で留められるブローチ型等の多様な形態が考えられる。
また、本実施形態による情報処理装置1には、複数のマイクロホン12(12A、12B)、カメラ13(13A、13B)、およびスピーカ15(15A、15B)が設けられている。マイクロホン12は、ユーザ音声又は周囲の環境音等の音声データを取得する。カメラ13は、周囲の様子を撮像し撮像データを取得する。また、スピーカ15は、音声データの再生を行う。特に、スピーカ15は、仮想キャラクタ(仮想物体の一例)が現実空間に実際に存在しているかのようにユーザに知覚させるよう音像定位処理された音声信号を再生する。すなわち、本実施形態による情報処理装置1は、音声情報を空間的に配置する音像定位技術を用いて、現実空間に仮想キャラクタが本当に存在しているようユーザに知覚させる機能を有し、仮想キャラクタの音声により所定の場所への誘導情報を提示することで、当該誘導に従うモチベーションをユーザに励起させることが可能となる。
上述したように、ユーザが目的の場所までの誘導に従うにはユーザ自身のモチベーションが必要であり、必ずしもユーザが目的の場所に移動するとは限らないため、例えば広告等にナビゲーション技術を利用する場合の効果が限定的になる可能性があった。
また、誘導に従ってユーザが目的の場所まで移動したり、目的の商品を購入しても、ユーザに対するインセンティブが無いため、再訪が期待できなかった。また、ユーザが既に知っている場所への広告誘導や広告情報の提示は、ユーザにとって不要な情報と判断され、誘導に従うモチベーションが下がっていた。
そこで、本実施形態では、実世界におけるユーザの行動と連動するゲーム内で登場するキャラクタの音声によって、ゲーム内のイベントとして所定の場所へ誘導したり商品購入を促すことで、ユーザのモチベーションを自然と励起させることを可能とする。また、誘導に従ったユーザに対してイベントクリアの報酬を与えることで、継続的に情報提示を受け誘導に従う動機を与えることを可能とする。
ユーザは、実世界と連動するゲームを楽しみながら、自然に、広告の場所、店舗、および商品購入へ誘導され、ゲーム内のキャラクタからのお願いに応えるという形で広告に従った行動を行うため、既に知っている場所への誘導にも従うモチベーションが生まれる。このように、ゲームの達成感を得るといった新たなモチベーションをユーザに与えることで、広告効果を高めることができる。
なお情報処理装置1のマイクロホン12、カメラ13、およびスピーカ15の設置位置および数は、図1に示す例に限定されない。
<<2.内部構成例>>
続いて、本実施形態による情報処理装置1の内部構成について図2を参照して説明する。図2は、本実施形態による情報処理装置1の内部構成の一例を示すブロック図である。図2に示すように、情報処理装置1は、制御部10、通信部11、マイクロホン12、カメラ13、9軸センサ14、スピーカ15、位置測位部16、記憶部17、およびビーコン受信部18を有する。
(制御部10)
制御部10は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。制御部10は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部10は、図2に示すように、状態・行動検出部10a、仮想キャラクタ行動決定部10b、シナリオ更新部10c、相対位置算出部10d、音像定位部10e、音声出力制御部10f、再生履歴・フィードバック記憶制御部10g、ビーコン判定部10i、POI検索部10hとして機能する。
状態・行動検出部10aは、ユーザの状態の検出、また、検出した状態に基づく行動の認識を行い、検出した状態や認識した行動を仮想キャラクタ行動決定部10bに出力する。具体的には、状態・行動検出部10aは、位置情報、移動速度、向き、耳(または頭部)の高さといった情報を、ユーザの状態に関する情報として取得する。ユーザ状態は、検出したタイミングで一意に特定可能であって、各種センサから数値として算出・取得できる情報である。
位置情報は、例えば位置測位部16から取得される。また、移動速度は、例えば位置測位部16、9軸センサ14に含まれる加速度センサ、またはカメラ13等から取得される。向きは、9軸センサ14に含まれるジャイロセンサ、加速度センサ、および地磁気センサ、若しくはカメラ13により取得される。耳(または頭部)の高さは、ユーザの体格データ、加速度センサ、およびジャイロセンサから取得される。ユーザの体格データは、記憶部17に記憶されている。また、移動速度および向きは、カメラ13により継続的に周囲を撮像した映像における特徴点の変化をベースに動きを算出するSLAM(Simultaneous Localization and Mapping)を用いて取得してもよい。
また、状態・行動検出部10aは、前後の状態を参照することでユーザ行動を認識することも可能である。ユーザ行動としては、例えば「立ち止まっている」、「歩いている」、「走っている」、「座っている」、「寝転んでいる」、「車に乗っている」、「自転車を漕いでいる」、「キャラクタの方を向いている」等が想定される。状態・行動検出部10aは、9軸センサ14(加速度センサ、ジャイロセンサ、地磁気センサ)により検出された情報や、位置測位部16により検出された位置情報に基づいて、所定の行動認識エンジンを用いてユーザ行動を認識することも可能である。
仮想キャラクタ行動決定部10bは、状態・行動検出部10aにより認識されたユーザの状態や行動に応じて、仮想キャラクタの現実空間における仮想的な行動を決定し(シナリオの選択も含む)、決定した行動に対応する音コンテンツをシナリオから選択する。例えば、仮想キャラクタ行動決定部10bは、ユーザが会社帰りで駅から歩いている際に、広告対象の商品が販売されている店舗へユーザを誘導するといったミッションをシナリオから選択する。
また、仮想キャラクタ行動決定部10bは、ユーザの状態や行動の他、場所(ユーザの現在地)、時間、天候、または環境等に応じて仮想キャラクタの行動を決定し、シナリオを展開してもよい。
また、仮想キャラクタ行動決定部10bは、仮想キャラクタの行動が決定すると、コンテンツのシナリオとして予め記憶している音源リスト(音コンテンツ)の中で、仮想キャラクタの行動に対応する音源を選択する。
シナリオ更新部10cは、仮想キャラクタ行動決定部10bにより決定された仮想キャラクタの行動に対応する音コンテンツがシナリオから選択されることに応じて、ユーザに対応するシナリオの更新を行う。当該シナリオは、例えば記憶部17に記憶されている。シナリオ構成は、例えば複数のチャプターから成り、各チャプターは複数のミッションで構成され、ミッションを全てクリアした場合に1チャプターが終了して次のチャプターに進むようにしてもよい。
ここで、シナリオ進行の一例を、図3を参照して説明する。図3は、本実施形態によるシナリオ進行の一例を説明する図である。図3に示すように、例えば本実施形態を実行するアプリケーションを利用開始した時点で、ユーザとキャラクタが出会うミッションM1が実行される。具体的には、例えばミッションM1に対応するキャラクタの音声で自己紹介が行われる。次いで、ユーザが会社の帰り道にキャラクタと一緒に帰るミッションM2が実行される。具体的には、例えばユーザの行動認識結果に基づいて、ユーザが会社帰りに駅から自宅まで歩く際に、キャラクタも隣を歩きながら(足音で表現)、ミッションM2に対応する音声(例えば身の上話)を音声出力する。次に、ユーザが朝晩の通勤時間をキャラクタと一緒に過ごすミッションM3が実行される。具体的には、例えばユーザの行動認識結果に基づいて、ユーザの電車通勤時に、キャラクタも一緒に通勤して話し掛けるよう音声出力する。
次いで、図3に示すように、ミッションM4−1〜M4−4を含むミッションM4と、ミッションM5−1〜M5−4を含むミッションM5と、ミッションM6−1〜M6−4を含むミッションM6とが、それぞれゲーム進行状況に応じて実行される。例えば、キャラクタと過ごした時間(すなわちアプリケーション利用(起動)時間)が所定時間(例えば10時間)を超えた場合(ミッションM4−1クリア)、キャラクタからキャラクタの好きな商品(例えば「コロッケ」)が判明する(ミッションM4−2実行)。具体的には、広告対象の商品から、状況に応じて(日時、場所、天候、環境、ユーザの嗜好等)選択された商品を、キャラクタの好きな商品としてキャラクタの音声によりユーザに対して紹介される。次いで、キャラクタの音声で、当該コロッケが販売されている特定店舗への広告誘導が行われる(ミッションM4−3実行)。例えば、「そこを右に曲がった先にあるコンビニに、私の好きなコロッケが売ってるの!ちょっと付き合ってくれる?」といった音声がキャラクタの音声でユーザに出力される。これにより、たとえその場所を既に知っていたり、コロッケを買いたいモチベーションがなくても、ユーザは、ゲームイベントクリアのため、若しくは長い時間を一緒に過ごして愛着の湧いたキャラクタのお願いを聞くために、自然と誘導に従い、その場所へ移動することが期待される。次に、誘導に従ってユーザが特定店舗に移動した場合、当該店舗で広告対象商品(ここでは、キャラクタの好きな食べ物)を購入するというイベントが発生する(ミッションM4−4実行)。具体的には、例えばキャラクタの音声誘導に従って対象商品が陳列されている棚までユーザが移動すると、キャラクタの音声により「これ美味しいの!季節限定なんだよ!」と商品説明や商品のお勧めが行われ、ユーザに商品購入のモチベーションを与える。
上述したミッションM4−1〜M4−4を含むミッションM4は、広告対象の商品の一例として食べ物を広告するものであるが、本実施形態はこれに限定されず、ミッションM5−1〜M5−4を含むミッションM5のように音楽CDを広告するものであってもよいし、ミッションM6−1〜M6−4を含むミッションM6のように書籍を広告するものであってもよい。
以上、本実施形態によるシナリオの一例について説明した。
相対位置算出部10dは、仮想キャラクタ行動決定部10bにより選択された仮想キャラクタの音源(音コンテンツ)を定位する相対的な3次元位置(xy座標位置および高さ)を算出する。具体的には、相対位置算出部10dは、音源の種別(声、衣擦れ、足音等)に対応する仮想キャラクタの部位(頭部、胴体、足元等)の、ユーザに対する相対位置を算出する。また、相対位置算出部10dは、誘導する方向からキャラクタの音声が聞こえるよう相対位置を算出してもよい。例えば、コンビニに誘導する際、コンビニの方へ向かう道から、「こっちだよ!」といったキャラクタ音声が聞こえるようにすることが想定される。また、相対位置算出部10dは、ユーザの耳(または頭部)の高さおよび向きと、仮想キャラクタの身長情報等も考慮して、相対位置を算出し得る。これにより、仮想キャラクタが現実空間に存在して行動していると想定した場合に違和感の無いよう、仮想キャラクタの行動とセリフに合わせて音像定位位置(ユーザに対する定位方向および距離)を算出し、仮想キャラクタの存在をよりリアルに感じさせることができる。
音像定位部10eは、相対位置算出部10dにより算出された音コンテンツ毎の音像定位位置に、仮想キャラクタ行動決定部10bにより選択された対応する音コンテンツ(音源)を定位させるよう、音コンテンツの音声信号処理を行う。
音声出力制御部10fは、音像定位部10eにより処理された音声信号をスピーカ15で再生するよう制御する。これにより、本実施形態による情報処理装置1は、ユーザの状態・行動に応じた仮想キャラクタの動きに対応する音コンテンツを、ユーザに対して適切な位置、距離、高さで音像定位し、仮想キャラクタの動きや大きさのリアリティを提示し、現実空間における仮想キャラクタの存在感を増すことができる。
再生履歴・フィードバック記憶制御部10gは、音声出力制御部10fで音声出力された音源(音コンテンツ)を履歴(再生ログ)として記憶部17に記憶するよう制御する。また、再生履歴・フィードバック記憶制御部10gは、音声出力制御部10fで音声出力された際に、ユーザが声の方向に振り向いたり、立ち止まって話を聞いたり、頷いたり、といったユーザの反応をフィードバックとして記憶部17に記憶するよう制御する。これにより制御部10はユーザ嗜好を学習することが可能となり、上述した仮想キャラクタ行動決定部10bにおいてユーザ嗜好に応じたミッションや広告対象商品を選択することができる。
POI検索部10hは、ユーザの位置情報に基づいて、ユーザ周辺のPOI(point of interest)を検索する。具体的には、POI検索部10hは、シナリオの進捗状況に応じて、例えばユーザを特定の場所へ誘導するミッションまでシナリオが進んでいる場合に、当該特定の場所をユーザ周辺から検索し、検索結果を仮想キャラクタ行動決定部10bに出力する。
ビーコン判定部10iは、ビーコン受信部18によりビーコンを受信したか否かを判定する。例えば、ユーザが誘導に従って店舗内に移動した場合、さらに店舗内に陳列されている広告対象商品の近くに来たか否かを判断する必要があるが、室内での位置情報を取得は位置測位部16では精度が低い場合がある。そこで、本実施形態では、ビーコン受信部18により対象商品陳列棚等に設置されたビーコン端末から発信されたビーコンを受信することで、室内での位置情報を取得することを可能とする。ビーコン判定部10iは、ビーコン受信部18により所定ビーコンを受信したか否か応じて、ユーザが所定の広告対象商品の近くに来たか否かを判定し、判定結果を仮想キャラクタ行動決定部10bへ出力する。これにより、仮想キャラクタ行動決定部10bは、ユーザが所定の広告対象商品の近くに移動した場合に当該商品をユーザに勧めるミッションを選択することができる。
(通信部11)
通信部11は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部11は、例えば有線LAN(Local Area Network)、無線LAN、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
なお、上述した制御部10の各機能がスマートフォン又はクラウド上のサーバ等の外部装置に含まれる場合、通信部11は、マイクロホン12、カメラ13、および9軸センサ14により取得されたデータを外部装置へ送信する。また、例えばマイクロホン12、カメラ13、または9軸センサ14がスマートフォンや他のウェアラブル装置に設けられる場合は、通信部11は、スマートフォンや他のウェアラブル装置から各種センサデータ等を受信して制御部10に出力してもよい。また、通信部11は、制御部10により選択される音コンテンツをクラウド上のサーバ等から受信してもよい。
(マイクロホン12)
マイクロホン12は、ユーザの音声や周囲の環境を収音し、音声データとして制御部10に出力する。
(カメラ13)
カメラ13は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。例えば、カメラ13は、情報処理装置1(装着ユニット)がユーザに装着された状態で、ユーザの前方を撮像可能に設けられる。この場合、カメラ13は、例えばユーザの動きに応じた周囲の景色の動きや、店舗内でユーザが見ている方向に陳列されている商品棚等を撮像することが可能となる。また、カメラ13は、情報処理装置1がユーザに装着された状態で、ユーザの顔を撮像可能に設けられてもよい。この場合、情報処理装置1は、撮像画像からユーザの耳の位置や表情を特定することが可能となる。また、カメラ13は、デジタル信号とされた撮像画像のデータを制御部10へ出力する。
(9軸センサ14)
9軸センサ14は、3軸ジャイロセンサ(角速度(回転速度)の検出)、3軸加速度センサ(Gセンサとも称す。移動時の加速度の検出)、および3軸地磁気センサ(コンパス、絶対方向(方位)の検出)を含む。9軸センサ14は、情報処理装置1を装着したユーザの状態または周囲の状態をセンシングする機能を有する。なお9軸センサ14は、センサ部の一例であって、本実施形態はこれに限定されず、例えば速度センサまたは振動センサ等をさらに用いてもよいし、加速度センサ、ジャイロセンサ、および地磁気センサのうち少なくともいずれかを用いてもよい。また、センサ部は、情報処理装置1(装着ユニット)とは別の装置に設けられていてもよいし、複数の装置に分散して設けられていてもよい。例えば、加速度センサ、ジャイロセンサ、および地磁気センサが頭部に装着されたデバイス(例えばイヤホン)に設けられ、速度センサや振動センサがスマートフォンに設けられてもよい。9軸センサ14は、センシング結果を示す情報を制御部10へ出力する。
(スピーカ15)
スピーカ15は、音声出力制御部10fの制御に従って、音像定位部10eにより処理された音声信号を再生する。また、スピーカ15は、任意の位置/方向の複数の音源をステレオ音声に変換して出力することも可能である。
(位置測位部16)
位置測位部16は、外部からの取得信号に基づいて情報処理装置1の現在位置を検知する機能を有する。具体的には、例えば位置測位部16は、GPS(Global Positioning System)測位部により実現され、GPS衛星からの電波を受信して、情報処理装置1が存在している位置を検知し、検知した位置情報を制御部10に出力する。また、情報処理装置1は、GPSの他、例えばWi−Fi(登録商標)、Bluetooth(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
(記憶部17)
記憶部17は、上述した制御部10が各機能を実行するためのプログラムやパラメータを格納する。また、本実施形態による記憶部17は、シナリオ(各種音コンテンツ)、仮想キャラクタの設定情報(形状、身長等)、ユーザ情報(氏名、年齢、自宅、職業、職場、体格データ、趣味・嗜好等)を格納する。なお記憶部17に格納される情報の少なくとも一部は、クラウド上のサーバ等の別装置に格納されていてもよい。
(ビーコン受信部18)
ビーコン受信部18は、周辺に存在するビーコン端末から発信されたビーコンを受信し、制御部10に出力する。
以上、本実施形態による情報処理装置1の内部構成例について具体的に説明した。
<<3.動作処理>>
続いて、本実施形態による情報処理装置1の動作処理について図4を参照して説明する。図4は、本実施形態による動作処理を示すフローチャートである。
図4に示すように、まず、情報処理装置1の状態・行動検出部10aは、各種センサ(具体的には、例えばマイクロホン12、カメラ13、9軸センサ14、または位置測位部16)により検出された情報に基づいて、ユーザ状況を検出する(ステップS103)。
次に、仮想キャラクタ行動決定部10bは、状態・行動検出部10aにより検出されたユーザ状況に基づいて、イベント発生条件を満たすか否かを判断する(ステップS106)。例えば、仮想キャラクタ行動決定部10bは、ユーザの位置情報と、ゲームシナリオの進捗状況に応じて、所定イベントの発生条件を満たすか否かを判断する。例えば、所定イベントとしては、例えば広告したい商品が販売されている店舗への誘導、広告したいイベントが開催されている場所への誘導、ユーザに閲覧させたい広告情報が掲示されている場所への誘導、広告したい映画が上映されている映画館への誘導、または広告したい交通手段の乗降場所への誘導が挙げられる。さらに、広告したい音楽CDが置いてあるCDショップへの誘導(音楽の購入はダウンロードであってもよい)や、ユーザが普段と異なる経路を利用している場合にユーザに閲覧させたい広告情報が掲示されている場所への誘導等が挙げられる。
次いで、POI検索部10hは、ユーザの現在位置周辺に存在するPOIを検索する(ステップS109)。
次に、仮想キャラクタ行動決定部10bは、POI検索部10hによる検索結果に基づいて、ユーザ周辺に、仮想キャラクタ行動決定部10bにより決定されたイベントに応じた特定の場所(ここでは、例えば店舗)があるか否かを判断する(ステップS112)。なお、仮想キャラクタ行動決定部10bにより決定されたイベントに応じた特定の場所をPOI検索部10hに通知し、POI検索部10hが当該特定の場所をユーザ周辺から検索するようにしてもよい。
次いで、特定の店舗がユーザ周辺に存在した場合(ステップS112/Yes)、制御部10は、シナリオ内の所定キャラクタの音声によりユーザを当該特定の店舗へ誘導する(ステップS115)。具体的には、制御部10は、音声出力制御部10fにより、「この近くにコンビニあるから、行こうよ!」「ここを右に曲がって!」「真っ直ぐだよ」といった所定キャラクタの音声をスピーカ15から随時出力させる。この際、スピーカ15から出力されるキャラクタの音声は、コンビニがある方向から聞こえるよう制御される。具体的には、相対位置算出部10dにより、ユーザの現在位置に対する特定店舗の方向が算出され、音像定位部10eにより定位処理が行われ、音声出力制御部10fにより出力制御される。相対位置算出部10dは、さらにユーザの身長と仮想キャラクタの身長との差を考慮して、特定店舗が存在する方向であって、かつ身長差に応じた位置(ユーザより仮想キャラクタの身長が低ければ下の方、高ければ上の方)を算出する。
次に、状態・行動検出部10aは、位置測位部16により継続的に測位される位置情報から、ユーザが現在居る場所を判定する(ステップS118)。
次いで、仮想キャラクタ行動決定部10bは、状態・行動検出部10aの判定結果に基づいて、ユーザが誘導先である特定の店舗に到着したか否かを判断する(ステップS121)。到着するまで、所定キャラクタによる音声誘導がユーザの現在位置に応じて継続的に行われ得る。
続いて、ユーザが特定の店舗に到着した場合(ステップS121/Yes)、制御部10は、所定キャラクタの音声により、ユーザを店舗内へ誘導する(ステップS124)。例えば、ユーザが特定の店舗の近くに居ることが認識されると、所定キャラクタの声により「ここのコンビニだよ!入ろう!」と店内へ促す音声や、「ここで売っている○○アイスがとっても美味しいんだよ」と商品を宣伝する音声が出力される。
次に、ユーザが店舗内へ入ると、ビーコン判定部10iによりビーコン判定が行われる(ステップS127)。店舗内におけるユーザの詳細な位置情報は、GPS等を用いた位置測位部16では精度が劣る場合があるため、店舗内に設置されたビーコン端末から発信されるビーコン情報に基づいて、店舗内の位置情報を取得することを可能とする。なお店舗内へ入ったか否かも店舗入り口付近に設置されたビーコン端末から発信されるビーコンに基づいて判断してもよい。
次いで、制御部10は、ビーコン判定部10iによる判定結果に基づいて、ユーザが店舗内の特定の売り場前に移動したか否かを判断する(ステップS130)。
次に、ユーザが特定の売り場前に移動したと判断した場合(ステップS130/Yes)、制御部10は、カメラ13により撮像された撮像画像に基づいて物体認識を行い、ユーザの目の前に(ユーザの視界内に)広告対象の特定商品が存在するか否かを判断する(ステップS133、S136)。
次いで、撮像画像から特定商品が認識できた場合(ステップS136/Yes)、制御部10は、所定キャラクタの音声によりユーザに購入を促す(ステップS139)。例えば、制御部10は、所定キャラクタの音声で「これこれ!このアイスがおいしいんだよ!」と出力させる。
次に、制御部10は、ユーザが特定商品を購入したか否かの判定を行う(ステップS142)。具体的には、例えば制御部10は、ユーザがスマートフォン等を用いた電子マネー決済により特定商品を購入したという情報をスマートフォン等からリアルタイムで受信し、特定商品の購入判定を行う。
次いで、ユーザが特定の商品を購入した場合(ステップS145/Yes)、制御部10は、所定キャラクタの音声によりユーザに感謝等を通知する(ステップS148)。例えば、「ありがとう!」「早く食べよう!」「美味しい?」といった音声を出力させる。
そして、制御部10は、特定商品を購入するというミッションをクリアしたことで、ゲームシナリオを更新し、また、その報酬としてゲーム内のポイント加算、アイテム付与、ゲームを有利に進めることが可能な情報提示等を行う(ステップS151)。
以上説明した動作処理は、広告したい特定商品の店舗での購入といったイベントが実行されるが、本実施形態はこれに限定されず、例えば以下のようなイベントの実行が考えられる。
例えば制御部10は、広告したい映画が上映されている映画館に誘導し、スマートフォンを用いた割引クーポンの取得を促し、ユーザが割引クーポンを取得すると、所定キャラクタの音声により「このクーポンでこの映画が安く観られるよ!」と出力させる。
また、制御部10は、ユーザに閲覧させたい広告(ポスターや看板)の付近にユーザが近付いた場合、所定キャラクタの音声により「右のビルの上にあるポスターを見てみて!」と出力させる。
また、制御部10は、広告したい交通手段を利用しているか否かを、位置情報および加速度センサデータ等に基づいて判定し、所定キャラクタの音声により「○○鉄道に乗せてくれてありがとう!」と出力させる。
また、制御部10は、広告したいイベントがある場合に、所定キャラクタの音声でゲーム内のイベントとして「○○公園に今週土曜日の18時に来てね」と出力させる。
また、制御部10は、ユーザが遊園地に居る場合に、周辺の環境情報に基づいて、所定キャラクタの音声で「今は○○アトラクションが空いてるよ!」と出力させる。
また、制御部10は、広告したい映画がある場合に、所定キャラクタの音声でゲーム内のイベントとして「○○っていう映画が面白いみたい!割引券があるから、見に行こう!」出力する。割引券は、例えば映画館で所定の端末にスマートフォンをタッチさせることで取得可能としてもよい。
また、制御部10は、広告したいセールがあって、現在雨が降っている場合、所定キャラクタの音声で「○○ショッピングセンターで雨宿りしようよ」と誘導し、ユーザが所定のショッピングセンターに入ると「○○でセールやってるんだって!」と広告する。
また、制御部10は、広告したい情報がユーザの近くにある場合、所定キャラクタの音声で「目の前のビルに、今度発売される私たちの○○っていうCDのポスターがあるんだよ」と出力させたり、対象のポスターを見ている際に「ポスター見てくれた?私たちがCMしてる○○っていうお菓子だよ」と出力させる。
また、制御部10は、広告したい交通手段や場所がある場合、所定キャラクタの音声でゲーム内のイベントとして「○○渓谷のトロッコ列車に乗りたい!」と出力させ、ユーザが○○渓谷のトロッコ列車に乗ると「いい景色だね!連れてきてくれてありがとう!」と出力させる。
また、制御部10は、広告したい観光地イベントがある場合、所定キャラクタの音声で「今日は私がこの町を案内するね」と出力し、様々な見所や土産店に誘導する。
また、制御部10は、広告したい書籍がある場合、所定キャラクタの音声でゲーム内のイベントとして「本屋に行きたい」と出力させ、ユーザが対処の書店に行くと「星座の本が欲しいな」と出力させる。
また、制御部10は、広告したい商品がユーザが普段通らない経路にある場合、所定キャラクタの音声で「今日はちょっと寄り道して帰らない?」と出力させ、ユーザがいつもは通らない所定の商店街を通ると、「ここのケーキ、すっごくおいしいんだって!」と出力させる。
また、制御部10は、広告したい音楽がある場合、所定キャラクタの音声で「○○っていうアーティストの△△っていう曲が好きなの。いっしょに聴かない?」と促し、ユーザが音楽配信サービスで対象の音楽を購入すると「ありがとう!じゃ、一緒に聴こう!」と出力させる。
また、制御部10は、広告したいプリクラ機がある場合、所定キャラクタの音声で「一緒にプリクラを撮ろう」と促し、特定の機種のプリクラ機のある店まで誘導する。当該特定の機種のプリクラ機は、ユーザが装着する情報処理装置1と通信し、所定キャラクタも一緒に写るプリクラを撮影することが可能である。これによりいつもは音声だけの仮想キャラクタの姿を見ることができる。
また、制御部10は、広告対象商品をユーザが購入した場合、所定キャラクタの音声で「あ、買ってくれたんだ!ありがとう」と出力し、キャラクタとの仲の良さを示すポイントを加算する。
<<4.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、所定の場所への誘導に従うモチベーションをユーザに励起させることを可能とする。
また、音声により仮想キャラクタの存在をユーザに感じさせ、ユーザは仮想キャラクタの音声に対して頷いたり振り向いたり、移動したり、商品を買ったりといった行動で応じることができるので、不自然な行動を取ることなく、現実空間と連動するゲームを楽しむことができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置1に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本実施形態による情報処理装置1は、スピーカ15が設けられたヘッドホン(またはイヤホン、アイウェア等)と、主に制御部10の機能を有するモバイル端末(スマートフォン等)を含む情報処理システムにより実現されていてもよい。この際、モバイル端末は、音像定位処理した音声信号をヘッドホンに送信して再生させる。また、スピーカ15は、ユーザに装着される装置に搭載される場合に限定されず、例えばユーザの周囲に設置された環境スピーカにより実現されてもよく、この場合環境スピーカは、ユーザの周囲の任意の位置に音像定位することが可能である。
また、上述した実施形態では、音声のみでの仮想キャラクタの存在感を提示しているが、本実施形態はこれに限定されず、例えば情報処理装置1がアイウェア型の場合、本実施形態による音像定位と、仮想キャラクタ映像の現実空間への重畳表示を組み合わせて、さらに仮想キャラクタにリアリティを持たせることも可能である。
また、ゲームシナリオは予め設定されたものに限定されず、適宜ユーザがタスク登録できるようにしてもよい。例えば、所定の曜日の所定時間にゴミ捨てを行うというタスクを登録し、当該タスクを実行した際にゴミ捨て場で所定のキャラクタと会えるようにしてもよい。
また、上述した実施形態では、POI検索や案内音声データの生成を情報処理装置1で行っているが、本実施形態はこれに限定されず、情報処理装置1が通信部11を介してデータの送受信が可能なサーバ側で、ユーザ周辺情報の検索(具体的にはPOI検索)や、検索した特定場所への案内音声データの生成を行うようにしてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索する検索部と、
前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御する出力制御部と、
を備える、情報処理装置。
(2)
前記検索部は、広告対象に応じた場所を検索する、前記(1)に記載の情報処理装置。
(3)
前記所定のポイントは、さらにユーザ周辺環境に応じて特定される、前記(1)または(2)に記載の情報処理装置。
(4)
前記情報処理装置は、
音像定位により現実空間に存在するよう知覚させる仮想物体である前記キャラクタに関する情報と、前記ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記キャラクタの音源の相対的な定位位置を算出する算出部と、
前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、
をさらに備える、前記(2)または(3)に記載の情報処理装置。
(5)
前記音像定位部は、前記キャラクタによる音声が、前記検索した所定のポイントが存在する方向から聞こえるよう処理する、前記(4)に記載の情報処理装置。
(6)
前記情報処理装置は、
前記ユーザの行動または時間経過に応じてシナリオを更新する更新部をさらに備える、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記情報処理装置は、ビーコン端末から発信されたビーコンを受信するビーコン受信部と、
前記ビーコン受信部により受信した前記ビーコンに基づいて前記広告対象の付近にユーザが移動したか否かを判定する判定部と、
をさらに備える、前記(2)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記情報処理装置は、ユーザの目線方向を撮像した撮像画像に基づいて、前記広告対象がユーザの視界内にあるか否かを判定する、前記(2)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記音像の相対的な定位位置は、高さを含む3次元位置である、前記(4)に記載の情報処理装置。
(10)
プロセッサが、
ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索することと、
前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御することと、
を含む、情報処理方法。
(11)
コンピュータを、
ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索する検索部と、
前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御する出力制御部と、
として機能させる、プログラム。
1 情報処理装置
10 制御部
10a 状態・行動検出部
10b 仮想キャラクタ行動決定部
10c シナリオ更新部
10d 相対位置算出部
10e 音像定位部
10f 音声出力制御部
10g 再生履歴・フィードバック記憶制御部
10h POI検索部
10i ビーコン判定部
11 通信部
12 マイクロホン
13 カメラ
14 9軸センサ
15 スピーカ
16 位置測位部
17 記憶部
18 ビーコン受信部

Claims (11)

  1. ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索する検索部と、
    前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御する出力制御部と、
    を備える、情報処理装置。
  2. 前記検索部は、広告対象に応じた場所を検索する、請求項1に記載の情報処理装置。
  3. 前記所定のポイントは、さらにユーザ周辺環境に応じて特定される、請求項1に記載の情報処理装置。
  4. 前記情報処理装置は、
    音像定位により現実空間に存在するよう知覚させる仮想物体である前記キャラクタに関する情報と、前記ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記キャラクタの音源の相対的な定位位置を算出する算出部と、
    前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、
    をさらに備える、請求項2に記載の情報処理装置。
  5. 前記音像定位部は、前記キャラクタによる音声が、前記検索した所定のポイントが存在する方向から聞こえるよう処理する、請求項4に記載の情報処理装置。
  6. 前記情報処理装置は、
    前記ユーザの行動または時間経過に応じてシナリオを更新する更新部をさらに備える、請求項2に記載の情報処理装置。
  7. 前記情報処理装置は、ビーコン端末から発信されたビーコンを受信するビーコン受信部と、
    前記ビーコン受信部により受信した前記ビーコンに基づいて前記広告対象の付近にユーザが移動したか否かを判定する判定部と、
    をさらに備える、請求項2に記載の情報処理装置。
  8. 前記情報処理装置は、ユーザの目線方向を撮像した撮像画像に基づいて、前記広告対象がユーザの視界内にあるか否かを判定する、請求項2に記載の情報処理装置。
  9. 前記音像の相対的な定位位置は、高さを含む3次元位置である、請求項4に記載の情報処理装置。
  10. プロセッサが、
    ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索することと、
    前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御することと、
    を含む、情報処理方法。
  11. コンピュータを、
    ユーザの位置情報に基づいて、ユーザ状況およびシナリオ進捗状況に応じて特定される所定のポイントをユーザの周辺から検索する検索部と、
    前記シナリオ進捗状況に対応するキャラクタによる音声で、前記検索した所定のポイントへ誘導するよう制御する出力制御部と、
    として機能させる、プログラム。
JP2015234976A 2015-12-01 2015-12-01 情報処理装置、情報処理方法、およびプログラム Pending JP2017103598A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015234976A JP2017103598A (ja) 2015-12-01 2015-12-01 情報処理装置、情報処理方法、およびプログラム
PCT/JP2016/075825 WO2017094306A1 (ja) 2015-12-01 2016-09-02 情報処理装置、情報処理方法、およびプログラム
US15/777,546 US11017431B2 (en) 2015-12-01 2016-09-02 Information processing apparatus and information processing method
CN201680068969.XA CN108293171B (zh) 2015-12-01 2016-09-02 信息处理设备、信息处理方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015234976A JP2017103598A (ja) 2015-12-01 2015-12-01 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2017103598A true JP2017103598A (ja) 2017-06-08

Family

ID=58796920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015234976A Pending JP2017103598A (ja) 2015-12-01 2015-12-01 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11017431B2 (ja)
JP (1) JP2017103598A (ja)
CN (1) CN108293171B (ja)
WO (1) WO2017094306A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6341526B1 (ja) * 2018-01-16 2018-06-13 新生環境株式会社 自己行動記録カメラ
JP2019169052A (ja) * 2018-03-26 2019-10-03 株式会社タイトー キャラクタ演出システム、キャラクタ演出プログラム
JP2020035405A (ja) * 2018-08-31 2020-03-05 株式会社オトングラス 音声出力装置
JP2020085783A (ja) * 2018-11-29 2020-06-04 一般財団法人生産技術研究奨励会 歩行者用測位装置、歩行者用測位システム及び歩行者用測位方法
WO2021015026A1 (ja) * 2019-07-24 2021-01-28 株式会社Jvcケンウッド ネックバンド型スピーカ
WO2021125081A1 (ja) * 2019-12-19 2021-06-24 日本電気株式会社 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体
JP2021131423A (ja) * 2020-02-18 2021-09-09 ヤマハ株式会社 音声再生装置、音声再生方法および音声再生プログラム
US11252526B2 (en) 2020-03-25 2022-02-15 Yamaha Corporation Acoustic device and head-related transfer function selecting method
US11337025B2 (en) 2018-05-30 2022-05-17 Sony Ineractive Entertainment Inc. Information processing apparatus and sound generation method
DE102023107964A1 (de) 2022-03-30 2023-10-05 Jtekt Corporation Informationsbereitstellungssystem, Informationsbereitstellungsverfahren und Informationsbereitstellungsprogramm
JP7484290B2 (ja) 2020-03-25 2024-05-16 ヤマハ株式会社 移動体位置推定装置および移動体位置推定方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10973440B1 (en) * 2014-10-26 2021-04-13 David Martin Mobile control using gait velocity
US11120465B1 (en) * 2017-01-20 2021-09-14 Walgreen Co. Omni-channel digital coupon clipping and redemption
JP7419666B2 (ja) * 2019-04-03 2024-01-23 ヤマハ株式会社 音信号処理装置および音信号処理方法
USD933633S1 (en) * 2019-12-20 2021-10-19 Yamaha Corporation Earphone
CN111158477B (zh) * 2019-12-25 2024-05-17 北京金山安全软件有限公司 一种可穿戴设备的工作方法、控制方法、可穿戴设备及服务器
US11323664B1 (en) * 2021-01-08 2022-05-03 I Can See You Inc., The New Technology Wearable electronic device for providing audio output and capturing visual media
CN115086861B (zh) * 2022-07-20 2023-07-28 歌尔股份有限公司 音频处理方法、装置、设备及计算机可读存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000193473A (ja) 1998-12-25 2000-07-14 Aisin Aw Co Ltd ナビゲ―ション装置及び記憶媒体
JP2002216026A (ja) * 2000-11-17 2002-08-02 Sony Corp 情報通信システム、エージェント端末、情報配信システム、エージェントプログラムが記憶された記憶媒体、エージェントアクセスプログラムが記憶された記憶媒体、専用処理プログラムが記憶された記憶媒体、エージェントプログラム、エージェントアクセスプログラム、及び、専用処理プログラム
JP2003134510A (ja) 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
JP2003204481A (ja) 2001-08-16 2003-07-18 Space Tag Inc 画像情報配信システム
JP2005055666A (ja) 2003-08-04 2005-03-03 Sony Corp 音声処理装置
JP2006010509A (ja) 2004-06-25 2006-01-12 Mitsubishi Electric Corp ナビゲーションシステム
JPWO2006075606A1 (ja) * 2005-01-13 2008-06-12 パイオニア株式会社 音案内装置、音案内方法および音案内プログラム
TW200827199A (en) 2006-12-22 2008-07-01 Leadtek Research Inc Electronic device for vehicle and method for operating the same
JP4315211B2 (ja) 2007-05-01 2009-08-19 ソニー株式会社 携帯情報端末及び制御方法、並びにプログラム
US7585252B2 (en) 2007-05-10 2009-09-08 Sony Ericsson Mobile Communications Ab Personal training device using multi-dimensional spatial audio
US8416247B2 (en) * 2007-10-09 2013-04-09 Sony Computer Entertaiment America Inc. Increasing the number of advertising impressions in an interactive environment
US9202171B2 (en) * 2008-11-11 2015-12-01 Digideal Corporation Virtual game assistant based on artificial intelligence
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
JP5714855B2 (ja) 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
JP5545155B2 (ja) * 2010-09-30 2014-07-09 大日本印刷株式会社 サーバ装置及びコンテンツ情報提供プログラム
US9183588B2 (en) * 2011-01-20 2015-11-10 Ebay, Inc. Three dimensional proximity recommendation system
US9063703B2 (en) 2011-12-16 2015-06-23 Microsoft Technology Licensing, Llc Techniques for dynamic voice menus
CN103674035A (zh) 2012-09-25 2014-03-26 环达电脑(上海)有限公司 检索任意区域内兴趣点的导航装置及其控制方法
US9304736B1 (en) * 2013-04-18 2016-04-05 Amazon Technologies, Inc. Voice controlled assistant with non-verbal code entry
PL3036930T3 (pl) * 2013-08-19 2020-08-10 Estimote Polska Sp. Z O.O. Sposób dystrybucji powiadomień
CN103686613A (zh) 2013-12-31 2014-03-26 何海英 一种基于无线信标的智能信息推送系统和方法
CN103886484A (zh) * 2014-03-14 2014-06-25 河海大学常州校区 一种用于大型商业街区的导购系统
US10140667B2 (en) * 2014-05-16 2018-11-27 International Business Machines Corporation Social customer relationship management opportunity templating
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US20170109796A1 (en) * 2015-10-14 2017-04-20 Facebook, Inc. Presenting content selected by an online system via content presented by an application along with additional content presented by the application
US10334283B2 (en) * 2017-02-09 2019-06-25 Nanning Fugui Precision Industrial Co., Ltd. Interactive system for virtual cinema and method

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019124816A (ja) * 2018-01-16 2019-07-25 新生環境株式会社 自己行動記録カメラ
JP6341526B1 (ja) * 2018-01-16 2018-06-13 新生環境株式会社 自己行動記録カメラ
JP2019169052A (ja) * 2018-03-26 2019-10-03 株式会社タイトー キャラクタ演出システム、キャラクタ演出プログラム
US11337025B2 (en) 2018-05-30 2022-05-17 Sony Ineractive Entertainment Inc. Information processing apparatus and sound generation method
JP2020035405A (ja) * 2018-08-31 2020-03-05 株式会社オトングラス 音声出力装置
JP7207694B2 (ja) 2018-08-31 2023-01-18 株式会社オトングラス 音声出力装置
JP2020085783A (ja) * 2018-11-29 2020-06-04 一般財団法人生産技術研究奨励会 歩行者用測位装置、歩行者用測位システム及び歩行者用測位方法
JP2021022757A (ja) * 2019-07-24 2021-02-18 株式会社Jvcケンウッド ネックバンド型スピーカ
WO2021015026A1 (ja) * 2019-07-24 2021-01-28 株式会社Jvcケンウッド ネックバンド型スピーカ
WO2021125081A1 (ja) * 2019-12-19 2021-06-24 日本電気株式会社 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体
JPWO2021125081A1 (ja) * 2019-12-19 2021-06-24
JP7384222B2 (ja) 2019-12-19 2023-11-21 日本電気株式会社 情報処理装置、制御方法及びプログラム
JP2021131423A (ja) * 2020-02-18 2021-09-09 ヤマハ株式会社 音声再生装置、音声再生方法および音声再生プログラム
US11322129B2 (en) 2020-02-18 2022-05-03 Yamaha Corporation Sound reproducing apparatus, sound reproducing method, and sound reproducing system
US11252526B2 (en) 2020-03-25 2022-02-15 Yamaha Corporation Acoustic device and head-related transfer function selecting method
JP7484290B2 (ja) 2020-03-25 2024-05-16 ヤマハ株式会社 移動体位置推定装置および移動体位置推定方法
DE102023107964A1 (de) 2022-03-30 2023-10-05 Jtekt Corporation Informationsbereitstellungssystem, Informationsbereitstellungsverfahren und Informationsbereitstellungsprogramm

Also Published As

Publication number Publication date
CN108293171A (zh) 2018-07-17
US20180341982A1 (en) 2018-11-29
CN108293171B (zh) 2020-12-04
US11017431B2 (en) 2021-05-25
WO2017094306A1 (ja) 2017-06-08

Similar Documents

Publication Publication Date Title
WO2017094306A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11128972B2 (en) Information processing device, information processing method, and program
US10915291B2 (en) User-interfaces for audio-augmented-reality
US10360907B2 (en) Smart necklace with stereo vision and onboard processing
US9915545B2 (en) Smart necklace with stereo vision and onboard processing
US9629774B2 (en) Smart necklace with stereo vision and onboard processing
US11343613B2 (en) Prioritizing delivery of location-based personal audio
US11638869B2 (en) Information processing device and information processing method
JPWO2019225192A1 (ja) 情報処理装置及び情報処理方法
JP6263098B2 (ja) 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
CN110999327B (zh) 信息处理装置、信息处理方法以及程序
WO2019069529A1 (ja) 情報処理装置、情報処理方法、および、プログラム
JP2022110509A (ja) 情報処理装置及びプログラム
US20240013256A1 (en) Information providing apparatus, information providing system, information providing method, and non-transitory computer readable medium
JP2012064138A (ja) 情報提供システム
JP6559096B2 (ja) 情報出力システム及び情報出力方法
JP2019075805A (ja) 移動手段においてコンテンツを提供するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、コンテンツ提供装置、およびコンテンツ提供システム
US20240029109A1 (en) Information providing apparatus, information providing system, information providing method, and non-transitory computer readable medium
EP4080328A1 (en) Method involving digital avatar