JP2012216167A - 環境地図生成装置及びプログラム - Google Patents

環境地図生成装置及びプログラム Download PDF

Info

Publication number
JP2012216167A
JP2012216167A JP2011178625A JP2011178625A JP2012216167A JP 2012216167 A JP2012216167 A JP 2012216167A JP 2011178625 A JP2011178625 A JP 2011178625A JP 2011178625 A JP2011178625 A JP 2011178625A JP 2012216167 A JP2012216167 A JP 2012216167A
Authority
JP
Japan
Prior art keywords
data
tag
portable information
storage unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011178625A
Other languages
English (en)
Inventor
Yoshihiko Murakawa
賀彦 村川
Hisatoshi Yamaoka
久俊 山岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011178625A priority Critical patent/JP2012216167A/ja
Publication of JP2012216167A publication Critical patent/JP2012216167A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】環境地図生成装置及びプログラムにおいて、携帯情報端末から入力される情報に基づいて信頼性及び尤度を安定に保つことが可能な情報を取得して環境地図を生成することを目的とする。
【解決手段】記憶部と、複数の携帯情報端末からこれらの複数の携帯情報端末の推定位置と推定状態のデータを取得して前記記憶部に格納する処理部と、記憶部に格納されたデータに基づいて複数の携帯情報端末が移動する環境の環境地図を生成する生成部を備えるように構成する。
【選択図】図2

Description

本発明は、環境地図生成装置及びプログラムに関する。
オフィス等の室内空間において、室内の場所毎に気温、騒音、照明の明るさ等の環境状況を把握することは、室内の空調、照明等の設備機器を効率良く制御する上で重要である。更に、気温、騒音等に限らず、把握できる環境情報の種類が増えれば、室内の状況がより詳細に把握でき、きめの細かい設備制御を行ったり、危険、或いは、異常個所の早期検知、レイアウト変更支援等にも役立つ。しかし、室内空間の隅々の多様な環境状況を、場所毎に詳細に把握しようとすると、以下の問題が生じる。
第1に、室内の状況を細かく把握するためには、室内のいたるところに様々な種類のセンサを設置しなくてはならない。このため、多くのセンサ自体のコスト及びこれらのセンサを設置するための作業コストが高くなるという問題が生じる。
第2に、環境状況には、センサでは判断できない種類の情報がある。例えば、床にダンボールが置かれており、これが歩行する人がつまずきやすそうで危ないといった情報は、センサによって単純に判断するのが難しい種類の情報であり、人間にしか判断できない場合がある。又、例えば騒音レベルの判断では、室内で普段から騒音を発している作業机の付近では多少の騒音も気にならないが、デスクワーク中心の普段静かな場所ではわずかな騒音でもうるさいと感じることがある。このように、人間の主観によって判断される室内の環境情報も存在しているが、これらの環境情報をセンサが検知することは難しい。
そこで、センサではなく、室内にいる人からアンケートにより意見を集めることで、室内の環境情報を取得する環境設備制御システムも提案されている(例えば、特許文献1)。この提案されている環境設備制御システムでは、室内にいる人の端末に、空調温度に関するアンケートを配信し、各人からの回答を収集して分析することで設備制御を効率的に行なう。この提案されている環境設備制御システムは、室内にセンサを設置することなく、人間の主観をくみ取った形で室内の温度情報を把握できるため、上記の問題の一部は抑制される。
しかし、室内の情報には、温度、騒音等の予め想定した属性以外の情報も含まれる。特に、人間が感じる主観情報は多様に存在し、予想することが難しい。このため、システム運用者側が予めフォーマットを定めたアンケートでは、各人から得られる回答の選択肢が限られてしまい、取得できる室内の情報は多様性に乏しい。アンケートの回答方式を自由入力方式にすることも考えられるが、文章で答えると回答の制限はなくなるものの、逆に自由度が高すぎて個々の回答内容が散逸し、特定の属性について集計処理を行なう作業も簡単には行えず、回答から取得する環境情報の信頼性及び尤度を安定に保つことが難しい。
特開2004−205202号公報 特開2008−226212号公報 特開2001−306604号公報 特開2010−97348号公報 特開2002−197252号公報
藤田迪他、「Gaussian Mixture Modelを用いた無線LAN位置推定手法」、マルチメディア、分散、協調とモバイル(DICOMO)シンポジウム、pp.944‐952、2010 森俊二他、「画像認識の基礎[II]-特徴抽出,エッジ検出,テクスチャー解析」、オーム社、pp.102-121、1990
従来の環境地図生成方法のうち、環境に設置されたセンサを用いる方法では、センサの設置にコストがかかると共に、センサで検知可能な環境情報が限られているという問題があった。一方、センサを用いずに室内にいる人からアンケートにより意見を集める方法では、予めフォーマットを定めたアンケートでは得られる回答の選択肢が限られてしまい取得できる室内の情報が多様性に乏しく、アンケートの回答方式を自由入力方式にすると自由度が高すぎて個々の回答内容が散逸すると共に、特定の属性の環境情報について集計処理を行なうような作業を簡単に行えず、回答から取得する環境情報の信頼性及び尤度を安定に保つことが難しいという問題があった。
そこで、本発明は、携帯情報端末から入力される情報に基づいて信頼性及び尤度を安定に保つことが可能な情報を取得して環境地図を生成することができる環境地図生成装置及びプログラムを提供することを目的とする。
本発明の一観点によれば、記憶部と、複数の携帯情報端末から前記複数の携帯情報端末の推定位置と推定状態のデータを取得し、前記取得したデータを前記記憶部に格納する処理部と、前記記憶部に格納された前記データに基づいて前記複数の携帯情報端末が移動する環境の環境地図を生成する生成部を備えたことを特徴とする環境地図生成装置が提供される。
本発明の一観点によれば、コンピュータに環境地図生成処理を行わせるプログラムであって、複数の携帯情報端末から前記複数の携帯情報端末の推定位置と推定状態のデータを取得し、前記取得したデータを記憶部に格納する処理手順と、前記記憶部に格納された前記データに基づいて前記複数の携帯情報端末が移動する環境の環境地図を生成する生成手順を前記コンピュータに実行させることを特徴とするプログラム。が提供される。
開示の環境地図生成装置及びプログラムによれば、携帯情報端末から入力される情報に基づいて信頼性及び尤度を安定に保つことが可能な情報を取得して環境地図を生成することができる。
本発明の一実施例における環境地図生成装置のハードウェア構成の一例を示すブロック図である。 環境地図生成装置の一例を示す機能ブロック図である。 携帯情報端末の一例を示す図である。 投票データの一例を示す図である。 投票されたタグの分布の足し合わせ計算の一例を説明する図である。 ある事象の尤度を室内の地図上に重ねて描画した環境地図の一例を示す図である。 場所に応じた表示タグの切り替えを説明する図である。 各種センサによって取得できるイベントと、イベントに対応して提示するタグの一例を示す図である。 状態とタグの対応付けの一例を説明する図である。 状態及びタグ対応付けデータの一例を説明する図である。 利用者の状態に応じたタグの提示処理の一例を説明するフローチャートである。 環境地図生成処理の一例を説明するフローチャートである。 本発明の他の実施例における携帯情報端末及び環境地図生成装置の一例を示す機能ブロック図である。 携帯情報端末及び環境地図生成装置の処理の一例を説明するフローチャートである。 マッピング部の処理の一例を説明する図である。 意味付けを行う行動とキーワードの組み合わせの一例を説明する図である。 エッジ検出処理の一例を説明する図である。
開示の環境地図生成装置及びプログラムでは、複数の携帯情報端末からこれら複数の携帯情報端末の推定位置と推定状態のデータを取得して記憶部に格納し、記憶部に格納されたデータに基づいて複数の携帯情報端末が移動する環境の環境地図を生成する。
複数の携帯情報端末からの取得した推定位置と推定状態のデータに応じて、複数の携帯情報端末の各々の環境状態を表現する複数のタグを当該携帯情報端末に送信して投票画面上に提示すると共に、当該携帯情報端末における選択で投票されたタグを投票時刻と共に受信して、前記投票されたタグ、前記投票時刻及び前記推定位置を含むタグ投票データを記憶部に格納するようにしても良い。
又、推定状態のデータは、複数の携帯情報端末で検出された発話情報と動作情報を含んでも良く、環境地図の生成は、指定された動作とキーワードで記憶部内のデータを検索して動作と発話情報に含まれるキーワードの組み合わせのデータを抽出し、抽出された動作とキーワードの組み合わせのデータを位置情報に従って所定の地図上にプロットし、所定の地図上にプロットされた動作とキーワードの組み合わせのデータの出現回数が閾値を超える領域を切り出し、切り出した領域にその意味付けを行い環境地図を生成するようにしても良い。
以下に、開示の環境地図生成装置及びプログラムの各実施例を図面と共に説明する。
図1は、本発明の一実施例における環境地図生成装置のハードウェア構成の一例を示すブロック図である。図1に示すコンピュータシステム1は、環境地図生成装置の一例である。コンピュータシステム1は、CPU(Central Processing Unit)11、記憶部12、入力部13、表示部14、及び通信部15がバス16を介して接続された構成を有する。尚、CPU11と接続するコンピュータシステム1の他の部分は、バス16を介さずに直接CPU11に接続されても良いことは言うまでもない。
CPU11は、記憶部12に格納されたプログラムを実行することによりコンピュータシステム1全体を制御する制御部の一例である。CPU11の制御には、後述する環境地図生成処理に関連する制御が含まれる。記憶部12は、半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記録媒体等で形成可能であり、上記のプログラムや各種データを格納すると共に、CPU11が実行する演算の中間結果や演算結果等を一時的に格納する一時メモリとしても機能する。通信部15は、後述する携帯情報端末と無線通信可能な周知の構成を有し、記憶部12に格納するプログラムやデータを無線ネットワーク(図示せず)から受信することもできる。
入力部13は、例えばキーボードで形成されており、コンピュータシステム1に情報又は指示を入力するのに用いられる。表示部14は、利用者に操作等を促すメッセージ、各種操作メニュー、及び処理結果等を表示するのに用いられる。入力部13及び表示部14は、タッチパネル(Touch-Screen Panel)のように入力部と表示部の両方の機能を有する入出力装置で形成しても良い。
CPU11は、記憶部12に格納されたプログラムを実行することにより、コンピュータシステム1を環境地図生成装置として機能させる。プログラムは、CPU11に少なくとも環境地図生成処理の手順を実行させるものであっても良く、記憶部12を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていても良い。つまり、CPU11に環境地図生成処理を実行させるプログラムは、CPU11にコンピュータシステム1の情報処理の手順を実行させるプログラムに対してプラグイン可能な構成としても良い。
図3と共に後述する携帯情報端末は、図1に示すコンピュータシステム1と同様のハードウェア構成を有しても良いため、その図示及び説明は省略する。携帯情報端末は、コンピュータシステム1(即ち、環境地図生成装置)と通信可能で入力部及び表示部を備えた構成を有する電子装置であれば、特に限定されず、携帯電話、PHS(Personal Handy-Phone)、スマートフォン、PDA(Personal Digital Assistant)等の携帯型又は可搬型の端末装置で形成可能である。コンピュータシステム1はサーバの機能を有し、携帯情報端末がクライアントの機能を有すれば、コンピュータシステム1と携帯情報端末はサーバ・クライアントシステムを形成する。
図2は、環境地図生成装置の一例を示す機能ブロック図である。図2に示す環境地図生成装置1Aは、処理部11Aと記憶部12Aを有する。環境地図生成装置1Aはコンピュータシステム1に対応し、処理部11AはCPU11に対応し、記憶部12Aは記憶部12に対応する。
図2において、処理部11Aは、利用者状態推定部111、タグ提示及び投票部112、利用者位置推定部113、及び集計及び統計部114を有する。タグ提示及び投票部112は、タグの提示と投票タグの格納を行うタグ処理部の一例である。記憶部12Aは、タグ投票データ記憶部121、同義語辞書データ記憶部122、利用者位置データ記憶部123、状態及びタグ対応付けデータ記憶部124、及び環境地図記憶部125を有する。
利用者状態推定部111は、携帯情報端末31のセンサ等が出力する検知データ(即ち、センサ検知データ)を受信して周知の方法で利用者状態を推定してタグ提示及び投票部112に供給する。尚、利用者状態を携帯情報端末31側で推定可能な場合には、利用者状態推定部111は携帯情報端末31から利用者状態を受信してタグ提示及び投票部112に供給すれば良い。利用者位置推定部113は、携帯情報端末31を保持して移動する利用者の位置が屋外、或いは、GPS(Global Positioning System)の衛星と通信可能な屋内であれば、携帯情報端末31において周知のGPSセンサで推定された利用者位置データを受信して、利用者位置データを利用者位置データ記憶部123に格納する。
タグ提示及び投票部112は、タグ及び利用者にタグの投票を促すメッセージを生成して携帯情報端末31に送信することで、タグを携帯情報端末31に提示する。タグ提示及び投票部112が携帯情報端末31に提示するタグは、利用者位置データ記憶部123に格納された利用者位置データ、状態及びタグ対応付けデータ記憶部124に格納された状態及びタグ対応付けデータ、及び利用者状態推定部111で推定された利用者の状態に基づいて生成される。つまり、タグ提示及び投票部112は、利用者位置と利用者状態に応じたタグを生成する。タグ提示及び投票部112が生成するタグは、同義語辞書データ記憶部122に格納された同義語辞書を更に利用して生成しても良い。
又、タグ提示及び投票部112は、上記タグの提示に応答して携帯情報端末31から投票されたタグに関するタグ投票データを受信し、利用者位置データ記憶部123に格納された利用者位置データと共にタグ投票データ記憶部121に格納する。タグ提示及び投票部112は、携帯情報端末31から投票されたタグと同じ意味のタグ(即ち、語)が同義語辞書データ記憶部122に格納された同義語辞書に登録されていれば、同義語辞書データ記憶部122に格納された同義語辞書データに基づいて投票されたタグを同じ意味の登録されたタグに変換してから利用者位置データと共にタグ投票データ記憶部121に格納する。
更に、タグ提示及び投票部112は、利用者状態推定部111で推定された利用者状態を、携帯情報端末31から投票されたタグと対応付けた状態及びタグ対応付けデータを状態及びタグ対応付けデータ記憶部124に格納する。
集計及び統計部114は、タグ投票データ記憶部121に格納されたタグ投票データに基づいてタグ投票データの集計及び統計処理を行って環境地図(或いは、事象の尤度マップ)を生成する生成部の一例であり、生成した環境地図を環境地図記憶部125に格納する。集計及び統計部114は、環境地図記憶部125に格納した環境地図を表示部14に表示しても良い。
図3は、携帯情報端末の一例を示す図である。図3に示す携帯情報端末31は、タッチパネル34を有する。この例では、タッチパネル34の投票画面に「寒い」のタグの選択ボタン36−1、「暗い」のタグの選択ボタン36−2、「危ない」のタグの選択ボタン36−3、及びタグ追加の選択ボタン36−4が表示されている。タグとは、例えば「寒い」、「暗い」、「危ない」といった、利用者が室内(或いは、屋内)環境に対して思う感情や意見を一言で表現した主観情報の投票候補を言う。従って、タグは、利用者が検知した環境情報の投票候補でもある。携帯情報端末31のタッチパネル34の投票画面には、この携帯情報端末31の利用者の状況に応じて選択可能なタグを示す選択ボタンが表示される。利用者は、自分がいる場所についての思いや意見(即ち、主観情報)について、投票画面に提示されたタグの選択ボタンの中から同じ、或いは、近いものを選択して押下することで、室内環境情報に対する投票を行なう。
利用者がタグの投票を行なうと、携帯情報端末31で投票を行なった場所の室内位置(即ち、投票位置)と投票時刻がタグに付与され投票データが生成される。投票を行った室内位置は携帯情報端末31内で推定可能であり、投票時刻は携帯情報端末31内の例えばCPU等から取得可能である。この投票データは、携帯情報端末31からコンピュータシステム1に送信され、タグ提示及び投票部112によりタグ投票データ記憶部121に格納される。図4は、タグ投票データ記憶部121に格納される投票データの一例を示す図である。図4に示す例では、「暑い」、「うるさい」、「寒い」、「暗い」、「危ない」等のタグ(或いは、タグ名)に対して、当該タグの投票が行われた場所の位置x(又は、x座標位置)、位置y(又は、y座標位置)、及び投票時刻が付与されている。図4のx位置及びy位置の単位は、任意単位である。
利用者の室内位置(即ち、投票位置)については、例えばWi-Fi(Wireless-Fidelity、Wi-Fi Certified は登録商標)、ブルーツース(Bluetooth)等の無線電波の強度(RSSI:Received Signal Strength Indicator)を計測する周知の方法でも推定可能である。スマートフォン等の携帯情報端末の通信部には、Wi-Fi又はBluetoothの通信機能が搭載されているので、室内側にWi-Fiアクセスポイント等幾つかの無線機器を電波アンカーとして設置しておけば、比較的安価に利用者の位置を携帯情報端末31において推定可能である。利用者位置推定部113は、このようにして携帯情報端末31において推定された利用者位置データを受信し、利用者位置データ記憶部123に格納する。
集計及び統計部114は、図4に示す投票データを集計して室内の環境地図(又は、事象の尤度マップ)を生成して環境地図記憶部125に格納する。具体的には、個々のタグの投票位置を中心として、当該タグで表された事象の尤度が例えば正規分布のような山形に分布していると仮定し、複数の同一タグの投票について、その分布を足し合わせる計算を行なうことでその事象の尤度分布を求める。このように離散的な点情報から面としての分布を生成する手法としては、例えばガウス混合モデルを用いる方法(例えば、非特許文献1)等が知られている。
図5は、投票されたタグの分布の足し合わせ計算(又は、重ね合わせ計算)の一例を説明する図である。図5の例では、「暑い」という同一タグについて3票の投票が異なる投票位置から得られており、集計及び統計部114はこれらの3票に対応する3つのタグの分布L1,L2,L3を足し合わせて(或いは、重ね合わせて)「暑い」というタグ又は事象の尤度Lが計算される。環境地図(又は、尤度マップ)は、タグ毎(事象毎)に計算すれば良い。例えば「暑い」というタグに対しては、気温を示す環境地図、「うるさい」というタグに対しては騒音を示す環境地図、「危ない」というタグに対しては危険度を示す環境地図を生成することもできる。
このようにタグの分布を足し合わせる計算方式では、近い場所で同じタグの投票が多く存在しない限り、その場所の事象の尤度が高まらない。従って、タグで示されたある事象について、多くの利用者から得られる投票より、同様の投票が得られた場所の近辺のみを信頼できる(即ち、事象が発生していると判断できる)箇所とみなして、単発的な投票が行なわれている場所はノイズと仮定して無視すれば良い。
図6は、ある事象の尤度を室内の地図上に重ねて描画した環境地図の一例を示す図である。図6の例では、最下層が室内地図を示し、中間層が尤度マップ(又は、環境地図)を示し、最上層が事象の尤度を示す。この例では、室内地図の中央付近でこの事象に対する投票が多く行なわれていることがわかる。このため、少なくとも室内地図の中央付近については、この事象が発生している確率が高いことが推測できる。
利用者は、図3で示す携帯情報端末31のタッチパネル34の投票画面に利用者の主観に合うタグの選択ボタンが表示されていない場合、自らタグを追加しても良い。この場合、投票画面に表示されたタグ追加の選択ボタン36−4を選択して押下し、利用者の主観に合う主観情報、即ち、タグを入力すれば良い。利用者が自分で入力するタグは、特に限定されないが、例えば「暑い」、「寒い」、「眩しい」、「暗い」、「狭い」、「危ない」、「怖い」、「うるさい」、「汚い」、「故障」、「異常」、「異音」、「異臭」、「水漏れ」、「滑りやすい」等の事象から選択しても良い。
利用者が追加したタグは、タグ提示及び投票部112によりタグ投票データ記憶部121に格納されると共に、利用者状態推定部111で推定された利用者状態と対応させて状態及びタグ対応付けデータ記憶部124に格納される。一度追加したタグは、当該タグの投票時の利用者位置データと共にタグ投票データ記憶部121に格納されてタグ投票データが更新されるので、タグを追加した投票位置を通る他の利用者の携帯情報端末31の投票画面にも表示することができる。例えば、利用者Aが室内の床にダンボールが散らばっておりつまずきやすくて危険と判断すると、「危ない」というタグを追加して投票する。その後、別の利用者Bが利用者Aが「危ない」というタグを追加した投票位置の付近を通ると、利用者Bの携帯情報端末31の投票画面には利用者Aが追加した「危ない」というタグの選択ボタンが表示される。従って、利用者Bは、床のダンボールを見て確かにあぶないと判断すれば、「危ない」というタグの選択ボタンを選択して押下することでこのタグに投票できる。このようにして、各利用者がタグを自由に追加していき、他の利用者が追加されたタグについて同意する投票を行なうことで、タグの多様性と信頼性を確保することができる。
ところで、意味は同じであるにもかかわらず、表現が異なるタグが多数追加されるのを防ぐために、本実施例では同義語辞書データ記憶部122に同義語辞書及び同義語辞書データが格納されている。例えば、同義語辞書にはタグとして好適な語が登録されており、同義語辞書データには同義語辞書に登録されている語に変換可能な同義語が含まれている。利用者毎に主観情報の表現は多少異なるが、この同義語辞書及び同義語辞書データを用いることで、表現の違いを吸収する。具体的には、タグが追加投票された際に、このタグが明らかに同義語辞書に登録されている語と同じ意味であり同義語辞書データに登録されていれば、保存するタグは同義語辞書の語(即ち、表現)を採用するものとする。従って、例えば「危ない」及び「危うい」なるタグは、同義語辞書に格納されている「危険」なるタグに変換してからタグ投票データ記憶部121及び状態及びタグ対応付けデータ記憶部124に格納される。
次に、尤度に応じたタグの並び替えについて説明する。利用者の携帯情報端末31の投票画面に表示されるタグは、利用者位置と利用者状態に応じて決定されて生成される。利用者位置に関しては、図7に示すように、利用者がいる場所について図5の方法で計算された、統計処理によって定まる各タグの尤度に応じて、携帯情報端末31の投票画面に表示するタグとその順序を決定しても良い。
図7は、場所に応じた表示タグの切り替えを説明する図である。タグの表示順序だけでなく、図7に示すように、タグの選択ボタンの大きさ、色等を変えて尤度の高いタグ程目立ち、押し易くするような視覚効果を付加しても良い。図7の例では、実線が「寒い」タグの尤度を示し、破線が「暗い」タグの尤度を示す。位置Aにある携帯情報端末31Aの投票画面には、「寒い」タグの選択ボタンが大きく表示される。又、位置Bにある携帯情報端末31Bの投票画面には、「寒い」タグの選択ボタンの下に小さい「暗い」タグの選択ボタンが表示される。更に、位置Cにある携帯情報端末31Cの投票画面には、「暗い」タグの選択ボタンが少し小さく表示される。
これにより、ある場所において、尤度が高い事象は他の利用者からの同意投票を得やすくなり、より尤度が高くなる。これは、個々の単発的な投票はノイズと仮定し、局所的に多くの同意投票を得た事象のみを、その場所についての信頼のおける環境情報として扱うという方策のもと、なるべく1つの事象が集中的に投票を得やすくし、その事象の信頼性を上げるためである。
次に、利用者状態、即ち、利用者又はその周囲の状態に応じたタグの提示について説明する。携帯情報端末31は、複数のセンサ(図示せず)を有しても良く、この場合、各センサが出力する検知データに基づいて利用者の状態を周知の方法で推定することが可能である。センサには、例えば加速度センサ、マイクロホン、温度センサ、照度センサ、GPSセンサ、気圧センサ(又は、気圧計)等が含まれ、携帯情報端末31が図1の如きハードウェア構成を有する場合であれば、図1中破線で示すようにセンサ群900の各センサはバス16に接続される。そこで、これらのセンサを利用して利用者の状態を利用者状態推定部111で推定し、推定した利用者状態に応じて携帯情報端末31にタグを能動的に提示しても良い。これらのセンサは、利用者の状態を推定するのに用いられるものであり、利用者がおかれた環境に関する環境情報を直接検知するためのものではない。その際、表示部34へのメッセージの表示に限らず、表示部34と同様にバス16に接続されたスピーカ(図示せず)から効果音等を鳴らして、利用者にタグが提示されたことを通知しても良い。尚、携帯情報端末31の投票画面にタグが能動提示された場合も、提示された複数のタグの中に利用者の主観に合うタグがなければ、上記の如く利用者が自らタグを追加すれば良い。
図8は、各種センサによって取得できるイベントと、イベントに対応して提示するタグの一例を示す図である。図8に示す例では、加速度センサの検知イベントが急加速検知であると、利用者がつまずいたと推定して「危ない」タグが提示され、周期的加速検知であると、利用者が振動していると推定して「振動」タグが提示される。マイクロホンの検知イベントがレベル閾値超えの検知であると、「うるさい」タグが提示され、高低音検知であると、「異音」タグが提示される。温度センサの検知イベントが気温閾値以下検知であると、「寒い」タグが提示され、気温閾値超えの検知であると、「暑い」タグが提示される。照度センサの検知イベントが照度レベル閾値以下検知であると、「暗い」タグが提示され、照度レベル閾値超えの検知であると、「眩しい」タグが提示される。
尚、検知イベントと提示タグの対応付けは、予め設定しておいても、他の利用者の過去の投票履歴を参照して学習した上で提示しても良い。この場合、投票履歴は、例えば状態及びタグ対応付けデータ記憶部124に格納しても、記憶部12A内の他の記憶部に格納しても良い。又、図8の例では、検知イベントと提示タグが1対1に対応しているが、複数のセンサによって推定される状態もあり得る。
複数のセンサから得られる検知データを特徴量とみなし、利用者状態を特徴量の組み合わせで表現すれば、図9で示すようにn次元特徴空間上の点とその近傍領域を状態として扱うことができるので、その近傍領域に対してタグをマッピングしても良い。図9は、状態とタグの対応付けの一例を説明する図である。図9中、縦軸はセンサ61の検知データである特徴量、横軸はセンサ6nの検知データである特徴量を夫々n次元特徴空間において任意単位で示す。この例では、タグTの状態はSTであり、タグTの状態はSTである。
図10は、状態及びタグ対応付けデータの一例を説明する図である。図10の例では、センサ61〜6n(nは2以上の自然数)の検知データである特徴量と、対応付けられたタグ名により状態及びタグ対応付けデータが形成されている。このような状態及びタグ対応付けデータが、状態及びタグ対応付けデータ記憶部124に格納される。
図11は、利用者の状態に応じたタグの提示処理の一例を説明するフローチャートである。図11において、ステップS1は、利用者状態推定部111によりセンサ群900を形成する複数のセンサの検知データを監視する。ステップS2は、利用者状態推定部111により検知データの組み合わせ、即ち、特徴量の組み合わせを算出する。ステップS3は、タグ提示及び投票部112により、状態及びタグ対応付けデータ格納部124に格納された状態及びタグ対応付けデータ中に求めた特徴量の組み合わせに対応付けられたタグが存在するか否かを判定し、判定結果がNOであると処理はステップS1へ戻る。一方、ステップS3の判定結果がYESであると、ステップS4は、タグ提示及び投票部112によりタグを携帯情報端末31の投稿画面に表示することでタグを利用者に提示する。ステップS5は、タグ提示及び投票部112により利用者が提示されたタグを選択したか否かを判定し、判定結果がYESであると、ステップS6は、タグ提示及び投票部112により投稿画面に表示されたタグの選択ボタン(例えば選択ボタン36−1〜36−3)による通常のタグの投票を受信してタグ投票データをタグ投票データ記憶部121に格納し、処理は終了する。ステップS5の判定結果がNOであると、ステップS7は、タグ提示及び投票部112により利用者がタグ追加の選択ボタン36−4によりタグを追加したか否かを判定し、判定結果がNOであると処理はステップS1へ戻る。一方、ステップS7の判定結果がYESであると、ステップS8は、タグ提示及び投票部112により利用者の状態及びタグ対応付けデータに、特徴量とタグの投票履歴を追加して状態及びタグ対応付けデータ記憶部124に格納し、処理は終了する。
図12は、環境地図生成処理の一例を説明するフローチャートである。図12において、ステップS11は、利用者位置推定部113及び利用者状態推定部111により利用者位置及び利用者状態を推定する。ステップS12は、タグ提示及び投票部112によりタグ提示処理を行う。ステップS13は、タグ提示及び投票部112により携帯情報端末31からのタグの投票を処理するタグ投票処理を行う。ステップS14は、集計及び統計部113により環境地図の計算処理を行い、処理はステップS11へ戻る。これにより、環境地図は、利用者位置及び利用者状態に応じて順次更新される。
ステップS12は、利用者位置に応じたタグ提示処理を行うステップS121と、利用者状態に応じて図11のタグ提示処理を行うステップS122を含む。ステップS121は、環境地図より、利用者の現在位置におけるタグ候補と、各候補の尤度を参照するステップS121−1と、図7と共に説明した方法で尤度の応じて提示するタグの表示順序を並び替えて携帯情報端末31の投票画面に表示するステップS121−2を含む。ステップS122は、例えば図11の如き利用者状態に応じたタグ提示処理を行う。
ステップS13は、同義語辞書データ記憶部122に格納されている同義語辞書及び同義語辞書データを用いて投票されたタグの主観情報を同義語辞書に登録されている表現が異なるが同じ意味の主観情報に変換するステップS131と、変換された主観情報をタグ投票データ記憶部121に格納するステップS132を含む。ステップS13には、ステップS12から入力されるタグの主観情報に加え、ステップS31で利用者による能動的なタグの追加投票があればその追加投票により得られたタグの主観情報も入力されて同様に処理される。
オフィス等の室内空間において、室内にいる人達の実情に沿った多様でリアルな環境情報を把握するためには、システム運用者が温度、騒音等の環境情報の属性を限定することなく、室内にいる人達の感情や意思をボトムアップ方式で収集して統計処理を行い、システム運用者が想定していなかった環境情報をも収集可能とすることが望まれる。又、室内にいる人達から収集した情報にある程度の信頼性を持たせるには多くの人達(即ち、多数の利用者)からの投票が必要であり、効率的に投票を集約することも望まれる。
そこで、上記実施例では、投票方式によって、場所に紐付いた個々利用者の主観的意見を収集する。又、効率良く多くの投票を集約するため、投票候補であるタグの提示を以下の(p1)〜(p7)のように行うことができる。
(p1)利用者がいる場所についての主観的な意見を携帯情報端末を利用した単純な操作によりコンピュータシステムに投票する。携帯情報端末の投票画面には、例えば「暑い」、「暗い」、「うるさい」等の主観的表現を記述したタグの選択ボタンが表示され、利用者は自分が直感的に感じた思いに近いタグの選択ボタンを選択して押下することにより、コンピュータシステムに投票するタグの情報を送信する。
(p2)利用者の携帯情報端末の投票画面に表示されるタグを、利用者の位置に応じて自動的に切り替える。例えば、利用者の現在位置における、(p7)と共に後述するタグの尤度、或いは、(p3)と共に後述するタグのスコアが一定値以上のタグを表示することができる。
(p3)利用者の携帯情報端末の投票画面に表示されるタグの表示順を、タグの尤度に応じて自動的に切り替える。例えば、タグのスコアが高いタグの選択ボタンは、投票画面上の最も目立ちやすく押しやすい箇所に表示することができる。タグのある場所におけるスコアは、例えばその場所におけるタグの尤度と、タグが投票された最終時刻から算出しても良い。
(p4)利用者は、自分で携帯情報端末を操作してその場所に関するタグを追加しても良い。
(p5)携帯情報端末に内蔵されているセンサの検知データに基づいて利用者の状態を推定し、推定された状態に応じて投票画面上に表示するタグを自動的に追加しても良い。
(p6)上記(p5)において、センサの検知データに基づいて推定した利用者の状態と、その状態に対して表示される追加タグの対応関係は、過去の投票履歴に基づいて学習しても良い。
(p7)複数の携帯情報端末から入力される情報に基づいて大量に蓄積したタグ投票データから、面として連続的な分布を持った環境地図を生成する。例えば、投票された事象の尤度が、その投票位置を中心として正規分布の形状をしていると仮定し、複数の投票について各分布を足し合わせることで環境地図を生成することができる。
上記実施例によれば、環境にセンサ類を設置することなく室内の環境情報を把握することができるので、環境にセンサ類を設置する場合と比べると大幅なコスト削減が可能となる。又、室内にいる利用者の状態に応じて、多様でリアルな主観情報を高い信頼度で収集することができ、センサでは収集できないような主観情報をも収集できるので、効率良く収集した主観情報に基づいて室内環境のきめ細かい調整を行うことも可能となる。利用者の個々の投票ではなく、大量の投票の統計から得られた情報を重視するので、悪意のある投票や、個々利用者毎の揺らぎの影響を少なくすることができる。主観情報をタグとして追加し、そのタグを他の利用者が選択投票可能とすることで、複数の利用者間で共通に認識されている想定外の事象をも収集することができる。
ところで、上記実施例では、携帯情報端末からの情報に基づいて、ある事象に関する尤度マップを作成しているが、以下に説明する本発明の他の実施例のように、例えばレイアウトの変更等に伴い変化する室内地図自体を変化前の室内地図から作成(推定又は更新)するようにしても良い。つまり、変化前の室内地図から作成(推定又は更新)される室内地図は、環境地図生成装置で生成される環境地図の一例である。この場合、携帯情報端末からの情報に基づいて携帯情報端末を保持する利用者の行動履歴を求め、行動履歴から利用者が行動した場所の意味情報を求めて室内地図に反映させることができる。利用者の行動履歴は、利用者の行動(又は、動作)、利用者の発話中に含まれるキーワード、利用者(即ち、携帯情報端末)の位置等の情報を含む。利用者の行動及び発話は、携帯情報端末の推定状態の一例である。利用者の行動は、当該利用者の近傍にいる利用者の数、利用者が歩行しているか否か、利用者が立ち止まっているか否か、利用者が座っているか否か、利用者が立っているか否か等の情報を含む。利用者が行動した場所の意味情報は、例えば室内地図上の会議室、通路、打合せスペース、休憩スペース等の情報を含む。
室内地図の一例であるフロアマップは、時間の経過と共に例えば会議室の移動等のレイアウト変更等に伴い変化するため、時間の経過と共にフロアマップ(室内地図)上の場所の意味情報も変化する。携帯情報端末を保持する利用者の行動履歴から、利用者が行動した場所の意味情報を求めてフロアマップ(室内地図)に反映させることで、手作業を必要とすることなくフロアマップを随時、且つ、効率良く更新することができる。又、利用者が行動した場所の意味情報は、複数の利用者、特に多数の利用者の行動履歴から求めることで信頼性を向上させることができる。利用者が行動した場所の意味情報は、複数の利用者の行動履歴を一定期間以上蓄積することで信頼性を向上させるようにしても良い。更に、携帯情報端末からの情報が利用者による手動操作を必要とすることなく自動的に環境地図生成装置に入力されることで、フロアマップを更に効率良く更新することができる。
言うまでもなく、携帯情報端末からの情報に基づいて、ある事象に関する尤度マップを作成すると共に、変化する室内地図自体を変化前の室内地図から作成(推定又は更新)するようにしても良い。
例えば1人の利用者の履歴から情報を提供する場合(例えば、特許文献3又は特許文献4)と比較すると、多数の利用者の行動履歴から利用者が行動した場所の意味情報を求めることで、場所の意味情報の信頼性を向上させることができる。又、例えば人の集まる場所に設置した固定のマイクロホンにより制限された環境下で行動履歴の一例である人の会話情報を取得する場合(例えば、特許文献5)と比較すると、複数の利用者が保持する各携帯情報端末に備えられたマイクロホンにより利用者の会話情報を取得することで、より柔軟性の高い環境下で利用者の行動履歴を取得することができる。
図13は、本発明の他の実施例における携帯情報端末及び環境地図生成装置の一例を示す機能ブロック図である。又、図14は、携帯情報端末及び環境地図生成装置の処理の一例を説明するフローチャートである。図14において、ステップS40〜S46は、複数の携帯情報端末31Bの各々で実行され、ステップS51〜54は、各携帯情報端末31Bから入力される情報に基づいて環境地図生成装置1Bで実行される。
環境地図生成装置1Bが図1に示すコンピュータシステム1の構成を有する場合、CPU11は、記憶部12に格納されたプログラムを実行することにより、コンピュータシステム1を環境地図生成装置1Bとして機能させる。プログラムは、CPU11に少なくとも環境地図生成処理1Bの上記ステップS51〜S54の手順を実行させるものであっても良く、記憶部12を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていても良い。つまり、CPU11に環境地図生成処理を実行させるプログラムは、CPU11にコンピュータシステム1の情報処理の手順を実行させるプログラムに対してプラグイン可能な構成としても良い。
一方、各携帯情報端末31Bが図1に示すコンピュータシステム1の構成を有する場合、CPU11は、記憶部12に格納されたプログラムを実行することにより、コンピュータシステム1を携帯情報端末31Bとして機能させる。プログラムは、CPU11に少なくとも携帯情報端末31Bの上記ステップS40〜S45の手順を実行させるものであっても良く、記憶部12を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていても良い。つまり、CPU11に携帯情報端末31Bの処理を実行させるプログラムは、CPU11にコンピュータシステム1の情報処理の手順を実行させるプログラムに対してプラグイン可能な構成としても良い。
図13において、携帯情報端末31Bの加速度センサ900−1、マイクロホン900−2、GPSセンサ900−3、及び無線LANセンサ900−4は、図1に示すセンサ群900に含まれる。尚、無線LANセンサ900−4は、通信部15−1内に設けられていても良い。携帯情報端末31Bの音声認識部41、キーワード抽出部42、キーワード記録部43、位置検出部44、動作検出部45、及び動作記録部46は、図1に示すCPU11により実現される機能を有する。データ保存部12−1は図1に示す記憶部12に相当し、通信部15−1は図1に示す通信部15に相当する。
位置検出部44は、位置情報検出部の一例であるGPSセンサ900−3又は無線LANセンサ900−4からの検出出力に基づいて携帯情報端末31Bの現在の位置情報を検出する(ステップS40)。音声認識部41は、利用者の発話を検知したマイクロホン900−2からの音声出力に基づいて音声認識を行い文章を抽出する(ステップS41)。キーワード抽出部42は、音声認識部41で抽出された文章を解析して、名詞、動詞、形容詞、副詞等の予め設定されたキーワードを抽出する(ステップS42)。キーワード記録部43は、キーワード抽出部42で抽出されたキーワードをログデータとして、そのキーワードが抽出された位置に関する位置検出部44からの位置情報をキーワードと合わせてデータ保存部12−1に一時的に保存する(ステップS43)。尚、キーワード記録部43は、キーワードを記録する際に、キーワードの前後のワード(語)も位置情報と共にデータ保存部12−1に保存しても良い。
動作検出部45は、加速度センサ900−1からの出力データに基づいて携帯情報端末31Bを保持している利用者の動作を検出する(ステップS44)。動作記録部46は、動作検出部45で検出された利用者の動作を行動のログデータとして、その行動を行った位置に関する位置検出部44からの位置情報を利用者の行動と合わせてデータ保存部12−1に一時的に保存する(ステップS45)。通信部15−1は、データ保存部12−1に保存されたキーワードと利用者の行動のログデータを環境地図生成装置1Bに送信する。
音声認識部41の機能は、環境地図生成装置1B側に設けても良い。この場合、音声認識部41、キーワード抽出部42、及びキーワード記録部43の代わりに、音声データ切り出し部と音声データ記録部を設ければ良い。音声データ切り出し部は、マイクロホン900−2からの音声出力(音声データ)を文章単位に切り出す処理を行う。音声データ記録部は、音声データ切り出し部で切り出された文章単位の音声データをログデータとして、その音声データが発話された位置に関する位置検出部44からの位置情報を音声データと合わせてデータ保存部12−1に一時的に保存する。この場合、通信部15−1は、データ保存部12−1に保存された音声データとその位置情報、及びキーワードと利用者の行動のログデータを環境地図生成装置1Bに送信する。
上記の如き携帯情報端末31Bの各機能自体は周知であり、位置検出のアルゴリズム、音声認識のアルゴリズム、及び動作検出のアルゴリズム等は特に限定されない。
一方、環境地図生成装置1Bの記録部51、検索及び抽出部52、マッピング部53、及び領域切り出し及び意味付け部54は、図1に示すCPU11により実現される機能を有する。データ保存部12−2は図1に示す記憶部12に相当し、通信部15−2は図1に示す通信部15に相当する。
環境地図生成装置1Bの通信部15−2は、携帯情報端末31Bから送信されくるログデータをデータ保存部12−2に行動及びキーワード記録データベース(DB:Data-Base)として保存する。検索及び抽出部52は、指定された行動(又は、動作)とキーワードで行動及びキーワード記録DBを検索して行動とキーワードの組み合わせのデータを抽出する(ステップS51)。マッピング部53は、検索及び抽出部52で抽出された行動とキーワードの組み合わせのデータをその位置情報に従って室内地図(又は、フロアマップ)上にプロットする(ステップS52)。領域切り出し及び意味付け部54は、マッピング部53で室内地図上にプロットされた行動とキーワードの組み合わせのデータの出現回数の多い(即ち、出現回数が閾値を超える)領域を切り出し、切り出した領域(又は、場所)にその意味付けを行う(ステップS53)。上記の如きステップS51〜S53の処理は、例えば後述する図16のテーブルの各動作(又は、行動)とキーワードの組み合わせに対して行われる(ステップS54)。
記録部51は、音声認識を環境地図生成装置1B側で行う場合にのみ設けられる。従って、携帯情報端末31Bが図13に示すように音声認識部41、キーワード抽出部42、及びキーワード記録部43を含む構成を有する場合には、記録部51は省略可能である。一方、音声認識を環境地図生成装置1B側で行う場合、記録部51は、データ保存部12−2に記録されている音声データに対して音声認識を行い文章を抽出し、抽出された文章を解析して、名詞、動詞、形容詞、副詞等の予め設定されたキーワードを抽出し、そのキーワードが抽出された位置に関する位置情報をキーワードと合わせて行動及びキーワード記録DBとしてデータ保存部12−2に保存する。
データ保存部12−2の行動及びキーワード記録DBへのデータの記録は、携帯情報端末31Bが動作やキーワードを検出する毎に環境地図生成装置1Bに送信して記録すると、複数の携帯情報端末31Bと環境地図生成装置1Bとの間のトラフィックが増大する。そこで、行動及びキーワード記録DBへ記録するべきデータは、各携帯情報端末31Bにおいてデータ保持部12−1に一時的に保存しておき、データ保持部12−1内に蓄積されたデータがある程度の量に達したら、或いは、データ保持部12−1へのデータの蓄積がある程度の期間行われてから、一括して環境地図生成装置1Bに送信してデータ保存部12−2の行動及びキーワード記録DBへ記録するようにしても良い。
上記の如く、例えば日常のオフィス等における利用者(例えば、オフィスの従業員)の活動の中で、行動と発話を、それらが行われた位置に関する位置情報と共にログデータとして保存する。つまり、オフィスにおいて、携帯情報端末31Bの利用者が行った日常の行動を、その行動を行った位置に関する位置情報(又は、場所情報)と共にログデータとして保存する。又、これと同時に、利用者の日常の発話についても、発話に含まれるキーワードをそのキーワードが発話された位置に関する位置情報(又は、場所情報)と共にログデータとして保存する。ログデータとして保存する利用者の行動には、歩いている、座っている、立っている、話している、一人でいる、複数人でいる等の行動が含まれる。又、ログデータとして保存する発話に含まれるキーワードには、「議事録」等の利用者の行動で用いられる物、「おはよう」等の利用者の行動中に行う挨拶、「疲れた」等の行動を行う利用者の状態についての単語等が含まれる。
利用者の行動と発話に含まれるキーワードの組み合わせには、同時に行われるもの、どちらか一方のみが行われるもの、どちらかが先行して(又は、遅れて)行われるものの3種類がある。又、行動が継続している行動継続時間を携帯情報端末31B内のCPU11で計測して、行動継続時間を行動とキーワードの組み合わせと共に利用しても良い。行動継続時間は、例えば比較的長時間と、比較的短時間の2種類に分けて、キーワードの組み合わせと共に利用しても良い。長時間と短時間は、前者が後者よりも長い期間であれば特に限定されない。
ログデータとして保存した行動とキーワードから、意味付けする場所に関連する行動とキーワードの組み合わせのデータを抽出して室内地図上にプロットし、行動とキーワードの組み合わせのデータの出現回数の多い(即ち、出現回数が閾値を超える)領域を切り出し、切り出した領域にその意味付けを行う。意味付けをする領域(又は、場所)は、例えば通路又は廊下、会議室、利用者の自席、打合せスペース、休憩スペース、エレベータホール、特徴的な場所等を含む。又、特徴的な場所は、例えばお茶台、本棚、コピー機、ゴミ箱等が設置された場所を含む。
図15は、マッピング部の処理の一例を説明する図である。この例では、オフィスのフロアマップとして、オフィスのCAD(Computer Aided Design)図面(例えば、初期状態の室内地図)等があり、オフィスのフロアの壁等の位置及び配置(即ち、レイアウト)は予めわかっているものとする。図15中、CFRは会議室、STは階段、EVはエレベータ、TBLはテーブル、CHRは椅子、DSKは個人用の机、TTはお茶台、BSは本棚、CPはコピー機、WBはゴミ箱、MSは打合せスペース、RSは休憩スペース、HLは廊下、PSGは通路、EHはエレベータホールを示す。
多数の利用者(即ち、集団)の行動とキーワードの組み合わせのデータをフロアマップ上にプロットし(つまり、データのマッピングを行い)、データの出現回数が閾値を超える領域を切り出すことで、フロアマップ上の各領域の意味を推定する。
例えば、図15の例では、説明の便宜上、利用者が座っているという行動のデータのプロットの出現回数が閾値を超える領域を梨地で示し、利用者が立っているという行動のデータのプロットの出現回数が閾値を超える領域を右下がりのハッチングで示し、利用者が歩行しているという行動のデータのプロットの出現回数が閾値を超える領域を左下がりのハッチングで示す。これらの領域には、例えば以下の(s1)〜(s4)のような意味付け(即ち、意味情報の付加)を行う。
(s1) 領域内での利用者の行動が「短時間の歩行」であり、利用者が1人であり、利用者が発話していないのであれば、この領域は通路PSG又は廊下HLであると推定する。
(s2) 領域内での利用者の行動が「長時間座っている」であり、利用者が1人であり、利用者が発話していないのであれば、この領域は当該利用者の自席に相当すると推定する。
(s3) 領域内での利用者の行動が「話している」且つ「長時間座っている」であり、利用者の近傍に多人数の利用者がいれば、この領域は会議室CFR又は打合せスペースMSであると推定する。
(s4) 領域内での利用者の行動が「短時間立っている」であると、この領域はエレベータEV、お茶台TT、本棚BS、コピー機CP、ゴミ箱WB等の近傍の領域であると推定する。例えば、エレベータEVの近傍の領域であれば、この領域はエレベータホールEHであると推定できる。
このように、多数の利用者(集団)の行動をその位置情報と共にログデータとして記録しておき、ログデータを予め作成されている室内地図(例えば、初期状態の室内地図)上にプロットすることで、室内地図上の意味のある特定の領域を切り出すことができる。この例では、利用者の行動には「歩いている」、「座っている」、「立っている」、及び「話している(又は、発話している)」が含まれるが、携帯情報端末31Bのセンサ群900に含まれる各種センサの出力から検知可能な行動であれば特に限定されない。
上記の例では、説明の便宜上「行動」のデータのみについて述べたが、発話における「キーワード」のデータのプロットの出現回数と組み合わせることで、各領域に対してより正解な意味付けが可能となる。
例えば、領域内での利用者の発話から「議事録」なるキーワードが抽出され、このキーワード(「議事録」)のデータのプロットの出現回数が多い(即ち、出現回数が閾値を超える)場合は、この領域は会議室CFRであると推定する。又、領域内での利用者の発話から「疲れた」なるキーワードが抽出され、このキーワード(「疲れた」)のデータのプロットの出現回数が多い(即ち、出現回数が閾値を超える)場合は、この領域は休憩スペースRSであると推定する。
例えばオフィスビルの各階は、携帯情報端末31Bのセンサ群900に含まれる気圧計でセンシング可能であるため、各階のフロアマップを重ね合わせることで、エレベータホールEHを推定することもできる。このようなエレベータホールEHの推定結果を、上記の如き行動とキーワードの組み合わせのデータに基づくエレベータホールEHの推定結果と更に組み合わせることで、エレベータホールEHの推定結果の信頼度を更に向上することもできる。
図16は、意味付けを行う行動とキーワードの組み合わせの一例を説明する図である。図16中、○印は利用者が当該行動をしている(継続時間も含め)場合に切り出される領域を示し、◎印は利用者が当該行動を同時に行っている場合に切り出される領域を示し、×印は利用者が当該行動を行っている場合は除外されて切り出されない領域を示す。※1は、利用者が短時間座っているか、或いは、立っていて、その時に話している(または、発話している)利用者が多い領域が休憩スペースRSと定義されることを示す。利用者が話している言葉には、「おはよう」、「こんにちは」、「お疲れさま」等の挨拶や、「疲れた」、「だるい」、「眠い」等の利用者の状態を表す言葉が含まれることが多い。※2は、オフィスビルの階は気圧計でセンシング可能であり、一般的にエレベータホールEHは各階で同一場所にあることから、各階のフロアマップを重ね合わせることで、エレベータホールEHが検出可能であることを示す。※3は、利用者が短時間立ち止まっている場所は、特徴的な場所であるが、お茶台TT、本棚BS、コピー機CP、ゴミ箱WB等の近傍等の可能性があり、エレベータホールEH等と区別はできないことを示す。
図16に示す如きテーブルは、行動(又は、動作)とキーワードの組み合わせに対して予め決定された意味付けを格納(又は、定義)しており、例えば図13の領域切り出し及び意味付け部54内に格納されていても、環境地図生成装置1B内の記憶部12を含む、CPU11(即ち、領域切り出し及び意味付け部54)からアクセス可能な記憶部に格納されていても良い。
データ保持部12−2の行動及びキーワード記録DBに多数のデータが蓄積されたら、図16のテーブルに示す行動とキーワードの組み合わせで、行動及びキーワード記録DBのデータを検索する。行動とキーワードの組み合わせと位置情報に従って検索されたデータは、フロアマップ上にプロットされる。そして、テーブルに示す行動とキーワードの組み合わせのデータの出現回数の多い(即ち、出現回数が閾値を超える)領域を、上記の如き意味のある特定の領域としてフロアマップから切り出し、当該特定の領域に意味情報(例えば、会議室、通路等)を付加する意味付けを行う。このような処理を、フロアマップ上の各領域に対して実行することで、フロアマップ上の特定の領域に意味情報を付加することができる。
次に、フロアマップから特定の領域を切り出す処理について説明する。関連する行動とキーワードの組み合わせでフロアマップ上の特定の領域の切り出す処理は、画像処理における輪郭の抽出処理(濃度の差分計算、テンプレートマッチング等)を用いて行うことができる。
ある特定の行動とキーワードの組み合わせのデータを対応する位置情報と共にフロアマップ上にドットとしてプロットすると、データの出現頻度に応じてフロアマップ上にドット画像の濃淡が現れてくる。この濃淡画像から輪郭(エッジ)を検出し、濃い部分の領域を切り出すことで、当該領域がある行動とキーワードの組み合わせで意味を持つ特定の領域となる。
濃淡画像のエッジの検出は、例えば、画像処理で一般的に利用されている濃度の差分計算によるものであっても良い。濃淡画像のエッジでは、一般的に濃淡が急激に変化しているので、濃度の差分を計算することでエッジを検出することができる。つまり、濃度値の変化を持つ画像に対して一次微分を行えば、エッジ部分を検出できる。この一次微分は、画像の水平方向(例えば、x方向)と垂直方向(例えば、y方向)で以下の式に基づいて計算できる。
(x,y)=f(x+1,y)−f(x,y)
(x,y)=f(x,y+1)−f(x,y)
隣り合う画素同士の微分を行う場合は、例えば以下の如き3×3画素のフィルタを用いて画像をマスクすることで、注目している画素の両側の濃淡値の差分を求めることができる。

0 0 0 0 −1 0
−1 0 1 0 0 0
0 0 0 0 1 0
x方向の差分 y方向の差分

図17は、エッジ検出処理の一例を説明する図である。この例では、フロアマップが比較的細かい四辺形のメッシュに分割されていて、プロットしたデータ(即ち、ドット)の数を各メッシュ内で合計する。各メッシュ内で合計されたデータの数は、例えば図17(a)のようになる。
次に、左上のメッシュから順番に、図17(b)の「x方向の差分(Fx)」計算用フィルタと図17(c)の「y方向の差分(Fy)」計算用フィルタを用いて画像をマスクすることで差分計算を行う。3×3メッシュのフィルタの真ん中の梨地で示す中心メッシュを対象とするメッシュに当てはめて、対象とするメッシュの周辺の8個のメッシュの合計データ数の値に、中心メッシュの周辺の8個の周辺メッシュの値を掛けて足し合わせる。このような差分計算をx方向とy方向について行う。x方向とy方向の夫々について計算された値の絶対値を足し合わせた値を、対象とするメッシュの評価値とする。尚、メッシュの端からはみ出た部分の値は0であるものとする。評価値が予め決定された値を超えたメッシュが、エッジとして検出される。上記の差分Fx及び差分Fyは、エッジオペレータと呼ばれ、この例に示したものはゾーベル(Sobel)オペレータと呼ばれる。尚、このようなエッジ検出は、例えば非特許文献2にも記載されている。
例えば、2列3行のメッシュについて評価値を計算すると、x方向については(-5-18-8+8+30+53)=60となり、y方向については(-5-10-16+8+42+53)=72となるので、評価値は132となる。又、4行4列のメッシュについて評価値を計算すると、x方向については(-21-76-24+65+70+84)=98となり、y方向については (-21-106-65+24+164+84)=98となるので、評価値は196となる。
本実施例によれば、フロアマップ等の環境地図の作成時等で、手作業で会議室等の特定の領域の意味情報を入力することなく、複数の携帯情報端末からの入力に基づき環境地図生成装置において自動的に特定の領域の意味情報が付加されるので、作業の効率化が図れる。又、レイアウト等の変更又は更新にも随時対応可能となり、レイアウト等の変更又は更新の環境地図への反映が遅れることによる環境地図の利用者への不便が解消される。環境地図がフロアマップであれば、例えばエレベータホールEHに表示部を設けて環境地図生成装置で変更又は更新されたフロアマップを表示部に表示することで、当該フロアの利用者に適切な案内情報を提供することができる。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
記憶部と、
複数の携帯情報端末から前記複数の携帯情報端末の推定位置と推定状態のデータを取得し、前記取得したデータを前記記憶部に格納する処理部と、
前記記憶部に格納された前記データに基づいて前記複数の携帯情報端末が移動する環境の環境地図を生成する生成部
を備えたことを特徴とする、環境地図生成装置。
(付記2)
前記処理部は、前記データに応じて、前記複数の携帯情報端末の各々の環境状態を表現する複数のタグを当該携帯情報端末に送信して投票画面上に提示すると共に、当該携帯情報端末における選択で投票されたタグを投票時刻と共に受信して、前記投票されたタグ、前記投票時刻及び前記推定位置を含むタグ投票データを前記記憶部に格納することを特徴とする、付記1記載の環境地図生成装置。
(付記3)
前記処理部は、前記推定位置におけるタグとその尤度に応じて前記複数のタグを並び替えて前記携帯情報端末に送信して前記投票画面上に提示することを特徴とする、付記2記載の環境地図生成装置。
(付記4)
前記携帯情報端末から受信した前記携帯情報端末の前記推定状態のデータであるセンサ検知データに基づいて前記携帯情報端末の状態を推定して前記推定状態を取得する状態推定部を更に備えたことを特徴とする、付記2又は3記載の環境地図生成装置。
(付記5)
前記処理部は、前記携帯情報端末から追加投票されたタグを受信して前記記憶部に格納することを特徴とする、付記2乃至4のいずれか1項記載の環境地図生成装置。
(付記6)
前記記憶部は、同義語辞書及び同義語辞書データを格納しており、
前記処理部は、前記携帯情報端末から投票されたタグと同じ意味のタグが前記同義語辞書に登録されていれば、前記同義語辞書データに基づいて前記投票されたタグを同じ意味の登録されたタグに変換してから前記タグ投票データを前記記憶部に格納することを特徴とする、付記2乃至5のいずれか1項記載の環境地図生成装置。
(付記7)
前記記憶部は、前記携帯情報端末の状態とタグの対応付けデータを格納しており、
前記処理部は、前記携帯情報端末から受信した複数のセンサ検知データの組み合わせの状態に対応付けられたタグが前記記憶部に格納された前記状態とタグの対応付けデータ中に存在すると前記対応付けられたタグを前記携帯情報端末に送信して前記投稿画面に表示することを特徴とする、付記2乃至6のいずれか1項記載の環境地図生成装置。
(付記8)
前記生成部は、個々のタグの投票位置を中心として、当該タグで表された事象の尤度が山形に分布していると仮定し、複数の同一タグの投票について、その分布を足し合わせる計算を行なうことでその事象の尤度分布を求めて前記環境地図を生成することを特徴とする、付記2乃至7のいずれか1項記載の環境地図生成装置。
(付記9)
前記推定状態のデータは、前記複数の携帯情報端末で検出された発話情報と動作情報を含み、
前記生成部は、
指定された動作とキーワードで前記記憶部内のデータを検索して動作と前記発話情報に含まれるキーワードの組み合わせのデータを抽出する検索及び抽出部と、
抽出された動作とキーワードの組み合わせのデータを前記推定位置のデータに従って所定の地図上にプロットするマッピング部と、
前記所定の地図上にプロットされた動作とキーワードの組み合わせのデータの出現回数が閾値を超える領域を切り出し、切り出した領域にその意味付けを行い前記環境地図を生成する領域切り出し及び意味付け部を有することを特徴とする、付記1記載の環境地図生成装置。
(付記10)
前記領域切り出し及び意味付け部は、動作とキーワードの組み合わせに対して予め決定された意味付けを格納したテーブルに基づいて前記意味付けを行うことを特徴とする、付記9記載の環境地図生成装置。
(付記11)
コンピュータに環境地図生成処理を行わせるプログラムであって、
複数の携帯情報端末から前記複数の携帯情報端末の推定位置と推定状態のデータを取得し、前記取得したデータを記憶部に格納する処理手順と、
前記記憶部に格納された前記データに基づいて前記複数の携帯情報端末が移動する環境の環境地図を生成する生成手順
を前記コンピュータに実行させることを特徴とする、プログラム。
(付記12)
前記処理手順は、前記データに応じて、前記複数の携帯情報端末の各々の環境状態を表現する複数のタグを当該携帯情報端末に送信して投票画面上に提示すると共に、当該携帯情報端末における選択で投票されたタグを投票時刻と共に受信して、前記投票されたタグ、前記投票時刻及び前記推定位置を含むタグ投票データを前記記憶部に格納することを特徴とする、付記11記載のプログラム。
(付記13)
前記処理手順は、前記推定位置におけるタグとその尤度に応じて前記複数のタグを並び替えて前記携帯情報端末に送信して前記投票画面上に提示することを特徴とする、付記12記載のプログラム。
(付記14)
前記携帯情報端末から受信した前記携帯情報端末の前記推定状態のデータであるセンサ検知データに基づいて前記携帯情報端末の状態を推定して前記推定状態を取得する状態推定手順を前記コンピュータに更に実行させることを特徴とする、付記12又は13記載のプログラム。
(付記15)
前記処理手順は、前記携帯情報端末から追加投票されたタグを受信して前記記憶部に格納することを特徴とする、付記12乃至14のいずれか1項記載のプログラム。
(付記16)
前記記憶部は、同義語辞書及び同義語辞書データを格納しており、
前記処理手順は、前記携帯情報端末から投票されたタグと同じ意味のタグが前記同義語辞書に登録されていれば、前記同義語辞書データに基づいて前記投票されたタグを同じ意味の登録されたタグに変換してから前記タグ投票データを前記記憶部に格納することを特徴とする、付記12乃至15のいずれか1項記載のプログラム。
(付記17)
前記記憶部は、前記携帯情報端末の状態とタグの対応付けデータを格納しており、
前記処理手順は、前記携帯情報端末から受信した複数のセンサ検知データの組み合わせの状態に対応付けられたタグが前記記憶部に格納された前記状態とタグの対応付けデータ中に存在すると前記対応付けられたタグを前記携帯情報端末に送信して前記投稿画面に表示することを特徴とする、付記12乃至16のいずれか1項記載のプログラム。
(付記18)
前記生成手順は、個々のタグの投票位置を中心として、当該タグで表された事象の尤度が山形に分布していると仮定し、複数の同一タグの投票について、その分布を足し合わせる計算を行なうことでその事象の尤度分布を求めて前記環境地図を生成することを特徴とする、付記12乃至17のいずれか1項記載のプログラム。
(付記19)
前記推定状態のデータは、前記複数の携帯情報端末で検出された発話情報と動作情報を含み、
前記生成手順は、
指定された動作とキーワードで前記記憶部内のデータを検索して動作と前記発話情報に含まれるキーワードの組み合わせのデータを抽出する検索及び抽出手順と、
抽出された動作とキーワードの組み合わせのデータを前記推定位置のデータに従って所定の地図上にプロットするマッピング手順と、
前記所定の地図上にプロットされた動作とキーワードの組み合わせのデータの出現回数が閾値を超える領域を切り出し、切り出した領域にその意味付けを行い前記環境地図を生成する領域切り出し及び意味付け手順を含むことを特徴とする、付記11記載のプログラム。
(付記20)
前記領域切り出し及び意味付け手順は、動作とキーワードの組み合わせに対して予め決定された意味付けを格納したテーブルに基づいて前記意味付けを行うことを特徴とする、付記19記載のプログラム。
以上、開示の環境地図生成装置及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
1 コンピュータシステム
1B 環境地図生成装置
11 CPU
12 記憶部
13 入力部
14,34 表示部
15,15−1,15−2 通信部
31,31B 携帯情報端末
36−1〜36−4 選択ボタン

Claims (10)

  1. 記憶部と、
    複数の携帯情報端末から前記複数の携帯情報端末の推定位置と推定状態のデータを取得し、前記取得したデータを前記記憶部に格納する処理部と、
    前記記憶部に格納された前記データに基づいて前記複数の携帯情報端末が移動する環境の環境地図を生成する生成部
    を備えたことを特徴とする、環境地図生成装置。
  2. 前記処理部は、前記データに応じて、前記複数の携帯情報端末の各々の環境状態を表現する複数のタグを当該携帯情報端末に送信して投票画面上に提示すると共に、当該携帯情報端末における選択で投票されたタグを投票時刻と共に受信して、前記投票されたタグ、前記投票時刻及び前記推定位置を含むタグ投票データを前記記憶部に格納することを特徴とする、請求項1記載の環境地図生成装置。
  3. 前記処理部は、前記推定位置におけるタグとその尤度に応じて前記複数のタグを並び替えて前記携帯情報端末に送信して前記投票画面上に提示することを特徴とする、請求項2記載の環境地図生成装置。
  4. 前記携帯情報端末から受信した前記携帯情報端末の前記推定状態のデータであるセンサ検知データに基づいて前記携帯情報端末の状態を推定して前記推定状態を取得する状態推定部を更に備えたことを特徴とする、請求項2又は3記載の環境地図生成装置。
  5. 前記処理部は、前記携帯情報端末から追加投票されたタグを受信して前記記憶部に格納することを特徴とする、請求項2乃至4のいずれか1項記載の環境地図生成装置。
  6. 前記記憶部は、同義語辞書及び同義語辞書データを格納しており、
    前記処理部は、前記携帯情報端末から投票されたタグと同じ意味のタグが前記同義語辞書に登録されていれば、前記同義語辞書データに基づいて前記投票されたタグを同じ意味の登録されたタグに変換してから前記タグ投票データを前記記憶部に格納することを特徴とする、請求項2乃至5のいずれか1項記載の環境地図生成装置。
  7. 前記推定状態のデータは、前記複数の携帯情報端末で検出された発話情報と動作情報を含み、
    前記生成部は、
    指定された動作とキーワードで前記記憶部内のデータを検索して動作と前記発話情報に含まれるキーワードの組み合わせのデータを抽出する検索及び抽出部と、
    抽出された動作とキーワードの組み合わせのデータを前記推定位置のデータに従って所定の地図上にプロットするマッピング部と、
    前記所定の地図上にプロットされた動作とキーワードの組み合わせのデータの出現回数が閾値を超える領域を切り出し、切り出した領域にその意味付けを行い前記環境地図を生成する領域切り出し及び意味付け部を有することを特徴とする、請求項1記載の環境地図生成装置。
  8. コンピュータに環境地図生成処理を行わせるプログラムであって、
    複数の携帯情報端末から前記複数の携帯情報端末の推定位置と推定状態のデータを取得し、前記取得したデータを記憶部に格納する処理手順と、
    前記記憶部に格納された前記データに基づいて前記複数の携帯情報端末が移動する環境の環境地図を生成する生成手順
    を前記コンピュータに実行させることを特徴とする、プログラム。
  9. 前記処理手順は、前記データに応じて、前記複数の携帯情報端末の各々の環境状態を表現する複数のタグを当該携帯情報端末に送信して投票画面上に提示すると共に、当該携帯情報端末における選択で投票されたタグを投票時刻と共に受信して、前記投票されたタグ、前記投票時刻及び前記推定位置を含むタグ投票データを前記記憶部に格納することを特徴とする、請求項8記載のプログラム。
  10. 前記推定状態のデータは、前記複数の携帯情報端末で検出された発話情報と動作情報を含み、
    前記生成手順は、
    指定された動作とキーワードで前記記憶部内のデータを検索して動作と前記発話情報に含まれるキーワードの組み合わせのデータを抽出する検索及び抽出手順と、
    抽出された動作とキーワードの組み合わせのデータを前記推定位置のデータに従って所定の地図上にプロットするマッピング手順と、
    前記所定の地図上にプロットされた動作とキーワードの組み合わせのデータの出現回数が閾値を超える領域を切り出し、切り出した領域にその意味付けを行い前記環境地図を生成する領域切り出し及び意味付け手順を含むことを特徴とする、請求項8記載のプログラム。
JP2011178625A 2011-03-28 2011-08-17 環境地図生成装置及びプログラム Pending JP2012216167A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011178625A JP2012216167A (ja) 2011-03-28 2011-08-17 環境地図生成装置及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011071169 2011-03-28
JP2011071169 2011-03-28
JP2011178625A JP2012216167A (ja) 2011-03-28 2011-08-17 環境地図生成装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2012216167A true JP2012216167A (ja) 2012-11-08

Family

ID=47268858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011178625A Pending JP2012216167A (ja) 2011-03-28 2011-08-17 環境地図生成装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2012216167A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004336A (ja) * 2014-06-14 2016-01-12 株式会社ウィリルモバイル マーケティングシステム及びマーケティング方法
JP2017059032A (ja) * 2015-09-17 2017-03-23 株式会社Nttドコモ 推定装置
JP6301022B1 (ja) * 2017-07-13 2018-03-28 三菱電機ビルテクノサービス株式会社 ビル管理システム及びビル管理装置
WO2018216413A1 (ja) * 2017-05-23 2018-11-29 株式会社Nttドコモ 単独推定装置
CN111221546A (zh) * 2018-11-23 2020-06-02 北京四维图新科技股份有限公司 一种地图数据及地图更新方法、装置、终端设备及服务器
JP2021189383A (ja) * 2020-06-03 2021-12-13 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287920A (ja) * 2003-03-24 2004-10-14 Nec Corp 地域評価サーバ、地域評価サービスシステム、地域評価サービス方法、プログラムおよび記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287920A (ja) * 2003-03-24 2004-10-14 Nec Corp 地域評価サーバ、地域評価サービスシステム、地域評価サービス方法、プログラムおよび記録媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004336A (ja) * 2014-06-14 2016-01-12 株式会社ウィリルモバイル マーケティングシステム及びマーケティング方法
US9477964B2 (en) 2014-06-14 2016-10-25 Adinte, Inc. Marketing system and marketing method
JP2017059032A (ja) * 2015-09-17 2017-03-23 株式会社Nttドコモ 推定装置
WO2018216413A1 (ja) * 2017-05-23 2018-11-29 株式会社Nttドコモ 単独推定装置
JPWO2018216413A1 (ja) * 2017-05-23 2019-07-04 株式会社Nttドコモ 単独推定装置
JP6301022B1 (ja) * 2017-07-13 2018-03-28 三菱電機ビルテクノサービス株式会社 ビル管理システム及びビル管理装置
WO2019012644A1 (ja) * 2017-07-13 2019-01-17 三菱電機ビルテクノサービス株式会社 ビル管理システム及びビル管理装置
CN110832409A (zh) * 2017-07-13 2020-02-21 三菱电机大楼技术服务株式会社 楼宇管理系统以及楼宇管理装置
CN111221546A (zh) * 2018-11-23 2020-06-02 北京四维图新科技股份有限公司 一种地图数据及地图更新方法、装置、终端设备及服务器
CN111221546B (zh) * 2018-11-23 2023-09-26 北京四维图新科技股份有限公司 一种地图数据及地图更新方法、装置、终端设备及服务器
JP2021189383A (ja) * 2020-06-03 2021-12-13 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7025480B2 (ja) 2020-06-03 2022-02-24 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Similar Documents

Publication Publication Date Title
US11810562B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
US8719015B2 (en) Dialogue system and method for responding to multimodal input using calculated situation adaptability
JP2012216167A (ja) 環境地図生成装置及びプログラム
US8838505B2 (en) Schedule management system using interactive robot and method and computer-readable medium thereof
CN1848106B (zh) 信息提供方法及信息提供装置
EP3740822B1 (en) Optimization of an automation setting through selective feedback
EP3543999A2 (en) System for processing sound data and method of controlling system
JP6738555B2 (ja) ロボット制御システム
US8447761B2 (en) Lifestyle collecting apparatus, user interface device, and lifestyle collecting method
US10245732B2 (en) Reception system and reception method
JP2017224190A (ja) コミュニケーションを支援する人工知能システム
JP6713057B2 (ja) 移動体制御装置および移動体制御プログラム
US10985938B2 (en) Smart building visual and contextual team identification system and method
CN111353299A (zh) 基于人工智能的对话场景确定方法和相关装置
JP2019185201A (ja) 強化学習システム
JP2018205534A (ja) 表示制御装置、表示制御方法及びプログラム
JP7019984B2 (ja) 情報提示システム、情報提示方法及びプログラム
JP6829406B1 (ja) 情報処理装置およびプログラム
JP4176691B2 (ja) 問題作成プログラムおよび問題作成装置
JP6864603B2 (ja) 情報提供システム、管理装置、情報分析装置、及び管理方法
JP2020147404A (ja) 情報処理装置
JP2020086364A (ja) 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
CN118469172A (zh) 演出场馆的票务处理方法、装置、电子设备及存储介质
JP2023536813A (ja) 環境信号に基づくプライバシーに配慮したクエリ活動を提示するための方法およびシステム
JP6235148B2 (ja) 対話システム、および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150714