JP2020119340A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP2020119340A
JP2020119340A JP2019010616A JP2019010616A JP2020119340A JP 2020119340 A JP2020119340 A JP 2020119340A JP 2019010616 A JP2019010616 A JP 2019010616A JP 2019010616 A JP2019010616 A JP 2019010616A JP 2020119340 A JP2020119340 A JP 2020119340A
Authority
JP
Japan
Prior art keywords
operator
user
information processing
area
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019010616A
Other languages
English (en)
Inventor
内藤 昌宏
Masahiro Naito
昌宏 内藤
根岸 哲也
Tetsuya Negishi
哲也 根岸
伊東 裕樹
Hiroki Ito
裕樹 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2019010616A priority Critical patent/JP2020119340A/ja
Publication of JP2020119340A publication Critical patent/JP2020119340A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】健康管理などに関する有益なアドバイスを提供するサービスを実現するために、オペレータと相談者との間のコミュニケーションを充実化させること。【解決手段】態様の1つに係る情報処理装置は、ユーザにより予め設定される地域を含む地域情報を記憶する地域情報格納部と、前記ユーザにより操作されるユーザ装置と、オペレータにより操作されるオペレータ装置との間で実行される映像通話を制御する制御部とを備える。前記制御部は、前記映像通話における前記オペレータの発話を前記地域に基づいて変換する。【選択図】図3

Description

本出願は、情報処理装置、情報処理方法および情報処理プログラムに関する。
近年、IoT技術の発展や健康意識の高まりに伴って、スマートフォンやウェアラブル端末などを介し、歩数、脈拍、体温などを収集する環境が整いつつあり、ユーザ自身に健康状態を意識させることを目的とする技術が提案されている。たとえば、ユーザを投影するアバターに対して運動履歴等を反映させることによって自身の健康状態を意識させたり、病院からの各種通知を受け取ることができたりするスマートフォン装置が提案されている。
特開2000−244886号公報 特開2017−204206号公報
健康管理などに関する有益なアドバイスを提供するサービスを実現するためには、オペレータと相談者との間のコミュニケーションを充実化させることが求められる。
態様の1つに係る情報処理装置は、ユーザにより予め設定される地域を含む地域情報を記憶する地域情報格納部と、前記ユーザにより操作されるユーザ装置と、オペレータにより操作されるオペレータ装置との間で実行される映像通話を制御する制御部とを備える。前記制御部は、前記映像通話における前記オペレータの発話を前記地域に基づいて変換する。
態様の1つに係る情報処理方法は、ユーザ装置とオペレータ装置との間で実行されるデータ通信を制御する情報処理装置が行う情報処理方法である。かかる情報処理方法は、前記映像通話における前記オペレータ装置のオペレータの発話を、前記ユーザ装置のユーザにより予め設定される地域に基づいて変換する。
態様の1つに係る情報処理プログラムは、前記映像通話における前記オペレータ装置のオペレータの発話を、前記ユーザ装置のユーザにより予め設定される地域に基づいて変換する処理を実行させる。
図1は、実施形態に係る健康管理システムの構成例を示す図である。 図2は、実施形態に係る情報処理装置による処理の概要を示す図である。 図3は、実施形態に係る情報処理装置の構成例を示すブロック図である。 図4は、実施形態に係る地域情報格納部に記憶される地域情報の一例を示す図である。 図5は、実施形態に係る発話変換ツールによる発話表現の変換例を示す図である。 図6は、実施形態に係る発話変換ツールによる発話内容の変換例を示す図である。 図7は、実施形態に係る計測値情報格納部に記憶される計測値の概要を説明する図である。 図8は、実施形態に係る食事情報格納部に記憶される食事内容に関する情報の概要を説明する図である。 図9は、実施形態に係る健康診断情報格納部に記憶される健康診断結果に関する情報の概要を説明する図である。 図10は、実施形態に係るユーザ装置の構成例を示すブロック図である。 図11は、実施形態に係るオペレータ装置の構成例を示すブロック図である。 図12は、実施形態に係る情報処理装置による処理の流れの一例を示すフローチャートである。 図13は、実施形態に係る情報処理装置による処理の流れの一例を示すフローチャートである。 図14は、他の実施形態に係る情報処理装置の構成例を示すブロック図である。 図15は、他の実施形態に係る地域関連情報格納部に記憶される地域関連情報の一例を示す図である。 図16は、他の実施形態に係る情報処理装置による処理の流れの一例を示すフローチャートである。 図17は、他の実施形態に係る地域関連情報の表示例を示す図である。 図18は、他の実施形態に係る情報処理装置の処理の概要を示す図である。
本出願に係る実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
図1は、実施形態に係る健康管理システムの構成例を示す図である。図1に示すように、実施形態に係る健康管理システムSYSは、複数のユーザ装置1−1〜1−n(nは2以上の整数)と、複数のオペレータ装置20−1〜20−m(mは、2以上の整数)と、複数の測定装置50−1〜50−nと、情報処理装置100とを含む。複数のユーザ装置1−1〜1−n、複数のオペレータ装置20−1〜20−m、及び情報処理装置100は、通信ネットワーク30に接続される。複数のユーザ装置1−1〜1−n、複数のオペレータ装置20−1〜20−m、及び情報処理装置100は、それぞれ、通信ネットワーク30を介して、データ通信が可能である。なお、ユーザ装置及びオペレータ装置は、1つのみ備えるとしてもよい。
以下の説明において、ユーザ装置1−1〜1−nを特に区別することなく、ユーザ装置1と総称して説明する場合がある。また、以下の説明において、オペレータ装置20−1〜20−mを特に区別することなく、オペレータ装置20と総称して説明する場合がある。また、以下の説明において、測定装置50−1〜50−nを特に区別することなく、測定装置50と総称して説明する場合がある。
ユーザ装置1及びオペレータ装置20は、例えば、PC(Personal Computer)や、タブレット型端末や、スマートフォンや携帯電話機、PDA(Personal Digital Assistant)等の情報処理端末である。情報処理装置100は、ユーザ装置1とオペレータ装置20との間の映像通話(ビデオ通話)を制御するサーバ装置である。
通信ネットワーク30は、たとえば、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等である。通信ネットワーク30の接続形態は、無線であるか、有線であるか、又は無線及び有線の組合せであるかを問わない。
情報処理装置100は、ユーザ装置1のユーザに対して、健康管理に関するアドバイスを行うオペレータとの映像通話サービス(ビデオ通話サービス)を提供する。
ユーザ装置1は、情報処理装置100により提供される映像通話サービスの利用者であるユーザ装置1のユーザにより操作される。ユーザ装置1のユーザは、映像通話サービスを介して、オペレータによる健康管理に関する面談(カウンセリング)を受ける。ユーザ装置1は、オペレータ装置20に健康管理に必要な各種情報をアップロードする機能や、オペレータ装置20との間で映像通話を行うためのデータ通信機能などの各種機能を有する。ユーザ装置1は、測定装置50により測定される端末ユーザの体重、体脂肪率、血圧、脈拍など計測値、並びに歩数などの活動量を取得し、情報処理装置100に送信する。以下の説明において、ユーザ装置1のユーザを「端末ユーザ」又は「相談者」と記載する場合がある。
オペレータ装置20は、ユーザ装置1のユーザと、健康管理に関する面談(カウンセリング)を行うオペレータにより操作される。オペレータは、医師、看護師、管理栄養士、保健師などの資格を有するものが想定される。オペレータ装置20は、情報処理装置100から相談者の健康管理に必要な各種情報を取得する機能、ユーザ装置1との間で映像通話を行うためのデータ通信機能、及び健康管理に必要な各種情報をオペレータに提供する機能などの各種機能を有する。
測定装置50は、ユーザ装置1のユーザの健康管理に必要な情報を計測する。測定装置50は、たとえば端末ユーザの体重を計測する体重計、体重に加えて体脂肪率等を計測する体組成計、体温を計測する体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計、血糖値を測定する血糖値計を含む。測定装置50は、たとえば家庭内に設置される計器や端末ユーザの体に装着して利用されるウェアラブル装置などを含む。
図2は、実施形態に係る情報処理装置100による処理の概要を示す図である。情報処理装置100は、ユーザ装置1とオペレータ装置20との間で実行される映像通話を制御する。たとえば情報処理装置100は、オペレータとの面談を希望する相談者から映像通話開始要求を受け付けると、対応可能なオペレータをアサインして、相談者とオペレータとの間の映像通話に関する処理を実行する。
情報処理装置100は、映像通話により面談を実施中である相談者及びオペレータが利用可能な拡張機能を備える。かかる拡張機能として、オペレータの実際の容姿及び相談者の実際の容姿が互いに映像通話の相手側に認識されないように、ユーザ装置1に表示されるオペレータ側の映像及びオペレータ装置20に表示される相談者側の映像を加工又は変換する機能や、ユーザ装置1から出力されるオペレータの声音、及びオペレータ装置20から出力される相談者の声音を、実際の声音とは異なる声音に変換する機能などが例示できる。
このように、情報処理装置100は、上記拡張機能を駆使しながら、ユーザ装置1とオペレータ装置20との間の映像通話に関する処理を制御する。そして、かかる情報処理装置100は、本開示の実施形態において、相談者が予め設定する地域に応じて、オペレータの発話を変換することを概要とする。発話の変換は、以下に説明するように、発話表現の変換及び発話内容の変換を含む。
具体的には、図2に示すように、情報処理装置100は、地域情報格納部210と、発話変換ツール220とを備える。
地域情報格納部210は、情報処理装置100が提供する映像通話サービスを利用するユーザにより予め設定される地域の情報を記憶する。地域情報格納部210は、ユーザIDと、地域IDと、該当地域の項目を有し、これらの項目が相互に対応付けられている。図2に示す例では、ユーザ装置1のユーザU1に対応するユーザID:「U001」と、地域ID:「R5」と、該当地域:「近畿」とが対応付けられている。
発話変換ツール220は、オペレータの発話表現を、面談中の相談者により予め設定される地域の方言に合わせた表現(言い回し)に変換するための機能、並びにオペレータの発話内容に含まれる料理又は食材の名称を、面談中の相談者により予め設定される地域に応じた別名に変換するための機能などを提供する。図2では、発話変換ツール220による発話表現:「良いですよ」の変換候補として「ええよ」が例示され、発話変換ツール220による料理の名称:「おでん」の変換候補として「関東煮」が例示されている。
図2に例示する相談者とオペレータとの間のやり取りを交えつつ、情報処理装置100の処理の概要について説明する。
オペレータ装置20には、ユーザ装置1との映像通話中、相談者(「特許太郎」)の姿(たとえば「アバターAVT1」)を含む相談者側の映像がディスプレイ22bに表示され、相談者側の音声がスピーカなどから出力される。また、ユーザ装置1には、オペレータ装置20との映像通話中、オペレータ(「意匠花子」)の姿(たとえば「アバターAVT2」)を含むオペレータ側の映像がタッチスクリーンディスプレイ2に表示され、相談者の発話音声がスピーカなどから出力される。
情報処理装置100は、「おすすめの料理を教えてください。」という相談者(「特許太郎」)からの質問の音声をユーザ装置1から受信すると(ステップS11)、受信した音声をオペレータ装置20に転送する(ステップS12)。
オペレータ装置20には、「おすすめの料理を教えてください。」という相談者(「特許太郎」)からの質問に対応する音声V1が出力される。
情報処理装置100は、相談者からの質問に答える形で、オペレータ(「意匠花子」)により発せられた「おでんが良いですよ。」という音声をオペレータ装置20から受信すると(ステップS13)、相談者(「特許太郎」)が予め設定する地域に応じて、オペレータの発話を変換する(ステップS14)。
具体的には、情報処理装置100は、地域情報格納部210を参照して、相談者が予め設定する地域を特定する。たとえば情報処理装置100は、映像通話開始要求に含まれるユーザID(「U001」)に対応する地域ID(「R5」)を、相談者が予め設定する地域の情報として取得する。
続いて、情報処理装置100は、オペレータの発話内容を解析し、料理又は食材の名称が含まれるか否かを判定する。情報処理装置100は、オペレータの発話内容に料理又は食材の名称が含まれる場合、発話変換ツール220を参照して、相談者の地域に応じた別名に変換する。たとえばオペレータの発話内容に料理の名称である「おでん」が含まれる場合、相談者が予め設定する地域の情報として取得した地域ID「R5」に基づいて、「おでん」を「関東煮」に変換する。
さらに、情報処理装置100は、発話変換ツール220を参照して、相談者の地域として取得した地域ID「R5」に基づいて、オペレータの発話表現を、相談者の設定地域の情報として取得した地域ID「R5」の方言に合わせた表現(言い回し)に変換する。
そして、情報処理装置100は、変換後の音声、すなわち「関東煮がええよ。」という音声を、オペレータの発話に対応する音声としてユーザ装置1に送信する(ステップS15)。
なお、オペレータの発話内容に料理又は食材の名称が含まれない場合、上述した発話表現の変換のみを実行する。
ユーザ装置1には、「関東煮がええよ。」というオペレータ(「意匠花子」)からの返答の音声V2が出力される。
このように、実施形態に係る健康管理システムにおいて、情報処理装置100は、オペレータと健康管理に関する面談を行う相談者が予め設定する地域に応じて、オペレータの発話を変換する。これにより、実施形態に係る情報処理装置100は、オペレータに対する相談者の親近感を高めることができ、より円滑なコミュニケーションの進行を促すことができる。その結果、実施形態に係る情報処理装置100は、オペレータと相談者との間のコミュニケーションの充実化に寄与できる。
図3を参照しつつ、実施形態に係る情報処理装置100の構成について説明する。図3は、実施形態に係る情報処理装置100の構成例を示すブロック図である。
図3に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを備える。
通信部110は、通信ネットワーク30に接続された装置との間で各種情報のやり取りを行うためのNIC(Network Interface Card)等のインターフェイスである。通信部110は、ユーザ装置1とオペレータ装置20との間で実行される映像通話を制御するための通信プロトコルをサポートする。映像通話を実現するための通信部110がサポートする通信プロトコルは、たとえばVoIP(Voice over Internet Protocol)やVoLTE(Voice over LTE)などを含む。制御部130は、通信部110を介して、ユーザ装置1及びオペレータ装置20などとの間でデータ通信を行う。
記憶部120は、制御部130による各種処理等を実現するプログラム及びデータを記憶する。記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、制御部130の処理結果を一時的に記憶する作業領域としても利用される。
図3に示すように、記憶部120は、地域情報格納部210と、発話変換ツール220と、アバター設定ツール格納部230と、計測値情報格納部240と、食事情報格納部250と、健康診断情報格納部260とを備える。
地域情報格納部210は、映像通話サービスを利用するユーザが予め設定する地域を含む地域情報を記憶する。映像通話サービスを利用するユーザには、映像通話を介して行われるオペレータとの健康管理に関する面談を希望する相談者が含まれる。図4は、実施形態に係る地域情報格納部210に記憶される地域情報の一例を示す図である。図4に示すように、地域情報格納部210に記憶される地域情報は、ユーザID、地域ID、及び該当地域の項目を有し、これらの項目は互いに対応付けられている。ユーザIDは、映像通話サービスを利用するユーザに一意に割り当てられる識別情報である。地域IDは、予め複数に区分けされた日本列島の各地域に対して、それぞれ一意に割り当てられる識別情報である。該当地域は、予め複数に区分けされた日本の各地域に対応する名称である。実施形態において、日本列島が「北海道」、「東北」、「関東」、「中部」、「近畿」、「中国」、「四国」、「九州」の8つの地域に予め区分けされる例を説明する。実施形態において、図4に例示するように、ユーザID:「U001」と、地域ID:「R5」と、該当地域:「近畿」とが対応付けられており、これらの情報は、ユーザID:「U001」が割り当てられた端末ユーザによって、地域情報として「近畿」が予め設定されたことを示す。また、図4に例示するように、ユーザID:「U002」と、地域ID:「R3」と、該当地域:「関東」とが対応付けられており、これらの情報は、ユーザID:「U002」が割り当てられた端末ユーザによって、地域情報として「関東」が予め設定されたことを示す。地域情報に含まれるユーザIDは、たとえば映像通話サービスの利用者登録時に、情報処理装置100によって付与される。また、地域情報に含まれる地域IDは、たとえば映像通話サービスの利用者登録時に、ユーザ装置1のユーザにより選択された該当地域に応じて自動的に設定されてもよく、情報処理装置100の管理者により手動で設定されてもよい。地域情報格納部210に記憶される地域情報は、大陸、地域、国、都道府県、市町村その他の行政区画その他の地域に関する情報でよい。
発話変換ツール220は、オペレータの発話表現を、面談中の相談者により予め設定される地域の方言に合わせた表現(言い回し)に変換するための機能などを提供する。発話変換ツール220は、たとえばオペレータ装置20から受信した音声データをユーザ装置1に転送する前に、オペレータの音声データをリアルタイムで解析し、解析結果に従って、オペレータの発話表現を地域の方言に合わせた表現(言い回し)に変換した後、ユーザ装置1に転送するためのプログラム及びデータなどで構成される。
図5は、実施形態に係る発話変換ツール220による発話表現の変換例を示す図である。図5に例示するように、発話変換ツール220は、各地方に対応する変換候補の中から、相談者の地域の方言に合わせた表現にオペレータの発話表現を変換できる。たとえばオペレータの発話表現が「良いですよ」である場合、相談者の地域が「近畿」であれば、発話変換ツール220によって、「良いですよ」という発話表現が「ええよ」に変換される。また、相談者の地域が「近畿」である時、「ええですよ」、「ええで」などの発話表現を「良いですよ」の変換候補とすることもできる。図5に示す発話表現の変換例は、あくまで一例であり、地方の方言に合わせた表現であれば任意の発話表現を適宜採用できる。
また、発話変換ツール220は、オペレータの発話内容に含まれる料理又は食材の名称を、面談中の相談者により予め設定される地域に応じた別名に変換するための機能をさらに提供できる。このとき、発話変換ツール220は、たとえばオペレータ装置20から受信した音声データをユーザ装置1に転送する前に、オペレータの音声データをリアルタイムで解析し、解析結果に従って、オペレータの発話内容に含まれる料理又は食材の名称を抽出し、抽出した名称を地域に応じた別名に変換した後、ユーザ装置1に転送するためのプログラム及びデータなどをさらに含んで構成される。
図6は、実施形態に係る発話変換ツール220による発話内容の変換例を示す図である。図6に示すように、発話変換ツール220は、各地方に対応する変換候補の中から、オペレータの発話内容に含まれる料理の名称などを、地方に応じた別名に変換できる。たとえばオペレータの発話内容に含まれる料理の名称が「おでん」であるとき、相談者の地域が「近畿」であれば、発話変換ツール220によって、オペレータの発話内容に含まれる「おでん」が「関東煮(かんとだき)」に変換される。
アバター設定ツール格納部230は、映像通話により面談中の相談者及びオペレータが利用可能な拡張機能を提供する。かかる拡張機能は、たとえば、オペレータの実際の容姿及び相談者の実際の容姿が互いに映像通話の相手側に認識されないように、ユーザ装置1に表示されるオペレータ側の映像及びオペレータ装置20に表示される相談者側の映像を加工又は変換する機能を含む。相談者及びオペレータの容姿を加工又は変換する機能は、ユーザ装置1及びオペレータ装置20に表示される映像において、オペレータ及び相談者の容姿を、アニメーションなどを用いた仮想的なキャラクターに変換するものであってもよいし、オペレータ及び相談者の実際の容姿の一部を加工するものであってもよい。相談者及びオペレータの容姿を加工又は変換する機能は、たとえば相談者及びオペレータの操作に応じて自動的に容姿を加工又は変換できる。なお、アバター設定ツール格納部230の機能は、オペレータの実際の容姿及び相談者の実際の容姿の少なくとも一方が互いに映像通話の相手側に認識されないように、ユーザ装置1に表示されるオペレータ側の映像及びオペレータ装置20に表示される相談者側の映像の少なくとも一方を加工又は変換する機能を含む。また、アバター設定ツール格納部230は、オペレータの実際の容姿及び相談者の実際の容姿の双方を加工又は変換しないものとしてもよい。
また、上述の拡張機能は、ユーザ装置1から出力されるオペレータの声音、及びオペレータ装置20から出力される相談者の声音の少なくとも一方を、実際の声音とは異なる声音に変換する機能を含んでよい。相談者及びオペレータの声音を変換する機能は、たとえば、相談者及びオペレータの容姿の変更に伴って、予め関連付けられた声音に自動的に変換されてもよいし、相談者及びオペレータの操作に応じて変換されてもよい。また、相談者及びオペレータの声音を変換する機能は、オペレータの声音を、方言が発話されるときに伴う特有の音程や音質、抑揚などに合わせて変換する機能を含んでよい。すなわち、かかる機能によれば、オペレータの声音を、相談者の地域の方言に合わせて、相談者にとって違和感のない方言の音程などを伴った声音に変換できる。
計測値情報格納部240は、ユーザ装置1のユーザに関する各種の計測値の情報を記憶する。図7は、実施形態に係る計測値情報格納部240に記憶される計測値の概要を説明する図である。図7に示すように、計測値の情報は、ユーザ装置1のユーザに一意に割り当てられるユーザIDに対応付けられる。計測値の情報は、計測が行われた日付、ユーザ装置1のユーザの体重、体脂肪率、血圧、脈拍などの計測値、並びにユーザ装置1のユーザの歩数などの活動量などを含む。計測値情報格納部240に記憶される計測値の情報は、たとえばユーザ装置1から定期的に取得され、計測値情報格納部240に記憶される。
食事情報格納部250は、ユーザ装置1のユーザの食事内容に関する情報を記憶する。図8は、実施形態に係る食事情報格納部250に記憶される食事内容に関する情報の概要を説明する図である。食事内容に関する情報は、ユーザ装置1のユーザに一意に割り当てられるユーザIDに対応付けられる。食事内容に関する情報は、食事の日付、朝食、昼食並びに夕食の食事の内容、及び備考を含む。備考は、間食をした場合など、ユーザ装置1のユーザが食事に関連して申告すべき情報がある場合に利用される。食事の内容については、ユーザ装置1のユーザが入力するテキストデータにより記録されたものであってもよいし、カメラ13などを用いて撮像した画像データにより記録されたものであってもよい。食事内容に関する情報は、ユーザ装置1から定期的に取得され、食事情報格納部250に記憶される。
健康診断情報格納部260は、ユーザ装置1のユーザの健康診断結果に関する情報を記憶する。図9は、実施形態に係る健康診断情報格納部260に記憶される健康診断結果に関する情報の概要を説明する図である。図9に示すように、健康診断結果に関する情報は、ユーザ装置1のユーザに一意に割り当てられるユーザIDに対応付けられる。健康診断結果に関する情報は、スキャニングにより所定のデータ形式に変換された文書ファイルであってもよいし、カメラ13などを用いて撮像された画像データであってもよい。
記憶部120は、必要に応じて、映像通話における各種情報の送受信に対応したWebRTC(Web Real Time Communication)などのAPIを記憶することもできる。
制御部130は、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、ユーザ装置1内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、たとえばASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
制御部130は、ユーザ装置1のユーザが記録した計測値、食事内容に関する情報、並びに健康診断結果に関する情報をユーザ装置1から取得し、記憶部120に記憶させる。制御部130は、記憶部120に記憶させた計測値の情報、食事内容に関する情報、及び健康診断結果に関する情報が最新の状態となるように、ユーザ装置1から定期的に取得して更新する。
制御部130は、ユーザ装置1とオペレータ装置20との間の映像通話処理を制御する。たとえば制御部130は、オペレータとの面談を希望する相談者から映像通話開始要求を受け付けると、対応可能なオペレータをアサインして、相談者とオペレータとの間の映像通話に関する処理を実行する。具体的には、制御部130は、相談者のユーザ装置1、及び面談担当としてアサインしたオペレータのオペレータ装置20に対して、ユーザ装置1とオペレータ装置20とを映像通話接続するためのURL(Uniform Resource Locator)を送信する。そして、制御部130は、ユーザ装置1及びオペレータ装置20によるURLへのアクセスに応じて、ユーザ装置1及びオペレータ装置20からそれぞれ取得するIPアドレスを関連付けて登録することにより、相談者とオペレータとの間の映像通話のセッションを管理する。制御部130は、かかるセッションの管理を通じて、ユーザ装置1とオペレータ装置20とで映像通話中にやり取りされる各種データの通信を制御する。なお、制御部130は、URLを用いて映像通話接続を実行する場合に特に限定される必要はなく、代替可能な各種手段を用いて映像通話接続を実行できる。
また、制御部130は、アバター設定ツール格納部230に記憶されたアバター設定ツールを実行することにより、映像通話による面談を実施中である相談者及びオペレータが利用可能な拡張機能に基づく処理を実行できる。制御部130が実行する拡張機能に基づく処理は、オペレータの実際の容姿及び相談者の実際の容姿が互いに映像通話の相手側に認識されないように、ユーザ装置1に表示されるオペレータ側の映像及びオペレータ装置20に表示される相談者側の映像を加工又は変換する処理を含む。かかる処理により、たとえば映像通話中にユーザ装置1に表示されるオペレータの容姿やオペレータ装置20に表示される相談者の容姿を仮想的なキャラクター(アバター)に変換できる。さらに制御部130が実行する拡張機能に基づく処理は、ユーザ装置1から出力されるオペレータの声音、及びオペレータ装置20から出力される相談者の声音を、実際の声音とは異なる声音に変換する処理を含んでよい。また、かかる処理によって、たとえばオペレータの声音が、相談者の地域の方言に合わせて、相談者にとって違和感のない方言に特有の音程などを伴った声音に変換されてもよい。
制御部130は、アバター設定ツール格納部230に記憶されたアバター設定ツールを実行することにより、たとえばユーザ装置1とオペレータ装置20との間の映像通話処理の開始に先立って、仮想的なキャラクターの設定を行うための設定画面をユーザ装置1及びオペレータ装置20にそれぞれ提供し、当該設定画面を通じて、仮想的なキャラクターの設定を相談者及びオペレータからそれぞれ受け付けることができる。制御部130は、ユーザ装置1において撮影される相談者の画像、及びオペレータ装置20において撮影されるオペレータの画像に基づいて、相談者及びオペレータの動作をそれぞれ解析し、相談者及びオペレータのキャラクターの動作をそれぞれ、相談者及びオペレータの実際の動作に連動させることもできる。なお、制御部130は、予め定められる設定に基づいて、相談者及びオペレータの動作とは無関係に動作するキャラクターを表示させてもよい。
また、制御部130は、映像通話を介して、オペレータが相談者との健康管理に関する面談を実行中、オペレータ装置20に対して、計測値の情報、食事内容に関する情報、健康診断結果に関する情報を提供できる。
また、制御部130は、オペレータ装置20から受信した音声データをユーザ装置1に転送する前に、発話変換ツール220を用いることにより、相談者が予め設定する地域に応じて、オペレータの発話表現や発話内容を変換する処理を実行する。たとえば制御部130は、オペレータの音声データをリアルタイムで解析し、解析結果に従って、オペレータの発話表現を地域の方言に合わせた表現(言い回し)に変換した後、ユーザ装置1に転送する処理を実行する。また、制御部130は、オペレータの音声データをリアルタイムで解析し、解析結果に従って、オペレータの発話内容に含まれる料理又は食材の名称を抽出し、抽出した名称を地域に応じた別名に変換した後、ユーザ装置1に転送する処理を実行する。
図10を用いて、実施形態に係るユーザ装置1の構成例を説明する。図10は、実施形態に係るユーザ装置1の構成例を示すブロック図である。
ユーザ装置1は、たとえばスマートフォンや携帯電話装置などであり、かかるユーザ装置1は、図10に示すように、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、GPS(Global Positioning System)レシーバ18とを有する。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別できる。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はユーザ装置1を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
ボタン3は、ユーザからの操作入力を受け付ける。ボタン3の数は、任意の数であってよい。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。ボタン3は、例えばメニューボタン、パワーオンボタン、パワーオフボタン(電源ボタン)、リセットボタンなどの各種機能が割り当てられてよい。ボタン3は、音声入力の処理を実行させる機能が割り当てられてよい。
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、赤外線を照射する発光素子と、発光素子から照射された赤外線の反射光を受光する受光素子を有する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(登録商標)(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、PHS(Personal Handy-phone System)等がある。
通信ユニット6によってサポートされる近距離無線の通信規格としては、例えば、WiMAX(登録商標)(Worldwide interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(登録商標)(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
通信ユニット6は、情報処理装置100を介して、オペレータ装置20との間で実行される映像通話を実現するための通信プロトコルをサポートできる。映像通話を実現するための通信ユニット6がサポートする通信プロトコルは、たとえばVoIP(Voice over Internet Protocol)やVoLTE(Voice over LTE)などを含む。コントローラ10は、通信ユニット6を介して、オペレータ装置20及び情報処理装置100との間でそれぞれデータ通信を行う。通信ユニット6は、オペレータ装置20とのデータ通信により、オペレータ装置20においてオペレータにより入力されたオペレータの発話に対応する音声データを取得できる。
レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。レシーバ7およびスピーカ11は、オペレータの発話に対応する音声データをオペレータの音声として出力できる。
ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9が記憶するプログラムおよびデータの一部または全部は、通信ユニット6による無線通信でアクセス可能なクラウドストレージなどの他の装置からダウンロードされてもよい。ストレージ9が記憶するプログラムおよびデータの一部または全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。ストレージ9が記憶するプログラムおよびデータの一部または全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu−ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、およびソリッドステート記憶媒体を含むが、これらに限定されない。
ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bを介して検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9に導入されてもよい。
ストレージ9に記憶されるプログラムは、ユーザ装置1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能は、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能を含む。制御プログラム9Aが提供する機能は、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能を含む。制御プログラム9Aが提供する機能は、コネクタ14を介して接続される外部機器との間の通信を制御する機能を含む。制御プログラム9Aが提供する機能は、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能を含む。
ストレージ9は、たとえば制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、健康管理アプリケーション9D、および設定データ9Zを記憶する。制御プログラム9Aは、ユーザ装置1を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、検出される操作に応じて、アプリケーションを起動または終了させる。
メールアプリケーション9Bは、電子メールの作成、送信、受信、および表示等のための電子メール機能を提供する。ブラウザアプリケーション9Cは、WEBページを表示するためのWEBブラウジング機能を提供する。ユーザ装置1は、ブラウザアプリケーション9Cが提供するWEBブラウジング機能を用いて、情報処理装置100を介し、オペレータ装置20との間の映像通話を実行できる。
健康管理アプリケーション9Dは、制御プログラム9Aと連携しつつ、実施形態に係るユーザ装置1に特有の処理を実現するための各種機能を提供できる。健康管理アプリケーション9Dは、たとえば健康管理アプリケーション9Dが有する各種機能を実行するためのユーザインターフェースを提供できる。
健康管理アプリケーション9Dは、ユーザ装置1や測定装置50により計測された端末ユーザに関する計測値を記録する機能や、記録した計測値をディスプレイ2Aに表示するユーザインターフェースを介して端末ユーザに提供するめの機能を提供できる。
また、健康管理アプリケーション9Dは、ユーザ装置1や測定装置50により計測された端末ユーザに関する計測値を情報処理装置100にアップロードするための機能を提供できる。
設定データ9Zは、ユーザ装置1の動作に関する各種の設定に関する情報を含む。また、ストレージ9は、必要に応じて、映像通話における各種情報の送受信に対応したWebRTC(Web Real Time Communication)などのAPIを記憶することもできる。
上述した制御プログラム9Aが、健康管理アプリケーション9Dにより提供される機能の一部を担ってもよい。あるいは健康管理アプリケーション9Dにより提供される機能の一部が、本実施形態に特有の処理を実現するために専用に作成されたプログラム、あるいは既存プログラム又はアプリケーションに対するアドオンなどで実装されてもよい。
コントローラ10は演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびココントローラを含むが、これらに限定されない。コントローラ10は、ユーザ装置1の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、レシーバ7、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、およびGPSレシーバ18を含むが、これらに限定されない。
コントローラ10は、ストレージ9に記憶されるプログラムを実行することにより、ユーザ装置1の動作に関する各種制御を実現できる。コントローラ10は、例えば、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整できる。コントローラ10は、例えば、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効にできる。コントローラ10は、例えば、コネクタ14を介して接続される外部機器との間の通信を制御できる。コントローラ10は、例えば、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を実行できる。
コントローラ10は、たとえばブラウザアプリケーション9Cが提供するWEBブラウジング機能などを用いて、オペレータ装置20との間の映像通話に関する各種処理を実行できる。たとえば、端末ユーザが、情報処理装置100から送信されたURLにアクセスすることにより、オペレータ装置20との映像通話が開始される。また、コントローラ10は、たとえば健康管理アプリケーション9Dにより提供される機能を用いて、ユーザ装置1や測定装置50により計測された端末ユーザに関する計測値を記録する処理、記録した計測値の情報をディスプレイ2Aに表示するユーザインターフェースを介して端末ユーザに提供する処理、計測値の情報を情報処理装置100にアップロードする処理などを実行できる。
カメラ12は、ユーザ装置1のフロントフェイスに面している物体を撮像するインカメラである。カメラ13は、ユーザ装置1のバックフェイスに面している物体を撮像するアウトカメラである。カメラ12は、たとえば映像通話中、ユーザ装置1のユーザU1の姿を撮像するためにも用いられる。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、MHL(Mobile High−difinition Link)、ライトピーク(Light Peak)、サンダーボルト(登録商標)(Thunderbolt)、LANコネクタ(Local Area Network connector)、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用に設計された端子でもよい。コネクタ14に接続される装置は、例えば、飛行体、充電器、外部ストレージ、通信装置、及び情報処理装置を含むが、これらに限定されない。
加速度センサ15は、ユーザ装置1に働く加速度の方向および大きさを検出する。加速度センサ15の検出結果は、ユーザ装置1のユーザの歩数を検出するために利用することもできる。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、ユーザ装置1の角度および角速度を検出する。加速度センサ15、方位センサ16およびジャイロスコープ17の検出結果は、ユーザ装置1の位置および姿勢の変化を検出するために、組み合わせて利用される。GPSレシーバ18は、ユーザ装置1の位置を検出する。
図10に示すユーザ装置1の構成は一例であり、本発明の要旨を損なわない範囲において適宜変更してよい。図10に例示するユーザ装置1は、カメラ12およびカメラ13を備えるが、たとえばインカメラ及びアウトカメラを切り換え可能な1つのカメラを備えてもよい。図10に例示するユーザ装置1は、ユーザ装置1の位置および姿勢を検出するために複数種類のセンサを備えるが、これらのうちいくつかのセンサを備えなくてもよい。あるいは、ユーザ装置1は、ユーザ装置1の位置および姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。
図11を参照しつつ、実施形態に係るオペレータ装置20の構成を説明する。図11は、実施形態に係るオペレータ装置20の構成例を示すブロック図である。図11に示すように、オペレータ装置20は、たとえばパーソナルコンピュータ等であり、入力部21と、出力部22と、通信部23と、記憶部24と、制御部25とを有する。
入力部21は、各種データを入力する。入力部21は、マイク21a及びカメラ21bを有する。マイク21aは、たとえばオペレータ装置20を操作するオペレータの音声等を音信号へ変換して制御部25へ送信する。カメラ21bは、たとえばオペレータ装置20に面するオペレータの姿を撮像する。
出力部22は、各種データを出力する。出力部22は、スピーカ22a及びディスプレイ22bを有する。スピーカ22aは、制御部25から送信される音信号を音として出力する。ディスプレイ22bは、制御部25から送信される映像信号に基づく画像を出力する。
通信部23は、通信ネットワーク30に接続された装置との間で各種情報のやり取りを行うためのNIC(Network Interface Card)等のインターフェイスである。通信部23は、情報処理装置100を介して、ユーザ装置1との間で映像通話を行うための通信プロトコルをサポートする。映像通話を実現するための通信部23がサポートする通信プロトコルは、たとえばVoIP(Voice over Internet Protocol)やVoLTE(Voice over LTE)などを含む。制御部25は、通信部23を介して、ユーザ装置1及び情報処理装置100などとの間でそれぞれデータ通信を行う。
記憶部24は、制御部25による各種処理等を実現するプログラム及びデータを記憶する。記憶部24は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部24は、制御部130の処理結果を一時的に記憶する作業領域としても利用される。かかる記憶部24は、ブラウザ格納部24aを備える。
ブラウザ格納部24aは、WEBブラウング機能を提供するブラウザを記憶する。また、記憶部24は、必要に応じて、映像通話における各種情報の送受信に対応したWebRTC(Web Real Time Communication)などのAPIを記憶することもできる。
制御部25は、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、オペレータ装置20内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部25は、たとえばASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
制御部25は、ブラウザ格納部14aに記憶されるブラウザなどを用いて、ユーザ装置1との間の映像通話に関する各種処理を実行できる。たとえば、オペレータが、情報処理装置100から送信されたURLにアクセスすることにより、ユーザ装置1との映像通話が開始される。
図12及び図13を参照しつつ、実施形態に係る情報処理装置100の処理の流れを説明する。図12及び図13は、実施形態に係る情報処理装置100による処理の流れの一例を示すフローチャートである。
図12を用いて、情報処理装置100による映像通話を開始までの処理の流れを説明する。図12に示す処理は、情報処理装置100が備える制御部130により実行される。
図12に示すように、制御部130は、オペレータとの面談を希望する相談者のユーザ装置1から映像通話開始要求を受信すると(ステップS101)、対応可能なオペレータを検索して、検索したオペレータをアサインする(ステップS102)。
続いて、制御部130は、ユーザ装置1とオペレータ装置20の映像通話接続処理を実行して(ステップS103)、図12に示す処理を終了する。
図12に示す処理において、制御部130は、相談者のキャラクター設定処理や、オペレータのキャラクター設定処理などを合わせて実行できる。
続いて、図13を用いて、映像通話接続後の情報処理装置100の処理の流れを説明する。図13に示す処理は、情報処理装置100が備える制御部130により実行される。
図13に示すように、制御部130は、地域情報格納部210に記憶されている地域情報を参照し、相談者のユーザIDに基づいて、相談者により予め設定された設定地域を特定する(ステップ201)。制御部130は、たとえばユーザ装置1から受信した映像通話開始要求に含まれる情報の中から相談者のユーザIDを取得できる。
続いて、制御部130は、オペレータの発話に対応する音声データをオペレータ装置20から受信したか否かを判定する(ステップS202)。
制御部130は、判定の結果、オペレータの発話に対応する音声データを受信した場合(ステップS202,Yes)、オペレータの音声データを解析して、オペレータの発話表現及び発話内容を認識する(ステップS203)。
続いて、制御部130は、オペレータの発話内容に料理又は食材の名称が含まれるか否かを判定する(ステップS204)。
制御部130は、判定の結果、オペレータの発話内容に料理又は食材の名称が含まれる場合(ステップS204,Yes)、発話変換ツール202を用いて、相談者の設定地域に応じた変換候補(別名)があるか否かを判定する(ステップS205)。
制御部130は、判定の結果、相談者の設定地域に応じた変換候補がある場合(ステップS205,Yes)、料理又は食材の名称を変換候補である別名に変換する(ステップS206)。
続いて、制御部130は、発話変換ツール202を用いて、オペレータの発話表現を相談者の設定地域の方言に合わせた表現に変換し(ステップS207)、変換後の音声データをユーザ装置1に送信する(ステップS208)。
続いて、制御部130は、通話が終了したか否かを判定する(ステップS209)。制御部130は、判定の結果、通話が終了していない場合(ステップS209,No)、上記ステップS202の処理手順に戻る。
一方、制御部130は、判定の結果、通話が終了した場合(ステップS209,Yes)、図13に示す処理を終了する。
上記ステップS205において、制御部130は、判定の結果、相談者の設定地域に応じた別名に変換候補がない場合(ステップS205,No)、上記ステップS207の処理手順に移る。
上記ステップS204において、制御部130は、判定の結果、オペレータの発話内容に料理又は食材の名称が含まれない場合(ステップS204,No)、上記ステップS207の処理手順に移る。
上記ステップS202において、制御部130は、判定の結果、オペレータの発話に対応する音声データを受信していない場合(ステップS202,No)、上記ステップS209の判定に移る。
上述してきたように、実施形態に係る情報処理装置100は、オペレータから健康管理に関するアドバイスを受ける相談者が予め設定する地域に応じて、オペレータの発話表現及び発話内容を変換する。これにより、実施形態に係る情報処理装置100は、オペレータに対する相談者の親近感を高めることができ、より円滑なコミュニケーションの進行を促すことができる。その結果、実施形態に係る情報処理装置100は、オペレータと相談者との間のコミュニケーションの充実化に寄与できる。
実施形態に係る情報処理装置100は、上述してきた実施形態以外にも種々の異なる形態にて実施されてよい。
図14は、他の実施形態に係る情報処理装置100の構成例を示すブロック図である。図14に示す情報処理装置100は、記憶部120が地域関連情報格納部270を備える点が上述した実施形態とは相違する。
地域関連情報格納部270は、予め複数に区分けされた日本の地方に対応する各地域に関連する地域関連情報をそれぞれ記憶する。図15は、他の実施形態に係る地域関連情報格納部270に記憶される地域関連情報の一例を示す図である。地域関連情報は、地域ID、該当地域、及び関連情報の項目を有し、これらの項目は互いに対応付けられている。関連情報は、地域関連情報が記録された各種データファイルのファイルIDなどの情報や、地域関連情報を掲載する関連リンクの情報などを含む。地域関連情報は、該当の地域で行われる各種イベントの情報や散策コースなどの相談者の身体活動に役立つ情報を含んでよい。地域関連情報格納部270は、地域関連情報が記録された各種データファイルを記憶できる。
制御部130は、相談者とオペレータとの面談の開始に先駆けて、相談者の地域関連情報をオペレータ装置20に提供できる。
図16は、他の実施形態に係る情報処理装置100による処理の流れの一例を示すフローチャートである。図16に示す処理は、ステップS302及びステップS302の処理が図13に示す処理とは相違する。
図16に示すように、制御部130は、地域情報格納部210に記憶されている地域情報を参照し、相談者のユーザIDに基づいて相談者の設定地域を特定する(ステップ301)。
続いて、制御部130は、特定した相談者の設定地域に基づいて、地域関連情報格納部270から相談者の設定地域の地域関連情報を取得する(ステップS302)。
そして、制御部130は、取得した地域関連情報をオペレータ装置20に送信する(ステップS303)。
図17は、他の実施形態に係る地域関連情報の表示例を示す図である。図17に示すように、情報処理装置100からオペレータ装置20に送信された地域関連情報は、相談者との面談中の映像を表示するオペレータ装置20のディスプレイ22bに地域関連情報K1として表示される。オペレータは、地域関連情報K1を参照しながら、相談者の地域のイベントや散策コースの情報などを相談者に提供しつつ、相談者に対する健康管理に関するアドバイスの提供を円滑に進めることができる。
以後、ステップS304〜ステップS311までの処理は、図13に示すステップS202〜ステップS209までの処理と同様であるので、説明は省略する。
上述した実施形態において、情報処理装置100は、相談者が予め設定する地域に応じて、オペレータの発話表現及び発話内容を変換する例を説明したが、この例には特に限定される必要はない。図18は、他の実施形態に係る情報処理装置100の処理の概要を示す図である。
図18に示すように、情報処理装置100は、オペレータの音声をそのまま相談者のユーザ装置1に送信する。このとき、情報処理装置100は、オペレータの発話内容に含まれる料理や食材の名称に地域に応じた別名が存在する場合、別名の情報を参考情報としてユーザ装置1に送信することにより、相談者に提供してもよい。また、情報処理装置100は、オペレータの発話内容に含まれる料理や食材の名称に地域に応じた別名が存在する場合、別名の情報を参考情報としてオペレータ装置20に送信して、オペレータに提供してもよい。なお、図18に示す例において、情報処理装置100は、オペレータの発話内容に含まれる料理や食材の名称の別名を参考情報として相談者に提供するが、オペレータの発話表現については相談者が予め設定する地域の方言に合わせた表現に変換してもよい。
また、情報処理装置100は、オペレータの地域に関する情報を予め記憶しておき、オペレータの地域に応じてオペレータの発話表現及び発話内容を変換してもよい。たとえば、情報処理装置100は、オペレータの地域を参照して、オペレータの発話表現を標準語に合わせた表現に変換したり、オペレータの発話内容に含まれる料理等の名称を一般名称に変換したりする処理を実行してもよい。
また、情報処理装置100は、相談者が予め設定する国に応じて、オペレータの発話表現等を変換することもできる。たとえば、オペレータと相談者との国籍が異なる場合、情報処理装置100は、オペレータが用いる言語を、相談者の国籍に合わせた言語に翻訳して、相談者に提供してもよい。また、情報処理装置100は、オペレータの発話内容に含まれる料理の情報や、相談者の国における類似料理の情報などを参考情報として相談者に提供してもよい。
情報処理装置100により実行される処理機能の一部が、ユーザ装置1とオペレータ装置20とに分散されてもよい。たとえば、情報処理装置100には、ユーザ装置1及びオペレータ装置20の映像通話を制御する処理機能が備えられ、ユーザ装置1又はオペレータ装置20いずれかに、情報処理装置100が備える映像通話の制御に関する処理機能以外の他の処理機能、すなわちオペレータの発話表現及び発話内容を変換する処理機能などが備えられていてもよい。
上述した情報処理装置100により実現される処理は、映像通話において実行される例に特に限定される必要はない。たとえば、情報処理装置100により実現される処理が、ユーザ装置1とオペレータ装置20との間でテキストメッセージのやり取りを行うチャットなどのコミュニケーションツールを利用中の場合にも同様に適用されてもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。また上記開示された内容における各構成、方法は適宜開示された他の構成、方法と置き換えることができる。
1 ユーザ装置
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B メールアプリケーション
9C ブラウザアプリケーション
9D 健康管理アプリケーション
9Z 設定データ
10 コントローラ
11 スピーカ
12,13 カメラ
14 コネクタ
15 加速度センサ
16 方位センサ
17 ジャイロスコープ
18 GPSレシーバ
20 オペレータ装置
100 情報処理装置
110 通信部
120 記憶部
130 制御部

Claims (8)

  1. ユーザにより予め設定される地域を含む地域情報を記憶する地域情報格納部と、
    前記ユーザにより操作されるユーザ装置と、オペレータにより操作されるオペレータ装置との間で実行される映像通話を制御する制御部と
    を備え、
    前記制御部は、
    前記映像通話における前記オペレータの発話を前記地域に基づいて変換する情報処理装置。
  2. 前記オペレータの発話表現を前記地域の方言に合わせた表現に変換するための機能を有する発話変換ツールを記憶する発話変換ツール格納部を更に備え、
    前記制御部は、
    前記発話変換ツールを用いて、前記オペレータの発話表現を前記地域の方言に合わせた表現に変換する請求項1に記載の情報処理装置。
  3. 前記発話変換ツールは、
    食品又は料理の名称を前記地域に対応する別名に変換するための機能をさらに有し、
    前記制御部は、
    前記オペレータの発話内容に前記食品又は前記料理の名称が含まれる場合、前記発話変換ツールを用いて、前記オペレータの発話内容に前記食品又は前記料理の名称を前記地域に応じた前記別名に変換する請求項2に記載の情報処理装置。
  4. 前記制御部は、
    前記別名の情報を前記ユーザ装置又は前記オペレータ装置の少なくとも一方に送信する請求項3に記載の情報処理装置。
  5. 前記地域に関連する地域関連情報を記憶する地域関連情報格納部を更に備え、
    前記制御部は、
    前記地域に関連した前記地域関連情報を前記オペレータ装置に送信する請求項1に記載の情報処理装置。
  6. 前記制御部は、
    前記ユーザと前記オペレータとの間で行われる映像通話中における前記オペレータの姿を、前記地域に応じて変換する請求項1に記載の情報処理装置。
  7. ユーザ装置とオペレータ装置との間で実行される映像通話を制御する情報処理装置が行う情報処理方法であって、
    前記映像通話における前記オペレータ装置のオペレータの発話を、前記ユーザ装置のユーザにより予め設定される地域に基づいて変換する
    情報処理方法。
  8. ユーザ装置とオペレータ装置との間で実行される映像通話を制御する情報処理装置に、
    前記映像通話における前記オペレータ装置のオペレータの発話を、前記ユーザ装置のユーザにより予め設定される地域に基づいて変換する処理を実行させる
    情報処理プログラム。
JP2019010616A 2019-01-24 2019-01-24 情報処理装置、情報処理方法および情報処理プログラム Pending JP2020119340A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019010616A JP2020119340A (ja) 2019-01-24 2019-01-24 情報処理装置、情報処理方法および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019010616A JP2020119340A (ja) 2019-01-24 2019-01-24 情報処理装置、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2020119340A true JP2020119340A (ja) 2020-08-06

Family

ID=71890910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019010616A Pending JP2020119340A (ja) 2019-01-24 2019-01-24 情報処理装置、情報処理方法および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP2020119340A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244682A (ja) * 1996-03-08 1997-09-19 Hitachi Ltd 音声認識・音声合成装置
JP2001183155A (ja) * 1999-12-27 2001-07-06 Alpine Electronics Inc 方言解説機能付きナビゲーション装置
US20040215451A1 (en) * 2003-04-25 2004-10-28 Macleod John B. Telephone call handling center where operators utilize synthesized voices generated or modified to exhibit or omit prescribed speech characteristics
JP2016033794A (ja) * 2014-07-31 2016-03-10 株式会社DeNAライフサイエンス 情報管理サーバ、健康管理システム、および、参考情報提示方法
JP2017525167A (ja) * 2014-05-27 2017-08-31 マイクロソフト テクノロジー ライセンシング,エルエルシー 通話中翻訳

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244682A (ja) * 1996-03-08 1997-09-19 Hitachi Ltd 音声認識・音声合成装置
JP2001183155A (ja) * 1999-12-27 2001-07-06 Alpine Electronics Inc 方言解説機能付きナビゲーション装置
US20040215451A1 (en) * 2003-04-25 2004-10-28 Macleod John B. Telephone call handling center where operators utilize synthesized voices generated or modified to exhibit or omit prescribed speech characteristics
JP2017525167A (ja) * 2014-05-27 2017-08-31 マイクロソフト テクノロジー ライセンシング,エルエルシー 通話中翻訳
JP2016033794A (ja) * 2014-07-31 2016-03-10 株式会社DeNAライフサイエンス 情報管理サーバ、健康管理システム、および、参考情報提示方法

Similar Documents

Publication Publication Date Title
CN108351890B (zh) 电子装置及其操作方法
US10217349B2 (en) Electronic device and method for controlling the electronic device
CN105453612B (zh) 消息服务提供装置以及经由其提供内容的方法
EP3116199A1 (en) Wearable-device-based information delivery method and related device
KR102553886B1 (ko) 전자 장치 및 전자 장치의 이미지 제어 방법
KR102481687B1 (ko) 업무 정보 처리 방법 및 이를 지원하는 전자 장치
KR20180083587A (ko) 전자 장치 및 그의 동작 방법
US9900427B2 (en) Electronic device and method for displaying call information thereof
KR20160021637A (ko) 컨텐츠 처리 방법 및 그 전자 장치
KR102561572B1 (ko) 센서 활용 방법 및 이를 구현한 전자 장치
US20220365748A1 (en) Device control using audio data
JP6910300B2 (ja) チャット履歴記録を表示するための方法およびチャット履歴記録を表示するための装置
EP3190527A1 (en) Multimedia data processing method of electronic device and electronic device thereof
US10034151B2 (en) Method for providing point of interest and electronic device thereof
CN108475165B (zh) 电子设备及其控制方法
US11886966B2 (en) Generating data in a messaging system for a machine learning model
EP3929612A1 (en) Electronic device and method for providing location data
CN106293486B (zh) 一种终端之间的交互方法及装置
CN108475162A (zh) 用于显示用户界面的方法和用于支持该方法的电子装置
CN108369585A (zh) 用于提供翻译服务的方法及其电子装置
US20230319370A1 (en) Generating customized graphics based on location information
KR102526959B1 (ko) 전자 장치 및 그의 동작 방법
CN108012029A (zh) 一种信息处理方法、设备及计算机可读存储介质
KR102665642B1 (ko) 일정을 관리하기 위한 방법 및 이를 지원하는 전자 장치
CN109191147B (zh) 一种信息处理方法、装置、设备以及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412