JP2019041265A - Interactive electronic apparatus, communication system, method and program - Google Patents

Interactive electronic apparatus, communication system, method and program Download PDF

Info

Publication number
JP2019041265A
JP2019041265A JP2017162397A JP2017162397A JP2019041265A JP 2019041265 A JP2019041265 A JP 2019041265A JP 2017162397 A JP2017162397 A JP 2017162397A JP 2017162397 A JP2017162397 A JP 2017162397A JP 2019041265 A JP2019041265 A JP 2019041265A
Authority
JP
Japan
Prior art keywords
control unit
user
charging stand
private
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017162397A
Other languages
Japanese (ja)
Other versions
JP6971088B2 (en
Inventor
譲二 吉川
Joji Yoshikawa
譲二 吉川
雄紀 山田
Yuki Yamada
雄紀 山田
岡本 浩
Hiroshi Okamoto
浩 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2017162397A priority Critical patent/JP6971088B2/en
Priority to US16/638,635 priority patent/US20200410980A1/en
Priority to PCT/JP2018/028889 priority patent/WO2019035359A1/en
Publication of JP2019041265A publication Critical patent/JP2019041265A/en
Application granted granted Critical
Publication of JP6971088B2 publication Critical patent/JP6971088B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an interactive electronic apparatus with an improved function.SOLUTION: An interactive electronic apparatus 11 includes a control unit 22. The control unit 22 acquires a private level suitable for a person around an own apparatus. The control unit 22 executes content change processing for changing a content to be voice-output by a speaker according to a private level. As the interactive electronic apparatus 11, a portable terminal may be used. The control unit 22 may execute the content change processing when the own apparatus is placed on a charging stand.SELECTED DRAWING: Figure 3

Description

本発明は、対話型電子機器、コミュニケーションシステム、方法、およびプログラムに関するものである。   The present invention relates to an interactive electronic device, a communication system, a method, and a program.

スマートホン、タブレット、ノートパソコンなどの携帯端末が普及している。携帯端末は内蔵するバッテリに充電された電力を用いて駆動する。携帯端末のバッテリは、載置した携帯端末に給電を行う充電台により充電される。   Mobile terminals such as smart phones, tablets, and notebook computers are widespread. The portable terminal is driven using electric power charged in a built-in battery. The battery of the portable terminal is charged by a charging stand that supplies power to the mounted portable terminal.

充電台に関しては、充電に関する機能の改善(特許文献1参照)、小型化(特許文献2参照)、および構成の簡潔化(特許文献3参照)などが提案されている。   Regarding the charging stand, improvement of functions related to charging (see Patent Document 1), miniaturization (see Patent Document 2), simplification of configuration (see Patent Document 3), and the like have been proposed.

特開2014−217116号公報JP 2014-217116 A 特開2015−109764号公報Japanese Patent Laying-Open No. 2015-109764 特開2014−079088号公報JP 2014-079908 A

しかし、互いに組合せられる携帯端末および充電台のような対話型電子機器の機能には改善の余地があった。   However, there is room for improvement in the functions of interactive electronic devices such as portable terminals and charging stands that are combined with each other.

本開示は、機能を改善した対話型電子機器、コミュニケーションシステム、方法、およびプログラムを提供する。   The present disclosure provides an interactive electronic device, a communication system, a method, and a program with improved functions.

本開示の第1の観点に係る対話型電子機器は、
自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更する内容変更処理を実行する制御部を備える。
An interactive electronic device according to a first aspect of the present disclosure is:
A control unit is provided that executes a content change process for changing the content of audio output by a speaker based on a private level according to a person around the device.

本開示の第2の観点に係るコミュニケーションシステムは、
携帯端末と、
前記携帯端末を載置可能な充電台と、を備え、
前記携帯端末および前記充電台の一方が、自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更する。
The communication system according to the second aspect of the present disclosure is:
A mobile device,
A charging stand on which the portable terminal can be placed;
One of the portable terminal and the charging stand changes the content of audio output by the speaker based on a private level according to a person around the device.

上述したように本開示の解決手段を装置、及びシステムとして説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。   As described above, the solution of the present disclosure has been described as an apparatus and a system. However, the present disclosure can also be realized as an aspect including these, and a method, a program, It should be understood that the present invention can also be realized as a storage medium storing a program, and these are also included in the scope of the present disclosure.

本開示の第3の観点に係る方法は、
自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更するステップ、を含む。
The method according to the third aspect of the present disclosure is:
Changing the content of audio output by a speaker based on a private level according to a person around the device.

本開示の第4の観点に係るプログラムは、
自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更するように対話型電子機器を機能させる。
A program according to the fourth aspect of the present disclosure is:
The interactive electronic device is caused to function so as to change the content of audio output by the speaker based on a private level according to a person around the device.

本開示に係る対話型電子機器、コミュニケーションシステム、方法、およびプログラムによれば、電子機器の機能が改善する。   According to the interactive electronic device, the communication system, the method, and the program according to the present disclosure, the function of the electronic device is improved.

一実施形態に係る対話型電子機器を含むコミュニケーションシステムの外観を示す正面図である。1 is a front view illustrating an appearance of a communication system including an interactive electronic device according to an embodiment. 図1のコミュニケーションシステムの側面図である。It is a side view of the communication system of FIG. 図1の携帯端末および充電台の内部構成を概略的に示す機能ブロック図である。It is a functional block diagram which shows schematically the internal structure of the portable terminal and charging stand of FIG. 図3における携帯端末の制御部が実行する初期設定処理を説明するためのフローチャートである。It is a flowchart for demonstrating the initial setting process which the control part of the portable terminal in FIG. 3 performs. 図3における携帯端末の制御部が実行するプライベート設定処理を説明するためのフローチャートである。It is a flowchart for demonstrating the private setting process which the control part of the portable terminal in FIG. 3 performs. 図3における充電台の制御部が実行する発話等実行判別処理を説明するためのフローチャートである。It is a flowchart for demonstrating execution determination processing, such as utterance which the control part of the charging stand in FIG. 3 performs. 図3における携帯端末の制御部が実行するプライベートレベル認識処理を説明するためのフローチャートである。It is a flowchart for demonstrating the private level recognition process which the control part of the portable terminal in FIG. 3 performs. 図3における携帯端末の制御部が実行する内容変更処理を説明するためのフローチャートである。It is a flowchart for demonstrating the content change process which the control part of the portable terminal in FIG. 3 performs. 図3における携帯端末の制御部が実行するスケジュール通知のサブルーチンを説明するためのフローチャートである。It is a flowchart for demonstrating the schedule notification subroutine which the control part of the portable terminal in FIG. 3 performs. 図3における携帯端末の制御部が実行するメモ通知のサブルーチンを説明するためのフローチャートである。It is a flowchart for demonstrating the subroutine of a memo notification which the control part of the portable terminal in FIG. 3 performs. 図3における携帯端末の制御部が実行するメール通知のサブルーチンを説明するためのフローチャートである。It is a flowchart for demonstrating the mail notification subroutine which the control part of the portable terminal in FIG. 3 performs. 図3における携帯端末の制御部が実行する電話着信通知のサブルーチンを説明するためのフローチャートである。FIG. 4 is a flowchart for explaining a call arrival notification subroutine executed by the control unit of the mobile terminal in FIG. 3. FIG.

図1および図2に示すように、本開示の対話型電子機器として携帯端末11を含むコミュニケーションシステム10は、携帯端末11および充電台12を含んでいる。充電台12は携帯端末11を載置可能である。携帯端末11を充電台12に載置している間、充電台12は携帯端末11の内蔵のバッテリを充電する。また、携帯端末11を充電台12に載置する場合、コミュニケーションシステム10はユーザと対話し得る。また、携帯端末11および充電台12の少なくとも一方は、伝言機能を有しており、指定したユーザに対する伝言を当該ユーザに報知する。   As shown in FIGS. 1 and 2, a communication system 10 including a mobile terminal 11 as an interactive electronic device of the present disclosure includes a mobile terminal 11 and a charging stand 12. The charging stand 12 can place the portable terminal 11 thereon. While the portable terminal 11 is placed on the charging stand 12, the charging stand 12 charges a battery built in the portable terminal 11. Moreover, when mounting the portable terminal 11 on the charging stand 12, the communication system 10 can interact with a user. Moreover, at least one of the portable terminal 11 and the charging stand 12 has a message function, and notifies the user of a message for the designated user.

図3に示すように、携帯端末11は、通信部13、受電部14、バッテリ15、マイク16、スピーカ17、カメラ18、ディスプレイ19、入力部20、記憶部21、および制御部22などを含んでいる。   As shown in FIG. 3, the mobile terminal 11 includes a communication unit 13, a power receiving unit 14, a battery 15, a microphone 16, a speaker 17, a camera 18, a display 19, an input unit 20, a storage unit 21, a control unit 22, and the like. It is out.

通信部13は、音声、文字、および画像などを通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval Connector、またはBaby‐series N Connectorなど)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。   The communication unit 13 includes a communication interface capable of communicating voice, characters, images, and the like. The “communication interface” in the present disclosure may include, for example, a physical connector and a wireless communication device. The physical connector may include an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves. The electrical connector includes a connector conforming to IEC 60603, a connector conforming to the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal defined in EIAJ CP-1211A, and a D terminal defined in EIAJ RC-5237. A connector corresponding to a coaxial cable including a corresponding connector, a connector conforming to the HDMI (registered trademark) standard, and a BNC (British Naval Connector or Baby-series N Connector) may be included. The optical connector may include various connectors that conform to IEC 61754. The wireless communication device may include a wireless communication device that conforms to standards including Bluetooth (registered trademark) and IEEE802.11. The wireless communication device includes at least one antenna.

通信部13は、自身の携帯端末11の外部機器、例えば充電台12と通信する。通信部13は、有線通信または無線通信により、外部機器と通信する。通信部13は、充電台12と有線通信をする構成においては、携帯端末11を充電台12の正規の位置及び姿勢で載置することにより、充電台12の通信部23に接続され、通信し得る。また、通信部13は、無線通信により、直接的に、または、例えば、基地局、およびインターネット回線または電話回線を介して間接的に、外部機器と通信してよい。   The communication unit 13 communicates with an external device of its own mobile terminal 11, for example, the charging stand 12. The communication unit 13 communicates with an external device by wired communication or wireless communication. In the configuration in which the communication unit 13 performs wired communication with the charging base 12, the mobile terminal 11 is connected to the communication unit 23 of the charging base 12 and communicated by placing the mobile terminal 11 in the normal position and posture of the charging base 12. obtain. Further, the communication unit 13 may communicate with an external device directly by wireless communication or indirectly through, for example, a base station and an Internet line or a telephone line.

受電部14は、充電台12から供給する電力を受電する。受電部14は、例えば、コネクタを有し、有線を介して充電台12から電力を受電する。または、受電部14は、例えば、コイルなどを有し、電磁誘導方式および磁界共振方式などの無線給電方法により充電台12から電力を受電する。受電部14は、受電した電力をバッテリ15に蓄電する。   The power receiving unit 14 receives power supplied from the charging stand 12. The power receiving unit 14 includes, for example, a connector, and receives power from the charging stand 12 via a wire. Alternatively, the power receiving unit 14 includes, for example, a coil and receives power from the charging base 12 by a wireless power feeding method such as an electromagnetic induction method and a magnetic field resonance method. The power receiving unit 14 stores the received power in the battery 15.

バッテリ15は、受電部14から供給される電力を蓄電する。バッテリ15は、蓄電した電力を放電することにより、携帯端末11の各構成要素に、当該構成要素を機能させるために必要な電力を供給する。   The battery 15 stores the power supplied from the power receiving unit 14. The battery 15 supplies each component of the mobile terminal 11 with electric power necessary for causing the component to function by discharging the stored electric power.

マイク16は、携帯端末11の周囲で発生する音声を検出して、電気信号に変換する。マイク16は、検出した音声を制御部22に出力する。   The microphone 16 detects sound generated around the mobile terminal 11 and converts it into an electrical signal. The microphone 16 outputs the detected sound to the control unit 22.

スピーカ17は、制御部22の制御に基づいて、音声を発する。スピーカ17は、例えば、後述する発話処理が実行されている場合、制御部22が発話を決定した言葉を発する。また、スピーカ17は、例えば、他の携帯端末との通話を実行している場合、当該携帯端末から取得する音声を発する。   The speaker 17 emits sound based on the control of the control unit 22. For example, when an utterance process to be described later is being executed, the speaker 17 utters a word that the control unit 22 has decided to utter. In addition, for example, when a call with another mobile terminal is being performed, the speaker 17 emits sound acquired from the mobile terminal.

カメラ18は、撮像範囲内の被写体を撮像する。カメラ18は、静止画像および動画像のいずれも撮像可能である。カメラ18は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ18は、撮像した画像を制御部22に出力する。   The camera 18 images a subject within the imaging range. The camera 18 can capture both still images and moving images. The camera 18 continuously captures the subject at 60 fps, for example, when capturing a moving image. The camera 18 outputs the captured image to the control unit 22.

ディスプレイ19は、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイである。ディスプレイ19は、制御部22の制御に基づいて、画像を表示する。   The display 19 is, for example, a liquid crystal display (LCD (Liquid Crystal Display)) or an organic or inorganic EL display. The display 19 displays an image based on the control of the control unit 22.

入力部20は、例えば、ディスプレイ19と一体化したタッチパネルである。入力部20は、ユーザによる携帯端末11に関する多様な要求または情報の入力を検出する。入力部20は、検出した入力を制御部22に出力する。   The input unit 20 is, for example, a touch panel integrated with the display 19. The input unit 20 detects various requests or information input related to the mobile terminal 11 by the user. The input unit 20 outputs the detected input to the control unit 22.

記憶部21は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部21は、例えば、後述する、登録処理、内容変更処理、発話処理、音声認識処理、見守り処理、データ通信処理、および通話処理などを実行するための多様な情報、ならびに上記の処理において制御部22が取得する、ユーザの画像、ユーザ情報、充電台12の設置場所、外部情報、会話内容、行動履歴、地域情報、見守り処理の特定の対象などを記憶する。   The storage unit 21 may be configured using, for example, a semiconductor memory, a magnetic memory, and an optical memory. For example, the storage unit 21 controls various types of information to execute a registration process, a content change process, a speech process, a voice recognition process, a watch process, a data communication process, a call process, and the like, which will be described later, and the above process. The unit 22 stores the user image, user information, installation location of the charging stand 12, external information, conversation content, action history, regional information, a specific target of the watching process, and the like.

制御部22は、1又は複数のプロセッサを含む。制御部22は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC; Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD; Programmable Logic Device)が含まれる。PLDには、FPGA(Field−Programmable Gate Array)が含まれる。制御部22は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。   The control unit 22 includes one or a plurality of processors. The control unit 22 may include one or a plurality of memories that store programs for various processes and information being calculated. The memory includes volatile memory and nonvolatile memory. The memory includes a memory independent of the processor and a built-in memory of the processor. The processor includes a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process. The dedicated processor includes an application specific integrated circuit (ASIC). The processor includes a programmable logic device (PLD; Programmable Logic Device). PLD includes FPGA (Field-Programmable Gate Array). The control unit 22 may be one of SoC (System on a Chip) and SiP (System in a Package) in which one or a plurality of processors cooperate.

制御部22は、例えば、後述するように充電台12からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、携帯端末11の各構成要素を制御する。ここで、コミュニケーションモードとは、携帯端末11を充電台12とともにコミュニケーションシステム10として、特定のユーザを含む対話対象のユーザとの対話、特定のユーザの観察、および特定のユーザへのメッセージ発信などを実行させるモードである。   For example, when acquiring a command to shift to the communication mode from the charging stand 12 as will be described later, the control unit 22 controls each component of the portable terminal 11 in order to execute various functions in the communication mode. Here, the communication mode refers to the communication system 10 together with the portable terminal 11 together with the charging stand 12, such as dialogue with a user to be dialogued including a specific user, observation of the specific user, and message transmission to the specific user. This is the mode to be executed.

制御部22は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部22は、例えば、入力部20へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。   The control unit 22 executes a registration process for registering a user who executes the communication mode. The control unit 22 starts the registration process, for example, by detecting an input requesting user registration to the input unit 20.

例えば、制御部22は、登録処理において、ユーザにカメラ18のレンズを見るようにメッセージを発し、カメラ18を駆動することによりユーザの顔を撮像する。さらに、制御部22は、撮像した画像を、ユーザの名称および属性などのユーザ情報と関連付けて記憶する。属性とは、例えば、携帯端末11の所有者および当該所有者に対する続柄または交友関係、性別、年齢層、身長、体重などである。続柄は、例えば親子、兄弟などの携帯端末11の所有者との家族関係を示す。また、交友関係は、知り合い、親友、クラスメート、職場の同僚などの携帯端末11の所有者との交流の度合いを示す。制御部22は、ユーザ情報を、入力部20へのユーザによる入力により取得する。   For example, in the registration process, the control unit 22 issues a message to the user to see the lens of the camera 18 and drives the camera 18 to capture the user's face. Further, the control unit 22 stores the captured image in association with user information such as a user name and attributes. The attributes are, for example, the owner of the mobile terminal 11 and the relationship or friendship with the owner, sex, age group, height, weight, and the like. The relationship indicates a family relationship with the owner of the mobile terminal 11 such as a parent and child or a brother. The friendship relationship indicates the degree of interaction with the owner of the mobile terminal 11 such as an acquaintance, best friend, classmate, or work colleague. The control unit 22 acquires user information by input by the user to the input unit 20.

制御部22は、登録処理において、さらに、登録された画像を関連付けたユーザ情報とともに充電台12に転送する。充電台12に付与するために、制御部22は、携帯端末11と通信可能であるかを判別する。   In the registration process, the control unit 22 further transfers to the charging stand 12 together with user information associated with the registered image. In order to give to the charging stand 12, the control unit 22 determines whether communication with the mobile terminal 11 is possible.

制御部22は、充電台12と通信できない場合に、通信可能とさせるメッセージをディスプレイ19に表示させる。例えば、携帯端末11が充電台12と有線通信を行う構成において携帯端末11と充電台12とが接続されていない場合、制御部22は接続を要求するメッセージをディスプレイ19に表示させる。また、携帯端末11が充電台12と無線通信を行う構成において携帯端末11と充電台12とが通信できない程度に離れている場合、制御部22は充電台12に近付くことを要求するメッセージをディスプレイ19に表示させる。   When the control unit 22 cannot communicate with the charging stand 12, the control unit 22 displays a message for enabling communication on the display 19. For example, in a configuration in which the mobile terminal 11 performs wired communication with the charging stand 12, when the mobile terminal 11 and the charging stand 12 are not connected, the control unit 22 displays a message requesting connection on the display 19. Further, in the configuration in which the mobile terminal 11 performs wireless communication with the charging base 12, when the mobile terminal 11 and the charging base 12 are separated so as not to communicate, the control unit 22 displays a message requesting that the charging base 12 be approached. 19 is displayed.

制御部22は、携帯端末11および充電台12が通信可能である場合、登録された画像およびユーザ情報を充電台12に向けて転送させ、転送中であることをディスプレイ19に表示させる。さらに、制御部22は、転送の完了の通知を充電台12から取得する場合、初期設定完了のメッセージをディスプレイ19に表示させる。   When the mobile terminal 11 and the charging stand 12 are communicable, the control unit 22 causes the registered image and user information to be transferred toward the charging stand 12 and displays on the display 19 that transfer is in progress. Further, when acquiring the transfer completion notification from the charging stand 12, the control unit 22 causes the display 19 to display an initial setting completion message.

制御部22は、コミュニケーションモードに移行している間、発話処理および音声認識処理の少なくとも一方を実行することにより、コミュニケーションシステム10を対話対象のユーザと対話させる。対話対象のユーザは、登録処理で登録されたユーザであって、例えば携帯端末11の所有者である。また、制御部22は、発話処理として、対話対象のユーザに対する各種の情報をスピーカ17によって音声出力する。各種の情報は、例えばスケジュールの内容、メモの内容、メールの送信者、メールの件名、電話の発信者等を含む。   During the transition to the communication mode, the control unit 22 causes the communication system 10 to interact with the user to be interacted with by executing at least one of speech processing and speech recognition processing. The dialogue target user is a user registered in the registration process, for example, the owner of the portable terminal 11. Moreover, the control part 22 carries out the audio | voice output with the speaker 17 of the various information with respect to the user of dialog object as speech processing. The various information includes, for example, schedule contents, memo contents, mail sender, mail subject, telephone caller, and the like.

制御部22が実行する発話処理における発話内容はプライベートレベルに応じて変更される。プライベートレベルは、発話内容に対話対象のユーザのプライベートな情報(対話対象のユーザが特定される個人に関する情報)を含められる程度を示す度合いである。プライベートレベルは、携帯端末11の周囲にいる人に応じて設定される。プライベートレベルは、携帯端末11の周囲にいる人の、対話対象のユーザとの続柄または交友関係によって変動し得る。プライベートレベルは、例えば、携帯端末11の周囲にいる人が対話対象のユーザと親しくない人(例えば他人)を含む、第1のレベルを含む。また、プライベートレベルは、例えば、携帯端末11の周囲にいる人が対話対象のユーザおよび対話対象のユーザと親しい人(例えば家族または親友等)である第2のレベルを含む。また、プライベートレベルは、例えば、携帯端末11の周囲にいる人が対話対象のユーザだけである第3のレベルを含む。   The utterance content in the utterance process executed by the control unit 22 is changed according to the private level. The private level is a degree indicating the degree to which private information of the user to be interacted (information related to the individual who identifies the user to be interacted) can be included in the utterance content. The private level is set according to people around the mobile terminal 11. The private level may vary depending on the relationship or friendship between the person around the mobile terminal 11 and the user to be interacted with. The private level includes a first level including, for example, a person (for example, another person) who is not familiar with the user to be interacted with around the mobile terminal 11. The private level includes, for example, a second level in which people around the mobile terminal 11 are a user who is a conversation target and a person who is close to the user who is a conversation target (for example, a family or a best friend). In addition, the private level includes, for example, a third level in which a person around the mobile terminal 11 is only a user to be interacted with.

プライベートレベルが第1のレベルである場合の発話内容(以下「第1のレベルの発話内容」という)は、例えばプライベートな情報を全く含まない内容、または不特定のユーザに対して開示が許可された内容である。例えば、スケジュールについて音声出力する場合の第1のレベルの発話内容は「本日予定があります」である。また、例えば、メモについて音声出力する場合の第1のレベルの発話内容は「メモがあります」である。また、例えば、メールについて音声出力する場合の第1のレベルの発話内容は「メールがきています」である。また、例えば、電話について音声出力する場合の第1のレベルの発話内容は「着信がありました」である。   The utterance contents when the private level is the first level (hereinafter referred to as “first level utterance contents”) are, for example, contents that do not include any private information, or disclosure is permitted for unspecified users. Contents. For example, the utterance content of the first level in the case of outputting a voice about a schedule is “There is a schedule today”. Further, for example, the content of the first level utterance in the case of outputting a voice about a memo is “I have a memo”. Also, for example, the first level utterance content when a voice is output for a mail is “mail is coming”. Also, for example, the first level utterance content when a voice is output for a telephone is “There was an incoming call”.

プライベートレベルが第2のレベルまたは第3のレベルである場合の発話内容(以下「第2または第3のレベルの発話内容」という)は、例えばプライベートな情報を含む内容、または、対話対象のユーザに対して開示が許可された内容である。例えば、スケジュールについて音声出力する場合の第2または第3のレベルの発話内容は「本日の19時に歓送迎会の予定があります」である。また、例えば、メモについて音声出力する場合の第2または第3のレベルの発話内容は「明日、報告書Yを提出する必要があります」である。また、例えば、メールについて音声出力する場合の第2または第3のレベルの発話内容は「AさんからZの件でメールがきています」である。また、例えば、電話について音声出力する場合の第2または第3のレベルの発話内容は「Aさんから着信がありました」である。   The utterance content when the private level is the second level or the third level (hereinafter referred to as “second or third level utterance content”) is, for example, content including private information or a user to be interacted with This is the content permitted to be disclosed. For example, the content of the utterance at the second or third level in the case of outputting a voice about the schedule is “There is a schedule for a welcome and farewell party at 19:00 today”. Further, for example, the content of the utterance at the second or third level in the case of outputting a voice about a memo is “It is necessary to submit a report Y tomorrow”. Further, for example, the content of the utterance at the second or third level in the case of outputting a voice about a mail is “A mail comes from Mr. A to Z”. Further, for example, the content of the utterance at the second or third level when the voice is output for the telephone is “Mr. A received an incoming call”.

ここで、ユーザは第1のレベルから第3のレベルにおける開示が許可される内容などを、入力部20によって設定し得る。例えば、ユーザは、例えばスケジュールに設定された予定があること、メモがあること、メールを受信したこと、電話があったことなどを音声で通知するか否かを個別に設定可能である。また、ユーザは、例えばスケジュールの内容、メモの内容、メールの送信者、メールの件名、電話の発信者などを音声出力するか否かを個別に設定可能である。また、ユーザは、例えばスケジュールの内容、メモの内容、メールの送信者、メールの件名、電話の発信者などについて、プライベートレベルに応じた変更を実行するか否かを個別に設定可能である。また、ユーザは、第2のレベルにおいて情報を開示する者を、例えば続柄または交友関係に基づいて、設定可能である。これらの設定された内容(以下、「設定情報」という)は、例えば記憶部21に記憶されて、充電台12との間で同期および共有される。   Here, the user can set the content permitted to be disclosed from the first level to the third level by the input unit 20. For example, the user can individually set, for example, whether or not to notify by voice that there is a schedule set in the schedule, that there is a memo, that an email is received, that there is a call, and the like. Further, the user can individually set, for example, whether or not to output the contents of the schedule, the contents of the memo, the mail sender, the mail subject, the telephone caller, and the like. Also, the user can individually set whether or not to execute a change in accordance with the private level, for example, the contents of the schedule, the contents of the memo, the sender of the mail, the subject of the mail, the caller of the telephone. In addition, the user can set a person who discloses information at the second level, for example, based on a relationship or friendship. These set contents (hereinafter referred to as “setting information”) are stored, for example, in the storage unit 21, and are synchronized and shared with the charging stand 12.

制御部22は、発話処理において、現在時刻、充電台12の設置された場所、後述するように充電台12に特定された対話対象のユーザ、携帯端末11が受信したメールおよび電話、携帯端末11に登録されたメモおよびスケジュール、当該ユーザの発した音声、ならびに当該ユーザの過去の会話内容に基づいて、発話する言葉を決定する。制御部22は、決定した言葉を発するように、スピーカ17を駆動する。ここで、制御部22は、発話処理のために、プライベートレベルを充電台12から取得する。制御部22は、発話する言葉が所定の情報に基づく場合に、プライベートレベルに応じてスピーカ17によって音声出力する内容を変更する内容変更処理を実行する。本実施形態において、所定の情報は、スケジュール、メモ、メールおよび電話である。制御部22は、上記の設定情報に従って、音声出力する内容が内容変更処理の対象となるか否かを判定する。制御部22は、対象となる内容について内容変更処理を実行する。   In the utterance process, the control unit 22 determines the current time, the place where the charging stand 12 is installed, the user to be interacted with specified as the charging stand 12 as described later, the mail and phone received by the mobile terminal 11, the mobile terminal 11 The words to be uttered are determined based on the memo and schedule registered in, the voice uttered by the user, and the past conversation contents of the user. The control unit 22 drives the speaker 17 so as to utter the determined word. Here, the control part 22 acquires a private level from the charging stand 12 for speech processing. The control part 22 performs the content change process which changes the content output by the speaker 17 according to a private level, when the word to speak is based on predetermined information. In the present embodiment, the predetermined information is a schedule, a memo, an email, and a telephone. The control unit 22 determines whether or not the content to be output is a content change process target in accordance with the setting information. The control unit 22 executes content change processing for the target content.

制御部22は、発話内容の決定のために、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるかを判別する。制御部22は、充電台12から取得する載置の通知に基づいて、載置した場合か離脱した場合かを判別する。例えば、制御部22は、載置されていることを示す通知を充電台12から取得している間、充電台12に載置されている場合であると判別する。また、例えば、制御部22は、当該通知を取得出来なくなる時に離脱されたと判別する。または、制御部22は、受電部14が充電台12から電力を取得可能か否か、または通信部13が充電台12と通信可能であるか否かに基づいて携帯端末11の充電台12に対する載置関係を判別してよい。   The control unit 22 determines whether it is placed on the charging stand 12 or detached from the charging stand 12 in order to determine the utterance content. Based on the placement notification acquired from the charging stand 12, the control unit 22 determines whether it is placed or detached. For example, the control unit 22 determines that the information is placed on the charging stand 12 while acquiring the notification indicating that it is placed from the charging stand 12. Further, for example, the control unit 22 determines that it has been detached when the notification cannot be acquired. Alternatively, the control unit 22 controls the charging base 12 of the mobile terminal 11 based on whether the power receiving unit 14 can acquire power from the charging base 12 or whether the communication unit 13 can communicate with the charging base 12. The placement relationship may be determined.

また、制御部22は、音声認識処理において、マイク16が検出する音声の形態素解析を行い、ユーザの発話内容を認識する。制御部22は、認識した発話内容に基づいて、所定の処理を実行する。所定の処理は、例えば、前述のように認識した発話内容に対する発話処理、ならびに所望の情報の探索、所望の画像の表示、および所望の相手への電話およびメールの発信を実行するための処理である。   Further, in the voice recognition process, the control unit 22 performs a morphological analysis of the voice detected by the microphone 16 and recognizes the content of the user's utterance. The control unit 22 executes predetermined processing based on the recognized utterance content. The predetermined process is, for example, a process for executing an utterance process for the utterance content recognized as described above, a search for desired information, a display of a desired image, and a call and mail transmission to a desired partner. is there.

また、制御部22は、コミュニケーションモードに移行している間、連続的に実行した、上述の発話処理および音声認識処理を記憶部21に記憶させ、特定された対話対象のユーザに対する会話内容を学習する。制御部22は、学習した会話内容に基づいて、以後の発話処理において発話する言葉の決定に活用する。また、制御部22は、学習した会話内容を、充電台12に転送してよい。   Further, the control unit 22 stores the above-described utterance processing and voice recognition processing, which are continuously executed during the transition to the communication mode, in the storage unit 21, and learns the conversation contents for the specified user to be interacted with. To do. Based on the learned conversation content, the control unit 22 is used to determine words to be uttered in the subsequent utterance processing. Further, the control unit 22 may transfer the learned conversation content to the charging stand 12.

また、制御部22は、コミュニケーションモードに移行している間、携帯端末11の現在位置を検出する。現在位置の検出は、例えば、通信中の基地局の設置位置または携帯端末11が備え得るGPSに基づく。制御部22は、検出した現在位置に関連付けられた地域情報をユーザに報知する。地域情報の報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。地域情報は、例えば、近隣店舗の特売情報などである。   Further, the control unit 22 detects the current position of the mobile terminal 11 while shifting to the communication mode. The detection of the current position is based on, for example, the installation position of the base station in communication or the GPS that the mobile terminal 11 may have. The control unit 22 notifies the user of the area information associated with the detected current position. The notification of the area information may be a voice utterance by the speaker 17 or an image display on the display 19. The regional information is, for example, sales information on nearby stores.

また、制御部22は、コミュニケーションモードに移行している間に特定の対象に対する見守り処理の開始要求を入力部20が検出する場合、当該開始要求を充電台12に通知する。特定の対象とは、例えば、登録された特定のユーザ、および充電台12が設置された部屋などである。   In addition, when the input unit 20 detects a start request for watching processing for a specific target while shifting to the communication mode, the control unit 22 notifies the charging base 12 of the start request. The specific target is, for example, a registered specific user and a room where the charging stand 12 is installed.

見守り処理は携帯端末11の載置の有無に関わらず、充電台12により実行される。制御部22は、見守り処理を実行させている充電台12から特定の対象が異常状態である通知を取得する場合、その旨をユーザに報知する。ユーザへの報知は、スピーカ17による音声の発信でも、ディスプレイ19への警告画像の表示であってもよい。   The watching process is executed by the charging stand 12 regardless of whether the portable terminal 11 is placed. When acquiring a notification that the specific target is in an abnormal state from the charging stand 12 that is executing the watching process, the control unit 22 notifies the user of that fact. The notification to the user may be a voice transmission by the speaker 17 or a warning image displayed on the display 19.

また、制御部22は、コミュニケーションモードへの移行の有無に関わらず、入力部20への入力に基づいて、メールの送受信およびブラウザを用いた画像表示などのデータ通信処理、ならびに他の電話との通話処理を実行する。   In addition, the control unit 22 performs data communication processing such as transmission / reception of mail and image display using a browser, and communication with other telephones based on input to the input unit 20 regardless of whether or not the communication mode is changed. Perform call processing.

充電台12は、通信部23、給電部24、変動機構25、マイク26、スピーカ27、カメラ28、人感センサ29、載置センサ30、記憶部31、および制御部32などを含んでいる。   The charging stand 12 includes a communication unit 23, a power feeding unit 24, a fluctuation mechanism 25, a microphone 26, a speaker 27, a camera 28, a human sensor 29, a placement sensor 30, a storage unit 31, a control unit 32, and the like.

通信部23は、携帯端末11の通信部13と同様に、音声、文字、および画像などを通信可能な通信インタフェースを含む。通信部23は、有線通信または無線通信により、携帯端末11と通信する。通信部23は、有線通信または無線通信により、外部機器と通信してもよい。   Similar to the communication unit 13 of the mobile terminal 11, the communication unit 23 includes a communication interface capable of communicating voice, characters, images, and the like. The communication unit 23 communicates with the mobile terminal 11 by wired communication or wireless communication. The communication unit 23 may communicate with an external device by wired communication or wireless communication.

給電部24は、充電台12に載置された携帯端末11の受電部14に電力を供給する。給電部24は、上述のように、有線または無線により受電部14に電力を供給する。   The power feeding unit 24 supplies power to the power receiving unit 14 of the mobile terminal 11 placed on the charging stand 12. As described above, the power feeding unit 24 supplies power to the power receiving unit 14 by wire or wirelessly.

変動機構25は、充電台12に載置される携帯端末11の向きを変動させる。変動機構25は、充電台12に対して定められる下底面bs(図1、2参照)に対して定められる上下方向および左右方向の少なくとも一方に沿って、携帯端末11の向きを変動可能である。変動機構25はモータを内蔵しており、モータの駆動により携帯端末11の向きを変動させる。また、変動機構25は、回転機能(例えば360°回転)を備えており、載置された携帯端末11のカメラ18によって充電台12の周囲を撮像可能であってもよい。   The changing mechanism 25 changes the direction of the mobile terminal 11 placed on the charging stand 12. The changing mechanism 25 can change the orientation of the mobile terminal 11 along at least one of the up and down direction and the left and right direction defined with respect to the lower bottom surface bs (see FIGS. 1 and 2) defined with respect to the charging stand 12. . The changing mechanism 25 has a built-in motor, and changes the direction of the portable terminal 11 by driving the motor. Moreover, the fluctuation | variation mechanism 25 is provided with the rotation function (for example, 360 degree rotation), and can image the circumference | surroundings of the charging stand 12 with the camera 18 of the portable terminal 11 mounted.

マイク26は、充電台12の周囲で発生する音声を検出して、電気信号に変換する。マイク26は、検出した音声を制御部32に出力する。   The microphone 26 detects sound generated around the charging stand 12 and converts it into an electric signal. The microphone 26 outputs the detected sound to the control unit 32.

スピーカ27は、制御部32の制御に基づいて、音声を発する。   The speaker 27 emits sound based on the control of the control unit 32.

カメラ28は、撮像範囲内の被写体を撮像する。また、カメラ28は、撮像の向きを変えられる装置(例えば回転機構)を備えており、充電台12の周囲を撮像できる。カメラ28は、静止画像および動画像のいずれも撮像可能である。カメラ28は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ28は、撮像した画像を制御部32に出力する。   The camera 28 images a subject within the imaging range. In addition, the camera 28 includes a device (for example, a rotation mechanism) that can change the direction of imaging, and can image the periphery of the charging stand 12. The camera 28 can capture both still images and moving images. The camera 28 continuously captures a subject at, for example, 60 fps when capturing a moving image. The camera 28 outputs the captured image to the control unit 32.

人感センサ29は、例えば、赤外線センサであり、熱の変化を検出することにより、充電台12の周囲における人の存在を検出する。人感センサ29は、人の存在を検出する場合、その旨を制御部32に通知する。人感センサ29は、赤外線センサ以外のセンサであってよく、例えば、超音波センサであってもよい。または、人感センサ29は、連続的に撮像される画像の変化に基づいて人の存在を検出するようにカメラ28を機能させる構成であってよい。   The human sensor 29 is an infrared sensor, for example, and detects the presence of a person around the charging stand 12 by detecting a change in heat. When detecting the presence of a person, the human sensor 29 notifies the control unit 32 to that effect. The human sensor 29 may be a sensor other than an infrared sensor, for example, an ultrasonic sensor. Alternatively, the human sensor 29 may be configured to cause the camera 28 to function so as to detect the presence of a person based on a change in continuously captured images.

載置センサ30は、充電台12において、例えば、携帯端末11の載置面に設けられており、携帯端末11の載置の有無を検出する。載置センサ30は、例えば圧電素子などにより構成されている。載置センサ30は、携帯端末11が載置されるとき、その旨を制御部32に通知する。   In the charging stand 12, the placement sensor 30 is provided, for example, on the placement surface of the mobile terminal 11, and detects whether the mobile terminal 11 is placed. The placement sensor 30 is configured by, for example, a piezoelectric element. When the portable terminal 11 is placed, the placement sensor 30 notifies the control unit 32 to that effect.

記憶部31は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部31は、例えば、携帯端末11から取得するユーザの登録に係る画像、ユーザ情報および設定情報を、携帯端末11毎および登録したユーザ毎に記憶する。また、記憶部31は、例えば、携帯端末11から取得する会話内容をユーザ毎に記憶する。また、記憶部31は、例えば、後述するように、カメラ28による撮像結果に基づく変動機構25の駆動のための情報を記憶する。また、記憶部31は、例えば、携帯端末11から取得する行動履歴をユーザ毎に記憶する。   The storage unit 31 may be configured using, for example, a semiconductor memory, a magnetic memory, and an optical memory. The memory | storage part 31 memorize | stores the image which concerns on the registration of the user acquired from the portable terminal 11, user information, and setting information for every portable terminal 11 and every registered user, for example. Moreover, the memory | storage part 31 memorize | stores the conversation content acquired from the portable terminal 11, for example for every user. Further, the storage unit 31 stores, for example, information for driving the fluctuation mechanism 25 based on the imaging result by the camera 28 as described later. Moreover, the memory | storage part 31 memorize | stores the action log | history acquired from the portable terminal 11, for every user, for example.

制御部32は、携帯端末11の制御部22と同様に、1又は複数のプロセッサを含む。制御部32は、携帯端末11の制御部22と同様に、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。   The control unit 32 includes one or a plurality of processors, like the control unit 22 of the mobile terminal 11. The control unit 32 may include one or a plurality of memories that store programs for various processes and information being calculated, like the control unit 22 of the mobile terminal 11.

制御部32は、少なくとも載置センサ30が携帯端末11の載置を検出してから離脱を検出するまでの間、さらには離脱を検出してから所定時間が経過するまでの間、コミュニケーションシステム10をコミュニケーションモードに維持させる。したがって、制御部32は、充電台12に携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。また、制御部32は、充電台12から携帯端末11が離脱してからの所定時間が経過するまでの間、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。   The control unit 32 includes at least the communication system 10 from the time when the placement sensor 30 detects the placement of the mobile terminal 11 until the separation is detected, and further from when the separation sensor is detected until a predetermined time elapses. In communication mode. Therefore, when the mobile terminal 11 is placed on the charging stand 12, the control unit 32 can cause the mobile terminal 11 to execute at least one of the speech process and the voice recognition process. In addition, the control unit 32 can cause the mobile terminal 11 to execute at least one of the speech process and the voice recognition process until a predetermined time after the mobile terminal 11 is detached from the charging stand 12.

制御部32は、充電台12に携帯端末11が載置されている間、人感センサ29の検出結果に基づいて、充電台12の周囲における人の存在の有無を判別する。制御部32は、人が存在すると判別する場合、マイク26およびカメラ28の少なくとも一方を起動して、それぞれ音声および画像の少なくとも一方を検出させる。制御部32は、検出された音声および画像の少なくとも一方に基づいて、対話対象のユーザを特定する。そして、制御部32は、充電台12の周囲にいる人について対話対象のユーザとの関係を判定して、プライベートレベルを決定する。本実施形態においては、制御部32は、画像に基づいて、プライベートレベルを決定する。   While the mobile terminal 11 is placed on the charging stand 12, the control unit 32 determines the presence or absence of a person around the charging stand 12 based on the detection result of the human sensor 29. When determining that there is a person, the control unit 32 activates at least one of the microphone 26 and the camera 28 to detect at least one of sound and image, respectively. The control unit 32 specifies a user to be interacted with based on at least one of the detected voice and image. And the control part 32 determines the relationship with the user of a dialog target about the person around the charging stand 12, and determines a private level. In the present embodiment, the control unit 32 determines the private level based on the image.

制御部32は、例えば、取得した画像から、充電台12の周囲(載置されている場合には携帯端末11の周囲)にいる人の数等を判別する。また、制御部32は、画像内に含まれる人の顔、背格好および全体輪郭などの特徴から、充電台12の周囲にいる対話対象のユーザを特定する。また、制御部32は、充電台12の周囲にいる対話対象のユーザ以外の人を特定する。ここで、制御部32は、さらに音声を取得してもよい。制御部32は、取得した音声における声の大きさ、高さ、および声質に基づいて、充電台12の周囲にいる人の数を検証(または特定)してもよい。また、制御部32は、音声のこれらの特徴から、対話対象のユーザを検証(または特定)してもよい。また、制御部32は、音声のこれらの特徴から、対話対象のユーザ以外の人を検証(または特定)してもよい。   For example, the control unit 32 determines the number of persons around the charging stand 12 (or around the portable terminal 11 when placed) from the acquired image. Moreover, the control part 32 specifies the user of the dialogue target around the charging stand 12 from features, such as a person's face contained in an image, a back appearance, and a whole outline. Further, the control unit 32 specifies a person other than the user to be interacted with around the charging stand 12. Here, the control part 32 may acquire an audio | voice further. The control unit 32 may verify (or specify) the number of people around the charging stand 12 based on the loudness, height, and voice quality of the acquired voice. Further, the control unit 32 may verify (or specify) the user to be interacted with based on these features of the voice. Further, the control unit 32 may verify (or specify) a person other than the user to be interacted with based on these features of the voice.

制御部32は、対話対象のユーザを特定した場合、充電台12の周囲にいる他の人の
対話対象のユーザとの関係を特定する。制御部32は、充電台12の周囲に他の人がいない場合、すなわち、充電台12の周囲に対話対象のユーザだけがいる場合に、プライベートレベルを第3のレベルに決定する。制御部32は、特定した対話対象のユーザの情報とともに、プライベートレベルが第3のレベルであることを、携帯端末11に通知する。制御部32は、充電台12の周囲に対話対象のユーザと対話対象のユーザと親しい人(例えば家族、親友等)だけがいる場合に、プライベートレベルを第2のレベルに決定する。ここで、制御部32は、対話対象のユーザ以外の人が親しい人か否かを、携帯端末11から充電台12に転送されたユーザ情報に基づいて判別する。制御部32は、特定した対話対象のユーザおよび充電台12の周囲にいる他の人の情報とともに、プライベートレベルが第2のレベルであることを、携帯端末11に通知する。制御部32は、充電台12の周囲に対話対象のユーザと親しくない人(例えば他人等)がいる場合に、プライベートレベルを第1のレベルに決定する。制御部32は、特定した対話対象のユーザの情報とともに、プライベートレベルが第1のレベルであることを、携帯端末11に通知する。制御部32は、充電台12の周囲にいる人に、ユーザ情報に基づいて判別ができない人が含まれる場合には、プライベートレベルを第1のレベルに決定し、携帯端末11に通知する。ここで、制御部32は、設定情報に基づいて全ての情報(例えばスケジュール、メモ、メールおよび電話等)に対して内容変更処理が実行されない(無効である)と判定した場合に、プライベートレベルの決定および携帯端末11への通知を実行しなくてもよい。
When the control unit 32 specifies the user to be interacted with, the control unit 32 identifies the relationship between other users around the charging stand 12 and the user to be interacted with. The control unit 32 determines the private level as the third level when there is no other person around the charging stand 12, that is, when there is only a user who is an object of interaction around the charging stand 12. The control unit 32 notifies the mobile terminal 11 that the private level is the third level along with the information on the identified user to be interacted with. The control unit 32 determines the private level as the second level when there are only a user who is a conversation target and a person close to the user who is a conversation target (for example, family, best friend, etc.) around the charging stand 12. Here, the control unit 32 determines whether or not a person other than the conversation target user is a close person based on the user information transferred from the portable terminal 11 to the charging stand 12. The control unit 32 notifies the mobile terminal 11 that the private level is the second level, along with information about the identified user to be interacted with and other people around the charging stand 12. The control unit 32 determines the private level as the first level when there is a person (for example, another person) who is not familiar with the user to be interacted around the charging stand 12. The control unit 32 notifies the mobile terminal 11 that the private level is the first level along with the information on the identified user to be interacted with. When the person around the charging stand 12 includes a person who cannot be determined based on the user information, the control unit 32 determines the private level as the first level and notifies the portable terminal 11 of it. Here, when the control unit 32 determines that the content change process is not executed (invalid) for all information (for example, schedule, memo, mail, and telephone) based on the setting information, The determination and notification to the mobile terminal 11 may not be executed.

制御部32は、充電台12に携帯端末11が載置されている間、カメラ28による撮像を継続させ、特定の対話対象のユーザの顔を画像毎に探索する。制御部32は、画像の中で探索された顔の位置に基づいて、携帯端末11のディスプレイ19が当該ユーザの方向を向くように、変動機構25を駆動する。   While the mobile terminal 11 is placed on the charging stand 12, the control unit 32 continues imaging with the camera 28 and searches for the face of the user as a specific dialogue target for each image. Based on the position of the face searched for in the image, the control unit 32 drives the variation mechanism 25 so that the display 19 of the mobile terminal 11 faces the user.

制御部32は、載置センサ30が携帯端末11の載置を検出する時、コミュニケーションシステム10のコミュニケーションモードへの移行を開始させる。したがって、制御部32は、充電台12に携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させる。また、制御部32は、載置センサ30が携帯端末11の載置を検出する場合、載置されていることを携帯端末11に通知する。   When the placement sensor 30 detects the placement of the mobile terminal 11, the control unit 32 starts the transition of the communication system 10 to the communication mode. Therefore, when the portable terminal 11 is placed on the charging stand 12, the control unit 32 causes the portable terminal 11 to start executing at least one of the speech process and the voice recognition process. In addition, when the placement sensor 30 detects the placement of the mobile terminal 11, the control unit 32 notifies the mobile terminal 11 that it is placed.

また、制御部32は、載置センサ30が携帯端末11の離脱を検出する時または検出後の所定時間の経過後に、コミュニケーションシステム10におけるコミュニケーションモードを終了させる。したがって、制御部32は、充電台12から携帯端末11が離脱する時または検出後の所定時間の経過後に、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を終了させる。   In addition, the control unit 32 ends the communication mode in the communication system 10 when the placement sensor 30 detects the detachment of the mobile terminal 11 or after a predetermined time after the detection. Therefore, the control unit 32 causes the portable terminal 11 to finish executing at least one of the speech process and the voice recognition process when the portable terminal 11 is detached from the charging stand 12 or after a predetermined time has elapsed after detection.

また、制御部32は、携帯端末11からユーザ毎の会話内容を取得する場合、当該会話内容を携帯端末11毎に記憶部31に記憶させる。制御部32は、必要に応じて、充電台12と直接または間接的に通信する異なる携帯端末11間において記憶した会話内容を共有させる。ここで、充電台12と間接的に通信するとは、充電台12が電話回線に繋がれており、当該電話回線を介して通信すること、および充電台12に載置された携帯端末11を介して通信することの少なくとも一方を含む。   Further, when acquiring the conversation content for each user from the mobile terminal 11, the control unit 32 stores the conversation content in the storage unit 31 for each mobile terminal 11. The control part 32 is made to share the conversation content memorize | stored between the different portable terminals 11 which communicate directly or indirectly with the charging stand 12 as needed. Here, indirect communication with the charging stand 12 means that the charging stand 12 is connected to a telephone line, communicates via the telephone line, and via the mobile terminal 11 placed on the charging stand 12. And at least one of communicating.

また、制御部32は、携帯端末11から見守り処理を実行する指令を取得する場合、見守り処理を実行する。制御部32は、見守り処理において、カメラ28を起動して、特定の対象の連続的な撮像を実行する。制御部32は、カメラ28が撮像した画像の中で特定の対象を抽出する。制御部32は、抽出した特定の対象の状態を、画像認識などに基づいて、判断する。特定の対象の状態とは、例えば、特定のユーザが倒れたままなどの異常状態、留守中の部屋における動体の検出状態である。制御部32は、特定の対象が異常状態であると判断する場合、見守り処理の実行を指令した携帯端末11に、特定の対象が異常状態であることを通知する。   Moreover, the control part 32 performs a monitoring process, when acquiring the command which performs a monitoring process from the portable terminal 11. FIG. In the watching process, the control unit 32 activates the camera 28 and performs continuous imaging of a specific target. The control unit 32 extracts a specific target from the image captured by the camera 28. The control unit 32 determines the state of the extracted specific target based on image recognition or the like. The state of the specific target is, for example, an abnormal state in which the specific user has fallen down, or a detection state of a moving object in the absence room. When determining that the specific target is in an abnormal state, the control unit 32 notifies the mobile terminal 11 that has instructed execution of the watching process that the specific target is in an abnormal state.

次に、本開示において携帯端末11の制御部22が実行する、初期設定処理について、図4のフローチャートを用いて説明する。初期設定処理は、ユーザによる初期設定を開始する入力を入力部20が検出する場合に開始する。   Next, an initial setting process executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG. The initial setting process starts when the input unit 20 detects an input for starting the initial setting by the user.

ステップS100において、制御部22は、携帯端末11のカメラ18に顔を合わせるように要求するメッセージをディスプレイ19に表示させる。ディスプレイ19への表示後に、プロセスはステップS101に進む。   In step S <b> 100, the control unit 22 causes the display 19 to display a message requesting that the camera 18 of the mobile terminal 11 meet the face. After displaying on the display 19, the process proceeds to step S101.

ステップS101では、制御部22は、カメラ18に撮像を実行させる。撮像後、プロセスはステップS102に進む。   In step S101, the control unit 22 causes the camera 18 to perform imaging. After imaging, the process proceeds to step S102.

ステップS102では、制御部22は、ユーザの名称および属性を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS103に進む。   In step S102, the control unit 22 causes the display 19 to display a question asking for the user name and attributes. After displaying the question, the process proceeds to step S103.

ステップS103では、制御部22は、ステップS102における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS103を繰返す。回答がある時、プロセスはステップS104に進む。   In step S103, the control unit 22 determines whether or not there is an answer to the question in step S102. If there is no answer, the process repeats step S103. When there is an answer, the process proceeds to step S104.

ステップS104では、制御部22は、ステップS101において撮像した顔の画像を、ステップS103において検出された質問に対する回答をユーザ情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS105に進む。   In step S104, the control unit 22 stores the face image captured in step S101 in the storage unit 21 in association with the answer to the question detected in step S103 as user information. After storing, the process proceeds to step S105.

ステップS105では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS106に進む。通信可能である時、プロセスはステップS107に進む。   In step S <b> 105, the control unit 22 determines whether communication with the charging stand 12 is possible. When communication is impossible, the process proceeds to step S106. When communication is possible, the process proceeds to step S107.

ステップS106では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS105に戻る。   In step S <b> 106, the control unit 22 causes the display 19 to display a message requesting an action that enables the display 19 to communicate with the charging stand 12. In the configuration in which the mobile terminal 11 performs wired communication with the charging stand 12, the message requesting the action for enabling communication is, for example, “Place it on the charging stand”. In addition, the message requesting the action for enabling communication is, for example, “Please move closer to the charging stand 12” in the configuration in which the mobile terminal 11 performs wireless communication with the charging stand 12. After displaying the message, the process returns to step S105.

ステップS107では、制御部22は、ステップS104において記憶した顔の画像、およびユーザ情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS108に進む。   In step S107, the control unit 22 transfers the face image and user information stored in step S104 to the charging stand 12. Further, the control unit 22 causes the display 19 to display a message indicating that the transfer is in progress. After starting the transfer, the process proceeds to step S108.

ステップS108では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS108を繰返す。取得している時、プロセスはステップS109に進む。   In step S <b> 108, the control unit 22 determines whether a transfer completion notification has been acquired from the charging stand 12. If not, the process repeats step S108. If so, the process proceeds to step S109.

ステップS109では、制御部22は、初期設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、初期設定処理は終了する。   In step S109, the control unit 22 causes the display 19 to display a message indicating completion of the initial setting. After the display, the initial setting process ends.

次に、本開示において携帯端末11の制御部22が実行する、プライベート設定処理について、図5のフローチャートを用いて説明する。プライベート設定処理は、ユーザによるプライベート設定を開始する入力を入力部20が検出する場合に開始する。   Next, private setting processing executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG. The private setting process starts when the input unit 20 detects an input for starting the private setting by the user.

ステップS200において、制御部22は、ユーザにプライベート設定を実行するように要求するメッセージをディスプレイ19に表示させる。ディスプレイ19への表示後に、プロセスはステップS201に進む。   In step S <b> 200, the control unit 22 causes the display 19 to display a message requesting the user to execute the private setting. After displaying on the display 19, the process proceeds to step S201.

ステップS201では、制御部22は、例えばスケジュールに設定された予定があること、メモがあること、メールを受信したこと、電話があったことなどを音声で通知する場合に、プライベート情報を保護するか否かを尋ねる質問をディスプレイ19に表示させる。また、制御部22は、例えばスケジュールの内容、メモの内容、メールの送信者、メールの件名、電話の発信者などを音声出力する場合に、プライベート情報を保護するか否かを尋ねる質問をディスプレイ19に表示させる。また、制御部22は、プライベートレベルが第2のレベルである場合に情報を開示する者の範囲を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS202に進む。   In step S201, the control unit 22 protects private information when, for example, notifying that there is a schedule set in the schedule, that there is a memo, that an e-mail has been received, or that there was a call, by voice. A question asking whether or not is displayed on the display 19. In addition, the control unit 22 displays a question asking whether or not to protect private information when, for example, the contents of a schedule, the contents of a memo, the sender of an email, the subject of an email, the caller of a phone call, etc. 19 is displayed. Moreover, the control part 22 displays the question which asks the range of the person who discloses information when a private level is a 2nd level on the display 19. FIG. After displaying the question, the process proceeds to step S202.

ステップS202では、制御部22は、ステップS201における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS202を繰返す。回答がある時、プロセスはステップS203に進む。   In step S202, the control unit 22 determines whether or not there is an answer to the question in step S201. If there is no answer, the process repeats step S202. When there is an answer, the process proceeds to step S203.

ステップS203では、制御部22は、ステップS202において検出された質問に対する回答を設定情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS204に進む。   In step S <b> 203, the control unit 22 associates the answer to the question detected in step S <b> 202 as setting information, and stores it in the storage unit 21. After storage, the process proceeds to step S204.

ステップS204では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS205に進む。通信可能である時、プロセスはステップS206に進む。   In step S204, the control unit 22 determines whether or not communication with the charging stand 12 is possible. When communication is impossible, the process proceeds to step S205. When communication is possible, the process proceeds to step S206.

ステップS205では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS204に戻る。   In step S <b> 205, the control unit 22 causes the display 19 to display a message requesting an action that allows the display 19 to communicate with the charging stand 12. In the configuration in which the mobile terminal 11 performs wired communication with the charging stand 12, the message requesting the action for enabling communication is, for example, “Place it on the charging stand”. In addition, the message requesting the action for enabling communication is, for example, “Please move closer to the charging stand 12” in the configuration in which the mobile terminal 11 performs wireless communication with the charging stand 12. After displaying the message, the process returns to step S204.

ステップS206では、制御部22は、ステップS203において記憶した設定情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS207に進む。   In step S206, the control unit 22 transfers the setting information stored in step S203 to the charging stand 12. Further, the control unit 22 causes the display 19 to display a message indicating that the transfer is in progress. After starting the transfer, the process proceeds to step S207.

ステップS207では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS207を繰返す。取得している時、プロセスはステップS208に進む。   In step S <b> 207, the control unit 22 determines whether or not a transfer completion notification has been acquired from the charging stand 12. If not, the process repeats step S207. If so, the process proceeds to step S208.

ステップS208では、制御部22は、プライベート設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、プライベート設定処理は終了する。   In step S208, the control unit 22 causes the display 19 to display a message indicating the completion of private setting. After the display, the private setting process ends.

次に、本開示において充電台12の制御部32が実行する、発話等実行判別処理について、図6のフローチャートを用いて説明する。制御部32は、発話等実行判別処理を周期的に開始してもよい。   Next, speech execution execution determination processing executed by the control unit 32 of the charging stand 12 in the present disclosure will be described with reference to the flowchart of FIG. The control unit 32 may periodically start execution determination processing such as speech.

ステップS300において、制御部32は、携帯端末11の載置を載置センサ30が検出しているか否かを判別する。検出している時、プロセスはステップS301に進む。検出していない時、発話等実行判別処理は終了する。   In step S <b> 300, the control unit 32 determines whether or not the placement sensor 30 detects the placement of the mobile terminal 11. If so, the process proceeds to step S301. When not detected, the execution determination process such as utterance ends.

ステップS301では、制御部32は、変動機構25および人感センサ29を駆動して、充電台12の周囲に人がいるか否かの検出を行う。変動機構25および人感センサ29を駆動させた後、プロセスはステップS302に進む。   In step S <b> 301, the control unit 32 drives the fluctuation mechanism 25 and the human sensor 29 to detect whether or not there is a person around the charging stand 12. After driving the fluctuation mechanism 25 and the human sensor 29, the process proceeds to step S302.

ステップS302では、制御部32は、充電台12の周囲の人を人感センサ29が検出しているか否かを判別する。周囲の人を検出する時、プロセスはステップS303に進む。周囲の人を検出しない時、発話等実行判別処理は終了する。   In step S <b> 302, the control unit 32 determines whether or not the human sensor 29 detects a person around the charging stand 12. When detecting surrounding people, the process proceeds to step S303. When the surrounding people are not detected, the execution determination process such as utterance ends.

ステップS303では、制御部32は、カメラ28を駆動し画像を検出させる。検出した画像の取得後、プロセスはステップS304に進む。ここで、検出した画像は少なくとも充電台12の周囲の画像を含む。ここで、ステップS303において、制御部32は、カメラ28とともに、マイク26を駆動して音声を検出させてもよい。   In step S303, the control unit 32 drives the camera 28 to detect an image. After obtaining the detected image, the process proceeds to step S304. Here, the detected image includes at least an image around the charging stand 12. Here, in step S303, the control unit 32 may drive the microphone 26 together with the camera 28 to detect sound.

ステップS304では、制御部32は、ステップS303において撮像により取得した画像内に含まれる人の顔を探索する。顔の探索後、プロセスはステップS305に進む。   In step S304, the control unit 32 searches for a human face included in the image acquired by imaging in step S303. After the face search, the process proceeds to step S305.

ステップS305では、制御部32は、ステップS304において探索した顔を、記憶部31に記憶した登録済みの顔の画像と比較することにより、対話対象のユーザを特定する。制御部32は、画像内に含まれる対話対象のユーザ以外の人についても特定する。つまり、充電台12の周囲の人が複数である場合、制御部32は、それぞれの人について特定を行う。制御部32は、例えば特定できない人(例えば顔の画像を登録していない人)が画像内に含まれている場合に、充電台12の周囲に他人がいると認識する。また、制御部32は、携帯端末11のディスプレイ19を対話対象のユーザの顔の方向を向ける処理のために、対話対象のユーザの顔の画像内の位置を特定する。特定後、プロセスはステップS306に進む。   In step S <b> 305, the control unit 32 compares the face searched in step S <b> 304 with the registered face image stored in the storage unit 31, thereby specifying the user to be interacted with. The control unit 32 also specifies a person other than the conversation target user included in the image. That is, when there are a plurality of persons around the charging stand 12, the control unit 32 specifies each person. For example, the control unit 32 recognizes that there is another person around the charging stand 12 when an unidentified person (for example, a person who has not registered a face image) is included in the image. Moreover, the control part 32 specifies the position in the image of the face of the user of the dialogue target for the process of directing the direction of the face of the user of the dialogue target on the display 19 of the mobile terminal 11. After identification, the process proceeds to step S306.

ステップS306では、制御部32は、ステップS305における画像内に含まれる人の特定に基づいて、プライベートレベルを決定する。制御部32は、特定された対話対象のユーザ以外の人について、対話対象のユーザとの続柄または交友関係等を特定する。プライベートレベルの決定後、プロセスはステップS307に進む。   In step S306, the control unit 32 determines the private level based on the identification of the person included in the image in step S305. The control unit 32 specifies a relationship or friendship with the user who is the dialog target for a person other than the specified user who is the dialog target. After determining the private level, the process proceeds to step S307.

ステップS307では、制御部32は、ステップS306において決定したプライベートレベルを携帯端末11に通知する。通知後、プロセスはステップS308に進む。   In step S307, the control unit 32 notifies the portable terminal 11 of the private level determined in step S306. After notification, the process proceeds to step S308.

ステップS308では、制御部32は、ステップS305において検出した顔の位置に基づいて、携帯端末11のディスプレイ19がステップS303において撮像された対話対象のユーザの顔の方向を向くように、変動機構25を駆動させる。変動機構25の駆動後、プロセスはステップS309に進む。   In step S308, based on the face position detected in step S305, the control unit 32 changes the change mechanism 25 so that the display 19 of the mobile terminal 11 faces the face of the user to be interacted captured in step S303. Drive. After driving the fluctuation mechanism 25, the process proceeds to step S309.

ステップS309では、制御部32は、発話処理および音声認識処理の少なくとも一方を開始させる指令を携帯端末11に通知する。通知後、プロセスはステップS310に進む。   In step S309, the control unit 32 notifies the portable terminal 11 of an instruction to start at least one of the speech process and the voice recognition process. After notification, the process proceeds to step S310.

ステップS310では、制御部32は、携帯端末11の離脱を載置センサ30が検出しているか否かを判別する。検出していない時、プロセスはステップS303に戻る。検出している時、プロセスはステップS311に進む。   In step S <b> 310, the control unit 32 determines whether or not the placement sensor 30 has detected the detachment of the mobile terminal 11. If not, the process returns to step S303. If so, the process proceeds to step S311.

ステップS311では、制御部32は、離脱の検出後から所定時間が経過しているか否かを判別する。所定時間が経過していない場合、プロセスはステップS311に戻る。所定時間が経過している場合、プロセスはステップS312に進む。   In step S311, the control unit 32 determines whether or not a predetermined time has elapsed since the detection of separation. If the predetermined time has not elapsed, the process returns to step S311. If the predetermined time has elapsed, the process proceeds to step S312.

ステップS312では、制御部32は、発話処理および音声認識処理の少なくとも一方を終了させる指令を携帯端末11に通知する。   In step S312, the control unit 32 notifies the portable terminal 11 of an instruction to end at least one of the speech process and the voice recognition process.

次に、本開示において携帯端末11の制御部22が実行する、プライベートレベル認識処理について、図7のフローチャートを用いて説明する。プライベートレベル認識処理は、充電台12が通知するプライベートレベルを取得する時に開始する。   Next, private level recognition processing executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG. The private level recognition process starts when the private level notified by the charging stand 12 is acquired.

ステップS400において、制御部22は取得したプライベートレベルを認識する。制御部22は、認識したプライベートレベルに基づいて、以後の発話処理における発話内容を変更する内容変更処理を実行する。プライベートレベルの認識後、プライベートレベル認識処理は終了する。   In step S400, the control unit 22 recognizes the acquired private level. Based on the recognized private level, the control unit 22 executes a content change process for changing the utterance contents in the subsequent utterance process. After the recognition of the private level, the private level recognition process ends.

次に、本開示において携帯端末11の制御部22が実行する、内容変更処理について、図8のフローチャートを用いて説明する。内容変更処理は、例えば携帯端末11が充電台12によって通知されたプライベートレベルを認識した時に開始する。内容変更処理は、例えば携帯端末11がプライベートレベルを認識してから発話処理を終了させる指令を受け取るまで、周期的に実行されてもよい。   Next, the content change process which the control part 22 of the portable terminal 11 performs in this indication is demonstrated using the flowchart of FIG. The content change process starts when the mobile terminal 11 recognizes the private level notified by the charging stand 12, for example. The content change process may be executed periodically, for example, from when the mobile terminal 11 recognizes the private level until receiving a command to end the speech process.

ステップS500では、制御部22は、対話対象のユーザに通知すべきスケジュールがあるか否かを判別する。例えば、まだ対話対象のユーザに通知していないスケジュールであって、実行予定日時まで所定の時間以内であるものがあれば、制御部22は、通知すべきスケジュールがあると判定する。通知すべきスケジュールがある場合、プロセスはステップS600に進む。通知すべきスケジュールがない場合、プロセスはステップS501に進む。   In step S500, the control unit 22 determines whether or not there is a schedule to be notified to the user to be interacted with. For example, if there is a schedule that has not yet been notified to the user to be interacted and is within a predetermined time until the scheduled execution date and time, the control unit 22 determines that there is a schedule to be notified. If there is a schedule to be notified, the process proceeds to step S600. If there is no schedule to be notified, the process proceeds to step S501.

ステップS600では、制御部22は、後述するスケジュール通知のサブルーチンを実行する。スケジュール通知のサブルーチンの実行後、プロセスはステップS501に進む。   In step S600, the control unit 22 executes a schedule notification subroutine to be described later. After execution of the schedule notification subroutine, the process proceeds to step S501.

ステップS501では、制御部22は、対話対象のユーザに通知すべきメモがあるか否かを判別する。例えば、まだ対話対象のユーザに通知していない新たに登録されたメモがあれば、制御部22は、通知すべきメモがあると判定する。通知すべきメモがある場合、プロセスはステップS700に進む。通知すべきメモがない場合、プロセスはステップS502に進む。   In step S501, the control unit 22 determines whether there is a memo to be notified to the user to be interacted with. For example, if there is a newly registered memo that has not yet been notified to the user to be interacted with, the control unit 22 determines that there is a memo to be notified. If there are notes to be notified, the process proceeds to step S700. If there is no memo to be notified, the process proceeds to step S502.

ステップS700では、制御部22は、後述するメモ通知のサブルーチンを実行する。メモ通知のサブルーチンの実行後、プロセスはステップS502に進む。   In step S700, the control unit 22 executes a memo notification subroutine to be described later. After execution of the memo notification subroutine, the process proceeds to step S502.

ステップS502では、制御部22は、対話対象のユーザに通知すべきメールがあるか否かを判別する。例えば、まだ対話対象のユーザに通知していない新たに受信したメールがあれば、制御部22は、通知すべきメールがあると判定する。通知すべきメールがある場合、プロセスはステップS800に進む。通知すべきメールがない場合、プロセスはステップS503に進む。   In step S502, the control unit 22 determines whether there is an email to be notified to the user to be interacted with. For example, if there is a newly received mail that has not yet been notified to the user to be interacted with, the control unit 22 determines that there is a mail to be notified. If there is an email to be notified, the process proceeds to step S800. If there is no mail to be notified, the process proceeds to step S503.

ステップS800では、制御部22は、後述するメール通知のサブルーチンを実行する。メール通知のサブルーチンの実行後、プロセスはステップS503に進む。   In step S800, the control unit 22 executes a mail notification subroutine to be described later. After execution of the mail notification subroutine, the process proceeds to step S503.

ステップS503では、制御部22は、対話対象のユーザに通知すべき電話着信があるか否かを判別する。例えば、対話対象のユーザ宛ての電話着信があれば、または、まだ対話対象のユーザに通知していない電話の録音メモがあれば、制御部22は、通知すべき電話着信があると判定する。通知すべき電話着信がある場合、プロセスはステップS900に進む。通知すべき電話着信がない場合、内容変更処理は終了する。   In step S503, the control unit 22 determines whether there is a telephone call to be notified to the user to be interacted with. For example, if there is an incoming call addressed to the user to be interacted with, or if there is a recording memo of a telephone that has not been notified to the user to be interacted with, the control unit 22 determines that there is an incoming call to be notified. If there is an incoming call to be notified, the process proceeds to step S900. If there is no incoming call to be notified, the content change process ends.

ステップS900では、制御部22は、後述する電話着信通知のサブルーチンを実行する。電話着信通知のサブルーチンの実行後、内容変更処理は終了する。また、内容変更処理において通知すべきスケジュール、メモ、メールおよび電話着信の少なくとも一つがあった場合、制御部22は、発話処理において、内容変更処理を経た発話内容を音声出力する。   In step S900, the control unit 22 executes a telephone call notification subroutine described later. After executing the telephone call notification subroutine, the content change process ends. In addition, when there is at least one of a schedule, a memo, an email, and an incoming call to be notified in the content change process, the control unit 22 outputs the utterance content that has undergone the content change process in the utterance process.

次に、本開示において携帯端末11の制御部22が実行する、スケジュール通知のサブルーチンS600について、図9のフローチャートを用いて説明する。   Next, a schedule notification subroutine S600 executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG.

ステップS601において、制御部22は、プライベートレベルが第1のレベルであるか否かを判別する。第1のレベルでない場合(第2のレベルまたは第3のレベルである場合)、制御部22は、スケジュール通知のサブルーチンS600を終了する。第1のレベルである場合、プロセスはステップS602に進む。   In step S601, the control unit 22 determines whether or not the private level is the first level. If it is not the first level (when it is the second level or the third level), the control unit 22 ends the schedule notification subroutine S600. If it is the first level, the process proceeds to step S602.

ステップS602において、制御部22は、設定情報に基づいて、スケジュールを音声で通知することについてプライベート設定が有効であるか否かを判別する。ここで、プライベート設定が有効であるとは、プライベート情報を保護する設定となっていることを意味する。制御部22は、プライベート設定処理で生成された設定情報を参照することによって、内容変更処理の対象となる所定の情報(スケジュール、メモ、メールおよび電話)のそれぞれについて、プライベート設定が有効であるか否かを判別可能である。スケジュールを音声で通知することについてプライベート設定が有効である場合、プロセスはステップS603に進む。プライベート設定が有効でない場合、プロセスはステップS604に進む。   In step S602, the control unit 22 determines whether the private setting is valid for notifying the schedule by voice based on the setting information. Here, that the private setting is valid means that the private information is protected. By referring to the setting information generated in the private setting process, the control unit 22 determines whether the private setting is valid for each of predetermined information (schedule, memo, mail, and telephone) that is the target of the content change process. It is possible to determine whether or not. If the private setting is valid for notifying the schedule by voice, the process proceeds to step S603. If the private setting is not valid, the process proceeds to step S604.

ステップS603では、制御部22は、発話内容をなしに変更する。つまり、制御部22は、スケジュールについて発話しないように変更する。   In step S603, the control unit 22 changes the utterance content to none. That is, the control unit 22 changes the schedule so as not to speak.

ステップS604では、制御部22は、スケジュールの内容についてプライベート設定が有効であるか否かを判別する。プライベート設定が有効である場合、プロセスはステップS605に進む。プライベート設定が有効でない場合、制御部22は、スケジュール通知のサブルーチンS600を終了する。   In step S604, the control unit 22 determines whether the private setting is valid for the contents of the schedule. If the private setting is valid, the process proceeds to step S605. If the private setting is not valid, the control unit 22 ends the schedule notification subroutine S600.

ステップS605では、制御部22は、発話内容を定型句に変更する。定型句は例えば記憶部21に記憶されている。例えば、制御部22は、「本日の19時に歓送迎会の予定があります」という発話内容を、プライベートな情報を含まない定型句である「本日予定があります」に変更する。制御部22は、発話内容の変更後に、スケジュール通知のサブルーチンS600を終了する。   In step S605, the control unit 22 changes the utterance content to a fixed phrase. For example, the fixed phrase is stored in the storage unit 21. For example, the control unit 22 changes the utterance content “There is a schedule for a welcome and farewell party at 19:00 today” to “There is a schedule today” which is a fixed phrase that does not include private information. After changing the utterance content, the control unit 22 ends the schedule notification subroutine S600.

次に、本開示において携帯端末11の制御部22が実行する、メモ通知のサブルーチンS700について、図10のフローチャートを用いて説明する。   Next, a memo notification subroutine S700 executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG.

ステップS701において、制御部22は、プライベートレベルが第1のレベルであるか否かを判別する。第1のレベルでない場合(第2のレベルまたは第3のレベルである場合)、制御部22は、メモ通知のサブルーチンS700を終了する。第1のレベルである場合、プロセスはステップS702に進む。   In step S701, the control unit 22 determines whether or not the private level is the first level. If it is not the first level (if it is the second level or the third level), the control unit 22 ends the memo notification subroutine S700. If it is the first level, the process proceeds to step S702.

ステップS702において、制御部22は、設定情報に基づいて、メモを音声で通知することについてプライベート設定が有効であるか否かを判別する。プライベート設定が有効である場合、プロセスはステップS703に進む。プライベート設定が有効でない場合、プロセスはステップS704に進む。   In step S <b> 702, the control unit 22 determines whether the private setting is valid for notifying the memo by voice based on the setting information. If the private setting is valid, the process proceeds to step S703. If the private setting is not valid, the process proceeds to step S704.

ステップS703では、制御部22は、発話内容をなしに変更する。つまり、制御部22は、メモについて発話しないように変更する。   In step S703, the control unit 22 changes the utterance content to none. That is, the control unit 22 changes so as not to speak about the memo.

ステップS704では、制御部22は、メモの内容についてプライベート設定が有効であるか否かを判別する。プライベート設定が有効である場合、プロセスはステップS705に進む。プライベート設定が有効でない場合、制御部22は、メモ通知のサブルーチンS700を終了する。   In step S704, the control unit 22 determines whether the private setting is valid for the contents of the memo. If the private setting is valid, the process proceeds to step S705. If the private setting is not valid, the control unit 22 ends the memo notification subroutine S700.

ステップS705では、制御部22は、発話内容を定型句に変更する。定型句は例えば記憶部21に記憶されている。例えば、制御部22は、「明日、報告書Yを提出する必要があります」という発話内容を、プライベートな情報を含まない定型句である「メモがあります」に変更する。制御部22は、発話内容の変更後に、メモ通知のサブルーチンS700を終了する。   In step S705, the control unit 22 changes the utterance content to a fixed phrase. For example, the fixed phrase is stored in the storage unit 21. For example, the control unit 22 changes the utterance content “It is necessary to submit the report Y tomorrow” to “I have a memo” which is a fixed phrase that does not include private information. After changing the utterance content, the control unit 22 ends the memo notification subroutine S700.

次に、本開示において携帯端末11の制御部22が実行する、メール通知のサブルーチンS800について、図11のフローチャートを用いて説明する。   Next, a mail notification subroutine S800 executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG.

ステップS801において、制御部22は、プライベートレベルが第1のレベルであるか否かを判別する。第1のレベルでない場合(第2のレベルまたは第3のレベルである場合)、制御部22は、メール通知のサブルーチンS800を終了する。第1のレベルである場合、プロセスはステップS802に進む。   In step S801, the control unit 22 determines whether or not the private level is the first level. When it is not the first level (when it is the second level or the third level), the control unit 22 ends the mail notification subroutine S800. If it is the first level, the process proceeds to step S802.

ステップS802において、制御部22は、設定情報に基づいて、メールを音声で通知することについてプライベート設定が有効であるか否かを判別する。プライベート設定が有効である場合、プロセスはステップS803に進む。プライベート設定が有効でない場合、プロセスはステップS804に進む。   In step S <b> 802, the control unit 22 determines whether the private setting is valid for notifying the mail by voice based on the setting information. If the private setting is valid, the process proceeds to step S803. If the private setting is not valid, the process proceeds to step S804.

ステップS803では、制御部22は、発話内容をなしに変更する。つまり、制御部22は、メールについて発話しないように変更する。   In step S803, the control unit 22 changes the utterance content to none. That is, the control unit 22 changes so as not to speak about the mail.

ステップS804では、制御部22は、メールの宛先および件名の少なくとも一方についてプライベート設定が有効であるか否かを判別する。プライベート設定が有効である場合、プロセスはステップS805に進む。メールの宛先も、件名も、プライベート設定が有効でない場合、制御部22は、メール通知のサブルーチンS800を終了する。   In step S804, the control unit 22 determines whether the private setting is valid for at least one of the mail destination and the subject. If the private setting is valid, the process proceeds to step S805. If neither the mail destination nor the subject is private, the control unit 22 ends the mail notification subroutine S800.

ステップS805では、制御部22は、メールの宛先および件名のうちプライベート設定が有効であるものを定型句または「なし」に変更する。定型句は例えば記憶部21に記憶されている。例えばメールの宛先および件名のプライベート設定が有効である場合、制御部22は、「AさんからZの件でメールがきています」という発話内容を、「メールがきています」に変更する。また、例えばメールの件名のプライベート設定だけが有効である場合、制御部22は、「AさんからZの件でメールがきています」という発話内容を、「Aさんからメールがきています」に変更する。また、例えばメールの宛先のプライベート設定だけが有効である場合、制御部22は、「AさんからZの件でメールがきています」という発話内容を、「Zの件でメールがきています」に変更する。制御部22は、発話内容の変更後に、メール通知のサブルーチンS800を終了する。   In step S805, the control unit 22 changes the mail address and subject whose private setting is valid to the fixed phrase or “none”. For example, the fixed phrase is stored in the storage unit 21. For example, when the private setting of the mail destination and subject is valid, the control unit 22 changes the utterance content “A mail is received from Mr. A to Z” to “A mail is received”. For example, if only the private setting of the email subject is valid, the control unit 22 changes the utterance content “A message from Mr. A to Z” to “A message from Mr. A”. To do. For example, when only the private setting of the mail destination is valid, the control unit 22 changes the utterance content “A message is received from Mr. A in the case of Z” to “A mail is received in the case of Z”. change. After changing the utterance content, the control unit 22 ends the mail notification subroutine S800.

次に、本開示において携帯端末11の制御部22が実行する、電話着信通知のサブルーチンS900について、図12のフローチャートを用いて説明する。   Next, an incoming call notification subroutine S900 executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG.

ステップS901において、制御部22は、プライベートレベルが第1のレベルであるか否かを判別する。第1のレベルでない場合(第2のレベルまたは第3のレベルである場合)、制御部22は、電話着信通知のサブルーチンS900を終了する。第1のレベルである場合、プロセスはステップS902に進む。   In step S901, the control unit 22 determines whether or not the private level is the first level. If it is not the first level (if it is the second level or the third level), the control unit 22 ends the subroutine S900 for the incoming call notification. If it is the first level, the process proceeds to step S902.

ステップS902において、制御部22は、設定情報に基づいて、電話着信を音声で通知することについてプライベート設定が有効であるか否かを判別する。プライベート設定が有効である場合、プロセスはステップS903に進む。プライベート設定が有効でない場合、プロセスはステップS904に進む。   In step S902, based on the setting information, the control unit 22 determines whether the private setting is valid for notifying the incoming call by voice. If the private setting is valid, the process proceeds to step S903. If the private setting is not valid, the process proceeds to step S904.

ステップS903では、制御部22は、発話内容をなしに変更する。つまり、制御部22は、電話着信について発話しないように変更する。   In step S903, the control unit 22 changes the utterance content to none. That is, the control unit 22 changes so as not to speak about incoming calls.

ステップS904では、制御部22は、電話着信の発信者についてプライベート設定が有効であるか否かを判別する。プライベート設定が有効である場合、プロセスはステップS905に進む。プライベート設定が有効でない場合、制御部22は、電話着信通知のサブルーチンS900を終了する。   In step S904, the control unit 22 determines whether the private setting is valid for the caller of the incoming call. If the private setting is valid, the process proceeds to step S905. If the private setting is not valid, the control unit 22 ends the incoming call notification subroutine S900.

ステップS905では、制御部22は、発話内容を定型句に変更する。定型句は例えば記憶部21に記憶されている。例えば、制御部22は、「Aさんから着信がありました」という発話内容を、プライベートな情報を含まない定型句である「着信がありました」に変更する。また、例えば、制御部22は、「Aさんの伝言メモがあります」という発話内容を、プライベートな情報を含まない定型句である「伝言メモがあります」に変更する。制御部22は、発話内容の変更後に、電話着信通知のサブルーチンS900を終了する。   In step S905, the control unit 22 changes the utterance content to a fixed phrase. For example, the fixed phrase is stored in the storage unit 21. For example, the control unit 22 changes the utterance content “There was an incoming call from Mr. A” to “There was an incoming call” which is a fixed phrase that does not include private information. For example, the control unit 22 changes the utterance content “There is a message memo of Mr. A” to “I have a message memo” which is a fixed phrase that does not include private information. After changing the content of the utterance, the control unit 22 ends the telephone call notification subroutine S900.

以上のような構成の本実施形態に係る対話型電子機器は、対話対象のユーザのプライベートレベルに基づいて、スピーカによって音声出力する内容を変更する内容変更処理を実行する。プライベートレベルは自機器の周囲にいる人に応じて設定される。対話型電子機器では、対話対象のユーザに対して、音声で各種の通知を行うことによって利便性が高まる。一方、対話型電子機器の周囲に対話対象のユーザと親しくない人がいる場合に、プライベートな情報を含めた内容まで音声出力することは好ましくない。上述のような構成により、本実施形態の対話型電子機器は、内容変更処理を実行することによって、対話対象のユーザの個人情報を保護することが可能になる。このように、対話型電子機器は、従来の対話型電子機器に比べて機能が改善される。   The interactive electronic device according to the present embodiment having the above-described configuration executes a content change process for changing the content to be output by the speaker based on the private level of the user to be interacted with. The private level is set according to the people around the device. In an interactive electronic device, convenience is enhanced by performing various notifications by voice to a user who is to interact. On the other hand, when there is a person who is not close to the user to be interacted around the interactive electronic device, it is not preferable to output the sound including the private information. With the configuration as described above, the interactive electronic device according to the present embodiment can protect the personal information of the user to be interacted with by executing the content change process. Thus, the function of the interactive electronic device is improved as compared with the conventional interactive electronic device.

また、本実施形態に係る対話型電子機器は携帯端末11である。制御部22は、自機器(携帯端末11)が充電台12に載置された場合に内容変更処理を実行する。一般的に、外出中の携帯端末11のユーザは、帰宅後早急に携帯端末11の充電を開始することが多い。それゆえ、対話型電子機器は、ユーザの帰宅時など適切なタイミングで、当該ユーザ宛の通知をユーザに報知し得る。このように、対話型電子機器は、従来の対話型電子機器に比べて機能が改善される。   The interactive electronic device according to the present embodiment is a mobile terminal 11. The control unit 22 executes the content changing process when the own device (mobile terminal 11) is placed on the charging stand 12. Generally, the user of the mobile terminal 11 who is out often starts charging the mobile terminal 11 immediately after returning home. Therefore, the interactive electronic device can notify the user of a notification addressed to the user at an appropriate timing such as when the user returns home. Thus, the function of the interactive electronic device is improved as compared with the conventional interactive electronic device.

また、本実施形態に係る充電台12は、携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させている。このような構成により、充電台12は、単体で所定の機能を実行する携帯端末11とともにユーザとの対話相手になり得る。したがって、充電台12は、例えば、一人暮らしの高齢者の食事中の対話相手となり、高齢者の孤食を防ぎ得る。このように、充電台12は、従来の充電台に比べて、機能が改善されている。   Moreover, the charging stand 12 which concerns on this embodiment makes the portable terminal 11 perform at least one of an utterance process and a speech recognition process, when the portable terminal 11 is mounted. With such a configuration, the charging stand 12 can be a conversation partner with the user together with the portable terminal 11 that executes a predetermined function alone. Therefore, for example, the charging stand 12 becomes a conversation partner during the meal of the elderly living alone, and can prevent the elderly from eating alone. Thus, the function of the charging stand 12 is improved compared to the conventional charging stand.

また、本実施形態に係る充電台12は、携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させている。したがって、充電台12は、携帯端末11の載置により、煩雑な入力などを必要とすること無く、ユーザとの対話などを開始させ得る。   Moreover, the charging stand 12 according to the present embodiment causes the mobile terminal 11 to start executing at least one of the speech process and the voice recognition process when the mobile terminal 11 is placed. Therefore, the charging stand 12 can start a dialogue with the user without requiring a complicated input by placing the portable terminal 11.

また、本実施形態に係る充電台12は、携帯端末11が離脱する時、携帯端末11に発話処理及び音声認識処理の少なくとも一方の実行を終了させている。したがって、充電台12は、携帯端末11の離脱のみにより、煩雑な入力などを必要とすること無く、ユーザとの対話などを終了させ得る。   Moreover, the charging stand 12 according to the present embodiment causes the mobile terminal 11 to finish at least one of the speech process and the voice recognition process when the mobile terminal 11 is detached. Therefore, the charging stand 12 can terminate the dialogue with the user and the like only by detaching the mobile terminal 11 without requiring a complicated input.

また、本実施形態に係る充電台12は、携帯端末11のディスプレイ19が発話処理および音声認識処理の少なくとも一方の実行対象のユーザの方向を向くように変動機構25を駆動する。したがって、充電台12は、ユーザとの対話時に、コミュニケーションシステム10を、実際に会話をする人のように、当該ユーザに認識させ得る。   In addition, the charging stand 12 according to the present embodiment drives the variation mechanism 25 so that the display 19 of the mobile terminal 11 faces the user who is the execution target of at least one of the speech process and the voice recognition process. Therefore, the charging stand 12 can make the said user recognize the communication system 10 like the person who actually talks at the time of a dialog with a user.

また、本実施形態に係る充電台12は、ユーザとの会話内容を、充電台12と通信する異なる携帯端末11間において共有させ得る。このような構成により、充電台12は、特定のユーザの会話内容を他のユーザに把握させ得る。したがって、充電台12は、会話内容を遠隔地にいる家族などと共有させ得、家族間のコミュニケーションを円滑化し得る。   In addition, the charging stand 12 according to the present embodiment can share the content of the conversation with the user between the different mobile terminals 11 that communicate with the charging stand 12. With such a configuration, the charging stand 12 can cause other users to understand the conversation contents of a specific user. Therefore, the charging stand 12 can share the conversation content with a family at a remote location, and can facilitate communication between the families.

また、本実施形態に係る充電台12は、特定の対象の状態を判断して異常状態である場合に携帯端末11のユーザに報知する。したがって、充電台12は、特定の対象を見守りし得る。   Moreover, the charging stand 12 which concerns on this embodiment judges the state of a specific object, and notifies it to the user of the portable terminal 11 when it is in an abnormal state. Therefore, the charging stand 12 can watch over a specific object.

また、本実施形態に係るコミュニケーションシステム10は、対話対象のユーザに対して、過去の会話内容、発した音声、および充電台12の設置された場所などに基づいて、発する言葉を決める。このような構成により、コミュニケーションシステム10は、対話中のユーザの現在の会話内容および過去の会話内容ならびに設置場所に合わせた会話を行い得る。   In addition, the communication system 10 according to the present embodiment determines words to be uttered based on past conversation contents, voices uttered, a place where the charging stand 12 is installed, and the like for a user who is a conversation target. With such a configuration, the communication system 10 can perform a conversation in accordance with the current conversation contents and past conversation contents of the user who is talking and the installation location.

また、本実施形態に係るコミュニケーションシステム10は、特定のユーザの行動履歴などを学習して、ユーザへのアドバイスを出力することも可能である。このような構成により、コミュニケーションシステム10は、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案を行うことにより、ユーザの忘却し易いこと、ユーザに未知のことを認識させ得る。   In addition, the communication system 10 according to the present embodiment can learn an action history of a specific user and output advice to the user. With such a configuration, the communication system 10 enables the notification when the medicine should be taken, the proposal of the user's favorite meal, the proposal of the meal contents for the user's health, and the user can continue and effectively By proposing exercise, it is possible to make the user recognize that it is easy to forget and that the user is unknown.

また、本実施形態に係るコミュニケーションシステム10は、現在位置に関連付けられた情報を報知する。このような構成により、コミュニケーションシステム10は、ユーザの居住地近辺に特化した地域情報をユーザに教示し得る。   In addition, the communication system 10 according to the present embodiment notifies information associated with the current position. With such a configuration, the communication system 10 can teach the user regional information specialized in the vicinity of the user's residence.

本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本発明の範囲に含まれることに留意されたい。   Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various variations and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.

例えば、本実施形態において、携帯端末11の制御部22が、プライベートレベルに応じた内容変更処理、内容変更処理に従った内容での発話処理、音声認識処理を実行するが、これらを充電台12の制御部32が実行してもよい。充電台12の制御部32が実行する構成においては、ユーザとの対話において充電台12のマイク26、スピーカ27、およびカメラ28を駆動してもよいし、携帯端末11のマイク16、スピーカ17、およびカメラ18を、通信部23、13を介して駆動してもよい。   For example, in the present embodiment, the control unit 22 of the mobile terminal 11 executes a content change process according to the private level, a speech process with a content according to the content change process, and a voice recognition process. The control unit 32 may execute. In the configuration executed by the control unit 32 of the charging stand 12, the microphone 26, the speaker 27, and the camera 28 of the charging stand 12 may be driven in the dialog with the user, or the microphone 16, the speaker 17 of the portable terminal 11, The camera 18 may be driven via the communication units 23 and 13.

また、本実施形態において、充電台12の制御部32が実行する処理(例えば、プライベートレベルの判定処理等)の少なくとも一部を、携帯端末11の制御部22に実行させてもよい。   In the present embodiment, the control unit 22 of the mobile terminal 11 may cause at least a part of the process (for example, a private level determination process) executed by the control unit 32 of the charging stand 12 to be executed.

また、本実施形態において、スケジュール通知のサブルーチン、メモ通知のサブルーチン、メール通知のサブルーチン、および電話着信通知のサブルーチンは、プライベートレベルが第1のレベルであることを、プライベート状態でないとしている(ステップS601、ステップS701、ステップS801およびステップS901)。しかし、これらのサブルーチンは個別に(互いに独立に)、プライベートレベルが「第1のレベルまたは第2のレベル」であることを、プライベート状態でないとしてもよい。   In the present embodiment, the schedule notification subroutine, the memo notification subroutine, the mail notification subroutine, and the telephone call notification subroutine indicate that the private level is the first level (step S601). , Step S701, Step S801 and Step S901). However, these subroutines may be individually (independent of each other) that the private level is “first level or second level” and that the subroutine is not in a private state.

また、本実施形態において、プライベートレベルが第2のレベルおよび第3のレベルである場合に、プライベート状態であるとして発話内容の変更が実行されない。ここで、プライベートレベルが第2のレベルである場合に、発話内容を、第3のレベルの内容(プライベート情報を完全に含む内容)から変更してもよい。例えば、スケジュールについて音声出力する場合に、第3レベルの発話内容が「本日の19時に場所Xで歓送迎会の予定があります」であるとする。このとき、制御部22は、第2のレベルの発話内容を「歓送迎会の予定があります」に変更してもよい。つまり、制御部22は、重要なプライベート情報と判定する内容(この例では時刻および場所)を省略して、第2のレベルの発話内容としてもよい。このとき、プライベートレベルが第1のレベルから第3のレベルに応じて、段階的にプライベート情報が含まれるように発話内容が調整される。そのため、プライベート情報について、プライベートレベルに応じた、より適切な保護が可能になる。   In the present embodiment, when the private level is the second level or the third level, the utterance content is not changed because it is in the private state. Here, when the private level is the second level, the utterance content may be changed from the content of the third level (content that completely includes private information). For example, in the case of outputting a voice about a schedule, it is assumed that the content of the utterance at the third level is “There is a farewell party scheduled at place X at 19:00 today”. At this time, the control unit 22 may change the content of the utterance at the second level to “there is a farewell party”. That is, the control unit 22 may omit the content determined as important private information (in this example, time and place) and set it as the second level utterance content. At this time, the utterance content is adjusted so that private information is included in stages in accordance with the private level from the first level to the third level. Therefore, it is possible to protect private information more appropriately according to the private level.

また、本実施形態において、上記変形例を組み合わせて、充電台12の制御部32が内容変更処理、発話処理、音声認識処理等を実行し、かつ携帯端末11の制御部22がプライベートレベルの判定処理等を実行してもよい。   Moreover, in this embodiment, combining the said modification, the control part 32 of the charging stand 12 performs a content change process, a speech process, a speech recognition process, etc., and the control part 22 of the portable terminal 11 determines private level. Processing or the like may be executed.

また、本実施形態において、携帯端末11の制御部22が、登録処理を実行するが、充電台12の制御部32が実行してもよい。   Moreover, in this embodiment, although the control part 22 of the portable terminal 11 performs a registration process, the control part 32 of the charging stand 12 may perform.

また、本実施形態において、プライベート設定処理は、ユーザによる入力部20への入力で実行される。プライベート設定処理は、内容変更処理の対象となる所定の情報(スケジュール、メモ、メールおよび電話)のそれぞれについて、プライベート設定が有効であるか否かを個別に設定した設定情報を生成する。設定情報の変更は、プライベート設定処理を再び実行することによって可能である。ここで、一括した設定情報の変更(プライベート設定の有効と無効の切り替え)が、対話型電子機器とユーザとの特定の会話によって実行可能であってもよい。例えば、天気の話をした後に特定の言葉(一例として「そうそう」という返答)をユーザが発すると、制御部22によって設定情報が更新されて、スケジュール、メモ、メールおよび電話の全てについて一括してプライベート設定が有効(または無効)になってもよい。また、例えばユーザがタッチパネルに登録した画像(一例としてキャラクタの顔)を表示させて、登録した画像の特定の位置を特定の順番(一例として目、口、鼻の順)でユーザがタッチすると、スケジュール、メモ、メールおよび電話の全てについて一括してプライベート設定が有効(または無効)になってもよい。また、例えば対話型電子機器とユーザとの間で、一定時間、会話がない場合に、スケジュール、メモ、メールおよび電話の全てについて一括してプライベート設定が有効(または無効)になってもよい。また、例えば対話型電子機器によって実行される顔認識で、ユーザが確認できなくなると、スケジュール、メモ、メールおよび電話の全てについて一括してプライベート設定が有効(または無効)になってもよい。また、例えばユーザが電源ボタンなどの特定のボタンを押し下げると、スケジュール、メモ、メールおよび電話の全てについて一括してプライベート設定が有効(または無効)になってもよい。このような機能によって、プライベート設定について、ユーザが思う通りの素早い設定が可能になる。例えば当初プライベート設定をすることなく対話していて急に他人が入ってきたような場合に、他人に気付かれずにプライベート設定を有効にするといった使い方が可能になる。また、他人が去ってプライベートな空間となった場合に、一括してプライベート設定を無効化することによって、必要な情報を音声出力させることが可能になる。ここで、プライベート設定の一括の有効化(または無効化)が実行される前に、ユーザに対して確認画面が表示されてもよい。また、本実施形態において、周囲に他人がいるか否かの確認は、制御部32がカメラ28を駆動して画像から人の顔を探索することで行っていた(図6のステップS303〜ステップS305)で実行されていた。ここで、制御部32は、音声認識(声紋認識)によって周囲に他人がいるか否かを確認してもよい。また、制御部32は、上記のような対話型電子機器とユーザとの特定の会話を用いて、周囲に他人がいるか否かを確認してもよい。また、制御部32は、上記のような登録した画像へのタッチ順を用いて、周囲に他人がいるか否かを確認してもよい。   In the present embodiment, the private setting process is executed by an input to the input unit 20 by the user. The private setting process generates setting information that individually sets whether or not the private setting is valid for each of predetermined information (schedule, memo, mail, and telephone) that is a target of the content change process. The setting information can be changed by executing the private setting process again. Here, the batch setting information change (private setting valid / invalid switching) may be executed by a specific conversation between the interactive electronic device and the user. For example, when the user utters a specific word (for example, a reply “Yes”) after talking about the weather, the setting information is updated by the control unit 22, and all of the schedule, memo, mail, and phone call are batched. Private settings may be enabled (or disabled). In addition, for example, when an image registered by the user on the touch panel (for example, a character's face) is displayed and the user touches a specific position of the registered image in a specific order (for example, the order of eyes, mouth, and nose) Private settings may be enabled (or disabled) for all schedules, memos, emails, and calls. In addition, for example, when there is no conversation between the interactive electronic device and the user for a certain period of time, the private setting may be enabled (or disabled) for all of the schedule, memo, mail, and telephone. Also, for example, when face recognition performed by an interactive electronic device makes it impossible for the user to confirm, private settings may be enabled (or disabled) for all schedules, memos, emails, and telephones. Further, for example, when the user presses down a specific button such as a power button, the private setting may be enabled (or disabled) for all of the schedule, memo, mail, and phone. With such a function, the private setting can be made as quickly as the user thinks. For example, when a conversation is made without initially setting a private setting and another person suddenly comes in, the private setting can be enabled without being noticed by the other person. Also, when another person leaves and becomes a private space, it is possible to output necessary information by voice by invalidating the private setting at once. Here, a confirmation screen may be displayed to the user before the private setting is collectively enabled (or disabled). Further, in the present embodiment, whether or not there is another person around is confirmed by the control unit 32 driving the camera 28 and searching for a human face from the image (steps S303 to S305 in FIG. 6). ) Was running. Here, the control unit 32 may confirm whether or not there is another person around by voice recognition (voiceprint recognition). In addition, the control unit 32 may check whether there is another person around by using a specific conversation between the interactive electronic device and the user as described above. In addition, the control unit 32 may check whether there is another person around by using the order of touching the registered images as described above.

また、本実施形態において、発話処理において発話する言葉がスケジュール、メモ、メールおよび電話に基づく場合に、内容変更処理が実行される。ここで、発話処理において発話する言葉の全て(例えば一般対話を含む)に対して、内容変更処理が実行されてもよい。例えば、制御部22は、特定の場所(一例として対話対象のユーザの家)以外に設けられた充電台12に携帯端末11が載置されたことを、充電台12から取得した位置情報またはGPS信号等から検出した場合に、発話する言葉の全てに対して内容変更処理を実行してもよい。このとき、発話する言葉に含まれる全てのプライベートな情報が定型句または一般的な言葉に置き換えられてもよい。例えば、制御部22は、対話対象のユーザの家以外の外出先に設けられた充電台12に携帯端末11が載置された場合に、発話する言葉の全てに対して内容変更処理を実行する。このとき、例えば、制御部22は、「今日、Bさんの誕生日です」という一般対話での発話内容を、「今日、友達の記念日です」に変更する。一般対話を含む全ての発話内容に対して内容変更処理を実行することによって、対話対象のユーザの個人情報をより強固に保護することが可能になる。   In the present embodiment, the content change process is executed when words spoken in the utterance process are based on a schedule, a memo, an email, and a telephone. Here, the content change process may be executed for all words (for example, including a general dialogue) uttered in the utterance process. For example, the control unit 22 indicates that the mobile terminal 11 is placed on the charging stand 12 provided at a place other than a specific place (for example, the home of the user to be interacted with), or the positional information acquired from the charging stand 12 or GPS When it is detected from a signal or the like, the content change process may be executed for all words spoken. At this time, all private information included in the spoken words may be replaced with fixed phrases or common words. For example, when the mobile terminal 11 is placed on the charging stand 12 provided outside the home of the user to be interacted with, the control unit 22 executes content change processing for all words spoken. . At this time, for example, the control unit 22 changes the utterance content in the general dialogue “Today is Mr. B's birthday” to “Today is a friend's anniversary”. By executing the content change process for all utterance contents including the general dialogue, it becomes possible to protect the personal information of the user who is the dialogue target more firmly.

10 コミュニケーションシステム
11 携帯端末
12 充電台
13 通信部
14 受電部
15 バッテリ
16 マイク
17 スピーカ
18 カメラ
19 ディスプレイ
20 入力部
21 記憶部
22 制御部
23 通信部
24 給電部
25 変動機構
26 マイク
27 スピーカ
28 カメラ
29 人感センサ
30 載置センサ
31 記憶部
32 制御部
DESCRIPTION OF SYMBOLS 10 Communication system 11 Portable terminal 12 Charging stand 13 Communication part 14 Power reception part 15 Battery 16 Microphone 17 Speaker 18 Camera 19 Display 20 Input part 21 Storage part 22 Control part 23 Communication part 24 Power supply part 25 Fluctuation mechanism 26 Microphone 27 Speaker 28 Camera 29 Human sensor 30 Placement sensor 31 Storage unit 32 Control unit

Claims (6)

自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更する内容変更処理を実行する制御部を備える
対話型電子機器。
An interactive electronic device including a control unit that executes a content change process for changing a content to be output by a speaker based on a private level according to a person around the device.
前記対話型電子機器は、携帯端末であって、
前記制御部は、前記自機器が充電台に載置された場合に前記内容変更処理を実行する
請求項1に記載の対話型電子機器。
The interactive electronic device is a mobile terminal,
The interactive electronic device according to claim 1, wherein the control unit executes the content changing process when the device is placed on a charging stand.
前記自機器の周囲にいる人は、カメラによって撮像された画像に基づいて判定される
請求項1または2に記載の対話型電子機器。
The interactive electronic device according to claim 1, wherein a person around the device is determined based on an image captured by a camera.
携帯端末と、
前記携帯端末を載置可能な充電台と、を備え、
前記携帯端末および前記充電台の一方が、自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更する
コミュニケーションシステム。
A mobile device,
A charging stand on which the portable terminal can be placed;
A communication system in which one of the portable terminal and the charging stand changes a content to be output by a speaker based on a private level according to a person around the device.
自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更するステップ、を含む
方法。
Changing the content of audio output by a speaker based on a private level according to a person around the device.
自機器の周囲にいる人に応じたプライベートレベルに基づいて、スピーカによって音声出力する内容を変更するように対話型電子機器を機能させる
プログラム。

A program that allows an interactive electronic device to function to change the content of audio output by a speaker based on a private level that depends on the people around the device.

JP2017162397A 2017-08-17 2017-08-25 Interactive electronics, communication systems, methods, and programs Active JP6971088B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017162397A JP6971088B2 (en) 2017-08-25 2017-08-25 Interactive electronics, communication systems, methods, and programs
US16/638,635 US20200410980A1 (en) 2017-08-17 2018-08-01 Interactive electronic apparatus, communication system, method, and program
PCT/JP2018/028889 WO2019035359A1 (en) 2017-08-17 2018-08-01 Interactive electronic apparatus, communication system, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017162397A JP6971088B2 (en) 2017-08-25 2017-08-25 Interactive electronics, communication systems, methods, and programs

Publications (2)

Publication Number Publication Date
JP2019041265A true JP2019041265A (en) 2019-03-14
JP6971088B2 JP6971088B2 (en) 2021-11-24

Family

ID=65727183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017162397A Active JP6971088B2 (en) 2017-08-17 2017-08-25 Interactive electronics, communication systems, methods, and programs

Country Status (1)

Country Link
JP (1) JP6971088B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225443A (en) * 1998-02-04 1999-08-17 Pfu Ltd Small-size portable information equipment and recording medium
JP2002368858A (en) * 2001-06-05 2002-12-20 Matsushita Electric Ind Co Ltd Charger for mobile phones
JP2007235265A (en) * 2006-02-27 2007-09-13 Kyocera Corp Portable terminal
JP2014083658A (en) * 2012-10-25 2014-05-12 Panasonic Corp Voice agent device, and control method therefor
JP2017059079A (en) * 2015-09-18 2017-03-23 株式会社Nttドコモ Information delivery device and information delivery program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225443A (en) * 1998-02-04 1999-08-17 Pfu Ltd Small-size portable information equipment and recording medium
JP2002368858A (en) * 2001-06-05 2002-12-20 Matsushita Electric Ind Co Ltd Charger for mobile phones
JP2007235265A (en) * 2006-02-27 2007-09-13 Kyocera Corp Portable terminal
JP2014083658A (en) * 2012-10-25 2014-05-12 Panasonic Corp Voice agent device, and control method therefor
JP2017059079A (en) * 2015-09-18 2017-03-23 株式会社Nttドコモ Information delivery device and information delivery program

Also Published As

Publication number Publication date
JP6971088B2 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
JP7103769B2 (en) Electronic devices, mobile terminals, communication systems, watching methods, and programs
KR101830657B1 (en) Mobile terminal and control method for the mobile terminal
US20160182709A1 (en) Mobile terminal and method of controlling therefor
US9565354B2 (en) Mobile terminal for refocusing of a captured image and method for controlling the same
US20220277752A1 (en) Voice interaction method and related apparatus
CN104685960A (en) System for and method of transmitting communication information
US20200410980A1 (en) Interactive electronic apparatus, communication system, method, and program
US9813546B2 (en) Electronic apparatus and method for controlling electronic apparatus
US11380319B2 (en) Charging stand, mobile terminal, communication system, method, and program
WO2020171548A1 (en) User input processing method and electronic device supporting same
JP6971088B2 (en) Interactive electronics, communication systems, methods, and programs
US11386894B2 (en) Electronic device, charging stand, communication system, method, and program
JP6942557B2 (en) Interactive electronics, communication systems, methods, and programs
JP6974058B2 (en) Charging stand, communication system, methods and programs
KR101298482B1 (en) Context-aware video phone service robot
JP2021064947A (en) Portable terminal and program
JP2019140655A (en) Doorbell
JP2010062797A (en) Intercom system
JP6883485B2 (en) Mobile devices and programs
JP2011205475A (en) Portable electronic device
JP6883487B2 (en) Charging stand, communication system and program
US11394825B1 (en) Managing mobile device phone calls based on facial recognition
JP2021061636A (en) Portable terminal and method
KR20170024436A (en) Wearable device and method for controlling the same
CN113380275A (en) Voice processing method and device, intelligent device and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6971088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150