JP2013191103A - Electronic device and program - Google Patents
Electronic device and program Download PDFInfo
- Publication number
- JP2013191103A JP2013191103A JP2012057950A JP2012057950A JP2013191103A JP 2013191103 A JP2013191103 A JP 2013191103A JP 2012057950 A JP2012057950 A JP 2012057950A JP 2012057950 A JP2012057950 A JP 2012057950A JP 2013191103 A JP2013191103 A JP 2013191103A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- information
- input
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、電子機器、およびプログラムに関する。 The present invention relates to an electronic device and a program.
複数の互いに異なる視野方向から視認可能な表示領域に表示面を分割し、それぞれの表示領域に情報を表示する電子機器がある（例えば、特許文献１参照）。 There is an electronic device that divides a display surface into a plurality of display areas that can be viewed from a plurality of different viewing directions and displays information in each display area (see, for example, Patent Document 1).
しかしながら、特許文献１に示す電子機器にあっては、表示面に表示された情報を複数の視野方向から視認可能であったとしても、その視野方向はその表示面に対面する側に限られているという問題があった。 However, in the electronic device shown in Patent Document 1, even if the information displayed on the display surface can be viewed from a plurality of viewing directions, the viewing direction is limited to the side facing the display surface. There was a problem of being.
本発明は、このような事情に鑑みてなされたもので、その目的は、ユーザに対面する面の反対面側にいる人に対して有効に情報を出力することができる電子機器、およびプログラムを提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an electronic device and a program capable of effectively outputting information to a person on the opposite side of the surface facing the user. It is to provide.
この発明は上述した課題を解決するためになされたもので、本発明は、互いに表裏の位置関係に配置されている第１出力部および第２出力部と、前記第１出力部に対面する側から入力される第１情報を検出する第１入力部と、前記第２出力部に対面する側から入力される第２情報を検出する第２入力部と、前記第１出力部および前記第２出力部に対面する方向のそれぞれにユーザがいるか否かを検出する検出部と、前記第１入力部および前記第２入力部のうち何れかの入力部の検出結果と、前記検出部の検出結果とに基づいて、前記第１出力部および前記第２出力部それぞれの出力を制御する出力制御部と、を備えることを特徴とする電子機器である。 The present invention has been made to solve the above-described problems. The present invention relates to a first output unit and a second output unit which are arranged in a positional relationship between the front and back sides, and a side facing the first output unit. A first input unit for detecting first information input from the second input unit, a second input unit for detecting second information input from a side facing the second output unit, the first output unit, and the second output unit. A detection unit for detecting whether or not there is a user in each direction facing the output unit; a detection result of any one of the first input unit and the second input unit; and a detection result of the detection unit And an output control unit that controls the output of each of the first output unit and the second output unit.
また、本発明は、互いに表裏の位置関係に配置されている第１出力部および第２出力部を有する電子機器が備えるコンピュータに、第１入力部に前記第１出力部に対面する側から入力される第１情報を検出させるステップと、第２入力部に前記第２出力部に対面する側から入力される第２情報を検出させるステップと、検出部に前記第１出力部および前記第２出力部に対面する方向のそれぞれにユーザがいるか否かを検出させるステップと、前記第１入力部および前記第２入力部のうち何れかの入力部の検出結果と、前記検出部の検出結果とに基づいて、前記第１出力部および前記第２出力部それぞれの出力を制御するステップと、を実行させるためのプログラムである。 According to the present invention, a computer provided in an electronic device having a first output unit and a second output unit that are arranged in a positional relationship with each other is input to a first input unit from a side facing the first output unit. Detecting the first information to be performed; causing the second input unit to detect the second information input from the side facing the second output unit; and causing the detection unit to detect the first output unit and the second information. Detecting whether or not there is a user in each of the directions facing the output unit, a detection result of any one of the first input unit and the second input unit, and a detection result of the detection unit, And a step of controlling the output of each of the first output unit and the second output unit based on the program.
この発明によれば、ユーザに対面する面の反対面側にいる人に対して有効に情報を出力することができる。 According to the present invention, information can be output effectively to a person on the opposite side of the surface facing the user.
＜電子機器の構成＞
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による電子機器１００の概略構成を示す模式図である。
図１に示す電子機器１００は、両面に表示部を有するタブレット型の電子機器である。この図に示す電子機器１００は、互いに表裏の位置関係にある第１面１０１（第１筐体面）と第２面１０２（第２筐体面）とにおいて、第１面１０１に表示面を有する第１表示部２１と、第２面１０２に表示面を有する第２表示部２２と、を備えている。すなわち、電子機器１００は、互いに表裏の位置関係に配置されている第１表示部２１および第２表示部２２を備えており、両面に情報または画像等を表示可能である。
図１（ａ）は、第１面１０１がユーザＡに対面する面、および第２面１０２がユーザＢに対面する面となるように電子機器１００が把持されている状態を示している。また、図１（ｂ）は、電子機器１００の第１面１０１を示す図であり、図１（ｃ）は、電子機器１００の第２面１０２を示す図である。
<Configuration of electronic equipment>
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic diagram showing a schematic configuration of an
An
FIG. 1A shows a state in which the
第１表示部２１および第２表示部２２は、操作入力用として、接触式の操作入力部（タッチパネル式の入力部）を備えている。例えば、この操作入力部は、第１表示部２１および第２表示部２２のそれぞれの表示面上における接触状態を検出する表示面接触センサ（第１接触状態検出部）として、第１表示部２１の表示面上に第１表示面接触センサ３３を備え、第２表示部２２の表示面上に第２表示面接触センサ３４を備えている。
なお、上記表示面接触センサは、表示面上のみに限らず、第１面１０１および第２面１０２のそれぞれの面上における接触状態を検出する構成としてもよい。
The
Note that the display surface contact sensor is not limited to the display surface, and may be configured to detect a contact state on each of the
また、電子機器１００は、第１撮像部１１と第２撮像部１２とを備えている。第１撮像部１１は、第１面１０１に配置され、第１表示部２１の表示面に対面する方向（第１方向）を撮像する。また、第２撮像部１２は、第２面１０２に配置され、第２表示部２２の表示面に対面する方向（第２方向）を撮像する。
なお、以下の記述において、電子機器１００のユーザＡに対面する面を第１面１０１とし、その反対側の面でありユーザＡに対面しない面を第２面１０２とする。同様に、電子機器１００のユーザＢに対面する面を第２面１０２とし、その反対側の面でありユーザＢに対面しない面を第１面１０１とする。
The
In the following description, the surface facing the user A of the
ユーザＡは、第１面１０１側の第１表示部２１に表示された情報を視認するとともに、第１面１０１側を主な操作面として、第１表示部２１の表面上に備えられている第１表示面接触センサ３３により操作入力を行う。これに対し、ユーザＢは、第２面１０２側の第２表示部２２に表示された情報を視認するとともに、第２面１０２側を主な操作面として、第２表示部２２の表面上に備えられている第２表示面接触センサ３４により操作入力を行う。
The user A visually recognizes information displayed on the
また、電子機器１００は、第１面１０１に配置されている第１音出力部２６と、第２面１０２に配置されている第２音出力部２７と、を備えている。さらに、電子機器１００は、第１面１０１に配置されている第１音検出部３８を有する第１音入力部３６と、第２面１０２に配置されている第２音検出部３９を有する第２音入力部３７と、を備えている。
The
次に、図２を参照して、電子機器１００の構成について説明する。
図２は、この発明の一実施形態による電子機器１００の構成を示す概略ブロック図である。なお、図２において図１の各部に対応する部分には同一の符号を付けている。
Next, the configuration of the
FIG. 2 is a schematic block diagram showing the configuration of the
図２に示す電子機器１００は、撮像部１０と、表示部２０および音出力部２５を有する出力部２と、操作入力部３０および音入力部３５を有する入力部３と、検出部４０と、制御部５０と、記憶部５と、バス９とを備えている。
The
撮像部１０は、第１面１０１に配置されている第１撮像部１１と、第２面１０２に配置されている第２撮像部１２と、を備えている。例えば、第１撮像部１１および第２撮像部１２のそれぞれは、不図示であるが、光学レンズと、光学レンズを介して入力される被写体光束（光学像）を撮像する撮像素子と、当該撮像素子に撮像された撮像データをデジタル画像データとして出力する撮像信号処理部と、を有している。また、撮像部１０は、後述する制御部５０が備えている撮像制御部５１により制御される。
The
出力部２は、表示部２０と、音出力部２５と、を備えている。
表示部２０は、第１面１０１に配置されている第１表示部２１と、第２面１０２に配置されている第２表示部２２と、を備えている。第１表示部２１および第２表示部２２は、例えば、液晶ディスプレイであって、情報または画像をそれぞれ表示する。また、表示部２０は、タッチパネルであって、第１表示部２１の表示面上に第１表示面接触センサ３３が設けられ（配置され）、第２表示部２２の表示面上に第２表示面接触センサ３４が設けられ（配置され）ている。なお、第１表示面接触センサ３３と第２表示面接触センサ３４とは、後述する操作入力部３０が備えている構成である。
The
The
音出力部２５は、第１面１０１に配置されている第１音出力部２６と、第２面１０２に配置されている第２音出力部２７と、を備えている。第１音出力部２６および第２音出力部２７のそれぞれは、例えばスピーカーを有しており、制御部５０の制御により、音声、操作音、または警告音などを出力する。
The
すなわち、電子機器１００は、第１面１０１側の出力部（第１出力部）として、第１面１０１に配置されている第１表示部２１および第１音出力部２６を備えている。また、電子機器１００は、第２面１０２側の出力部（第２出力部）として、第２面１０２に配置されている第２表示部２２および第２音出力部２７を備えている。
That is, the
入力部３は、操作入力部３０と、音入力部３５と、を備えている。
操作入力部３０は、第１面１０１に配置されている第１操作入力部３１と、第２面１０２に配置されている第２操作入力部３２とを備えている。例えば、第１操作入力部３１は、第１表示部２１の表示面上における接触状態を検出する第１表示面接触センサ３３を備えている。また、第２操作入力部３２は、第２表示部２２の表示面上における接触状態を検出する第２表示面接触センサ３４を備えている。
The
The
ここで、表示面接触センサ（第１表示面接触センサ３３および第２表示面接触センサ３４）は、タッチパネル方式の操作入力デバイスであって、例えば、静電容量方式の接触センサである。なお、表示面接触センサは、静電容量方式に代えて、電磁誘導方式、赤外線方式、表面弾性波方式、抵抗膜方式、マトリクス・スイッチ方式、などとしてもよい。また、表示面接触センサは、例えば、同時に複数個所の接触を検出することができる多点入力可能な、所謂マルチタッチパネル方式としてもよい。
Here, the display surface contact sensors (the first display
音入力部３５は、第１面１０１に配置され、第１表示部２１の表示面に対面する方向（第１方向）からの音を検出する第１音検出部３８を有する第１音入力部３６を備えている。また、音入力部３５は、第２面１０２に配置され、第２表示部２２の表示面に対面する方向（第２方向）からの音を検出する第２音検出部３９を有する第２音入力部３７を備えている。
The
第１音検出部３８および第２音検出部３９のそれぞれは、例えば、入力された音を検出するマイクを有しており、制御部５０の制御により、音声、または周囲音などを検出する。第１音入力部３６は、第１音検出部３８により検出された音（音声）を、音情報（音声情報）として取得する。また、第２音検出部３９により検出された音を、音情報（音声情報）として取得する。
Each of the first
すなわち、電子機器１００は、第１面１０１側の入力部（第１入力部）として、第１面１０１に配置され、第１面１０１側（第１出力部に対面する側）から入力される情報（第１情報）を検出する第１操作入力部３１および第１音入力部３６を備えている。また、電子機器１００は、第２面１０２側の入力部（第２入力部）として、第２面１０２に配置され、第２面１０２側（第２出力部に対面する側）から入力される情報（第２情報）を検出する第２操作入力部３２および第２音入力部３７を備えている。
That is, the
検出部４０は、顔検出部４１と、姿勢検出部４２と、把持状態検出部４３と、音検出方向識別部４４と、を備えている。例えば、検出部４０は、第１面１０１（第１出力部）および第２面１０２（第２出力部）に対面する方向（側）のそれぞれにユーザがいるか否かを検出する。
The
顔検出部４１は、撮像部１０により撮像された画像に基づいて、電子機器１００の第１面１０１および第２面１０２に対面する方向（側）のそれぞれにユーザがいるか否かを検出する。例えば、顔検出部４１は、第１撮像部１１により撮像された第１画像、および第２撮像部１２により撮像された第２画像のうちの何れかの画像（何れか一方の画像、或いは両方の画像）から顔の画像を検出する。そして、顔検出部４１は、第１画像から顔の画像を検出したか否かに基づいて、第１表示部２１の表示面（第１面１０１）に対面する方向にユーザがいるか否かを検出するとともに、第２画像から顔の画像を検出したか否かに基づいて、第２表示部２２の表示面（第２面１０２）に対面する方向にユーザがいるか否かを検出する。
The
図３は、撮像された画像からユーザを検出する処理を説明する図である。
図３（ａ）は、電子機器１００の第１面１０１に対面する方向にいるユーザＡが電子機器１００を把持している状態を示している。また、電子機器１００の第２面１０２に対面する方向にはユーザＢがいる。すなわち、ユーザＡは電子機器１００の第１面側の表示部や操作入力部を使用し、ユーザＢは電子機器１００の第２面側の表示部や操作入力部を使用する。
FIG. 3 is a diagram illustrating processing for detecting a user from a captured image.
FIG. 3A shows a state in which the user A who is in the direction facing the
第１撮像部１１は、第１表示部２１の表示面に対面する方向を撮像する。すなわち、図３（ａ）において、第１撮像部１１は、電子機器１００に対してユーザＡがいる方向を撮像する。また、第２撮像部１２は、第２表示部２２の表示面に対面する方向を撮像する。すなわち、図３（ａ）において、第２撮像部１２は、電子機器１００に対してユーザＢがいる方向を撮像する。
The
これにより撮像された画像の例を図３（ｂ）および図３（ｃ）にそれぞれ示す。図３（ｂ）は、第１撮像部１１によって撮像された第１画像の一例であって、画像領域内にユーザＡが撮像されていることを示している。また、図３（ｃ）は、第２撮像部１２によって撮像された第２画像の一例であって、画像領域内にユーザＢが撮像されていることを示している。この場合、顔検出部４１は、第１画像からユーザＡの顔（顔画像）を検出するとともに、第２画像からユーザＢの顔（顔画像）を検出する。これにより、顔検出部４１は、第１面１０１に対面する方向および第２面１０２に対面する方向の何れの方向にもユーザがいることを検出する。
Examples of images thus captured are shown in FIGS. 3B and 3C, respectively. FIG. 3B is an example of the first image captured by the
すなわち、顔検出部４１は、第１撮像部１１により撮像された第１画像に基づいて、第１表示部２１の表示面（第１面１０１）に対面する方向にユーザがいるか否かを検出するとともに、第２撮像部１２により撮像された第２画像に基づいて、第２表示部２２の表示面（第２面１０２）に対面する方向にユーザがいるか否かを検出する。
That is, the
また、顔検出部４１は、撮像された画像から顔を検出する場合、例えば、顔の形状や特徴をテンプレートとして予め記憶しておき、撮像された画像に対してテンプレートマッチングすることにより顔を検出する。なお、顔検出部４１は、撮像された画像の画像領域に対する検出した顔の位置、大きさ、方向などに基づいて、ユーザがいるか否か（電子機器１００のそれぞれの面を使用しているユーザがいるか否か）を検出してもよい。
また、顔検出部４１は、撮像された画像から顔を検出するのに代えて、眼や身体を検出してもよい。これにより、顔検出部４１は、撮像された画像から眼や身体を検出し、検出した方向に基づいて、第１表示部２１または第２表示部２２の表示面に対面する方向にユーザがいるか否かを検出してもよい。また、顔検出部４１は、検出結果を制御部５０に出力する。
In addition, when detecting the face from the captured image, the
Further, the
図２に戻り、姿勢検出部４２は、電子機器１００の姿勢を検出する。例えば、姿勢検出部４２は、加速度センサ、角速度センサ、傾斜センサ、または、地磁気センサ等を有しており、水平面に平行な面に含まれる互いに直交するＸ軸，Ｙ軸、および水平面に直交するＺ軸により定まる３次元空間における位置や角度により示される電子機器１００の姿勢や動きを検出する。また、姿勢検出部４２は、検出した電子機器１００の姿勢や動きを制御部５０に出力する。
Returning to FIG. 2, the
把持状態検出部４３は、電子機器１００がユーザにより把持されている状態を把持状態として検出する。例えば、把持状態検出部４３は、第１表示部２１の表示面上における接触状態を検出する第１表示面接触センサ３３と、第２表示部２２の表示面上における接触状態を検出する第２表示面接触センサ３４と、によって検出されるそれぞれの表示面上における接触状態に基づいて、把持状態を検出する。これにより、把持状態検出部４３は、例えば、電子機器１００が操作者の手により把持されている場合の把持されている位置、または、電子機器１００の第１表示部２１および第２表示部２２のうちの何れの表示部がユーザに対面する表示部として把持されているか等を検出する。
例えば、把持状態検出部４３は、上述の把持状態に基づいて、電子機器１００の第１面１０１および第２面１０２に対面する方向（側）のそれぞれにユーザがいるか否かを検出してもよい。
The gripping
For example, the gripping
音検出方向識別部４４は、第１音検出部３８および第２音検出部３９の何れかにより検出された音が、第１表示部２１の表示面に対面する方向および第２表示部２２の表示面に対面する方向のうち何れの方向からの音であるかを識別する。例えば、音検出方向識別部４４は、第１音検出部３８および第２音検出部３９が検出する音の大きさに基づいて、第１表示部２１の表示面に対面する方向から検出された音であるか、または第２表示部２２の表示面に対面する方向から検出された音であるか、を識別する。
The sound detection direction identification unit 44 is configured so that the sound detected by either the first
制御部５０は、撮像制御部５１と、出力制御部としての表示制御部５２および音出力制御部５３と、入力制御部としての操作入力制御部５４および音入力制御部５５と、を備えている。
撮像制御部５１は、撮像部１０の撮像処理を制御する。例えば、撮像制御部５１は、撮像部１０が備えている各撮像部に撮像させる撮像タイミング信号を出力する。
The
The
表示制御部５２は、表示部２０の表示処理を制御する。例えば、表示制御部５２は、表示部２０が備えている各表示部に表示させる情報（表示情報）を選択して表示させる処理、各表示部において情報を表示させる表示領域を設定する処理、各表示部の表示のオン（表示状態）とオフ（非表示状態）とを切り替える処理等を制御する。ここで、各表示部に表示させる情報（表示情報）とは、画像、文字またはアイコン等による情報、メニュー画面等、の何れであってもよい。
The
音出力制御部５３は、音出力部２５の出力処理を制御する。例えば、音出力制御部５３は、音出力部２５が備えている各音出力部に出力させる情報（音声情報）を選択して出力させる処理を制御する。
The sound
操作入力制御部５４は、操作入力部３０において入力される操作に対する検出処理を制御する。例えば、操作入力制御部５４は、操作入力部が備えている各表示面接触センサの検出領域の変更、検出動作のオン（検出動作状態）とオフ（検出停止状態）との切り替え処理等を制御する。また、操作入力制御部５４は、第１操作入力部３１および第２操作入力部３２の何れから操作入力を検出したかを判定する。
The operation
音入力制御部５５は、音入力部３５に入力される音に対する検出処理を制御する。例えば、音入力制御部５５は、音入力部３５が検出する音の周波数帯域、サンプリング周期、検出期間などを制御する。
The sound
記憶部５には、表示部２０に表示させる情報等が記憶されている。例えば、記憶部５には、表示部２０に表示させる情報として、画像、文字またはアイコン等による情報、メニュー画面等、のデータが記憶されている。この記憶部５に記憶されている情報は、制御部５０の制御によって読み出される。
The
バス９は、撮像部１０、表示部２０、音出力部２５、操作入力部３０、音入力部３５、検出部４０、制御部５０、および記憶部５に接続され、各部から出力された画像データ、音データ、検出信号、制御信号等を転送する。
The bus 9 is connected to the
（入出力制御の説明）
次に、本実施形態の電子機器１００における入出力制御について説明する。
前述したように、電子機器１００は、第１出力部（第１面１０１側の出力部）としての第１表示部２１および第１音出力部２６と、第２出力部（第２面１０２側の出力部）としての第２表示部２２および第２音出力部２７とを備えている。
また、電子機器１００は、第１入力部（第１面１０１側の入力部）としての第１操作入力部３１および第１音入力部３６と、第２入力部（第２面１０２側の入力部）としての第２操作入力部３２および第２音入力部３７とを備えている。
(Description of input / output control)
Next, input / output control in the
As described above, the
The
制御部５０は、上述の第１入力部および第２入力部のうち何れかの入力部の検出結果と、検出部４０の検出結果とに基づいて、上述の第１出力部および第２出力部それぞれの出力を制御する。
図４は、電子機器１００の両面側にユーザがいる場合の入出力制御を説明する図である。また、図５は、電子機器１００の片面側のみにユーザがいる場合の入出力制御を説明する図である。以下、図４、５を用いて、本実施形態の入出力制御の概要について説明する。
The
FIG. 4 is a diagram illustrating input / output control when there are users on both sides of the
まず、図４を用いて、電子機器１００の両面側にユーザがいる場合の入出力制御の概要を説明する。図４に示すように、検出部４０は、第１面１０１に対面する方向を撮像した第１画像および第２面１０２に対面する方向を撮像した第２画像の両方の画像からそれぞれ顔を検出（ユーザＡおよびユーザＢの顔を検出）する（符号２０１参照）。この場合、制御部５０は、第１入力部が検出した情報（第１情報）に基づいて出力する情報（第３情報）を、第２出力部から出力させる（符号２０２参照）とともに、第２入力部が検出した情報（第２情報）に基づいて出力する情報（第４情報）を、第１出力部から出力させる（符号２０３参照）。
First, an outline of input / output control when there are users on both sides of the
例えば、表示制御部５２は、顔検出部４１により、第１表示部２１および第２表示部２２の表示面に対面する方向のそれぞれ両方にユーザがいると検出された場合、第１入力部が検出した第１情報に基づいて出力する第３情報を、第２表示部２２に表示させる。また、表示制御部５２は、第２入力部が検出した第２情報に基づいて出力する第４情報を、第１表示部２１に表示させる。
For example, when the
ここで、第１入力部が検出した第１情報は、第１操作入力部３１が検出した情報および第１音入力部３６が検出した情報の何れであってもよい。また、第２入力部が検出した第２情報は、第２操作入力部３２が検出した情報および第２音入力部３７が検出した情報の何れであってもよい。
Here, the first information detected by the first input unit may be any of information detected by the first
なお、表示制御部５２の制御に代えて、音出力制御部５３の制御としてもよい。例えば、音出力制御部５３は、顔検出部４１により、第１表示部２１および第２表示部２２の表示面に対面する方向のそれぞれ両方にユーザがいると検出された場合、第１入力部が検出した第１情報に基づいて出力する第３情報を、第２音出力部２７から出力させてもよい。また、音出力制御部５３は、第２入力部が検出した第２情報に基づいて出力する第４情報を、第１音出力部２６から出力させてもよい。
Instead of the control of the
次に、図５を用いて、電子機器１００の片面側のみにユーザがいる場合の入出力制御の概要を説明する。図５（ａ）に示すように、検出部４０は、第１面１０１に対面する方向を撮像した第１画像からのみ顔を検出（ユーザＡの顔を検出）する（符号２０４参照）。この場合、制御部５０は、第１入力部が検出した第１情報に基づいて出力する第３情報を、第１出力部から出力させる（符号２０５参照）。
Next, an outline of input / output control when the user is on only one side of the
例えば、表示制御部５２は、顔検出部４１により、第１表示部２１の表示面に対面する方向のみにユーザがいると検出された場合、第１入力部が検出した第１情報に基づいて出力する第３情報を、第１表示部２１に表示させる。
For example, when the
また、図５（ｂ）に示すように、検出部４０は、第２面１０２に対面する方向を撮像した第２画像からのみ顔を検出（ユーザＢの顔を検出）する（符号２０６参照）。この場合、制御部５０は、第２入力部が検出した第２情報に基づいて出力する第４情報を、第２出力部から出力させる（符号２０７参照）。
As shown in FIG. 5B, the
例えば、表示制御部５２は、顔検出部４１により、第２表示部２２の表示面に対面する方向のみにユーザがいると検出された場合、第２入力部が検出した第２情報に基づいて出力する第４情報を、第２表示部２２に表示させる。
For example, when the
ここで、図５（ａ）に示す第１入力部が検出した第１情報は、第１操作入力部３１が検出した情報および第１音入力部３６が検出した情報の何れであってもよい。また、図５（ｂ）に示す第２入力部が検出した第２情報は、第２操作入力部３２が検出した情報および第２音入力部３７が検出した情報の何れであってもよい。
Here, the first information detected by the first input unit shown in FIG. 5A may be either the information detected by the first
なお、図５（ａ）、（ｂ）に示す制御も図４に示す制御と同様に、表示制御部５２の制御に代えて、音出力制御部５３の制御としてもよい。例えば、音出力制御部５３は、顔検出部４１により、第１表示部２１の表示面に対面する方向のみにユーザがいると検出された場合、第１入力部が検出した第１情報に基づいて出力する第３情報を、第１音出力部２６から出力させてもよい。また、音出力制御部５３は、顔検出部４１により、第２表示部２２の表示面に対面する方向のみにユーザがいると検出された場合、第２入力部が検出した第２情報に基づいて出力する第４情報を、第２音出力部２７にから出力させてもよい。
Note that the control shown in FIGS. 5A and 5B may be controlled by the sound
このように、制御部５０は、電子機器１００の両面側にユーザがいると検出された場合、互いに表裏の関係にある面から入力された情報に基づいて出力する情報を、入力された面の反対面から出力させるように制御する。また、制御部５０は、電子機器１００の片面側のみにユーザがいると検出された場合、ユーザがいる面から入力された情報に基づいて出力する情報を、入力された面と同じ面から出力させるように制御する。
As described above, when it is detected that there are users on both sides of the
これにより、電子機器１００は、電子機器１００の両面側にユーザがいると検出された場合、ユーザによって入力された情報に基づいて出力する情報を、入力された面の反対面側にいるユーザに対面する側から出力することができる。例えば、第１面１０１に対面する方向にいるユーザＡから入力された情報に基づいて出力する情報を、第１面１０１の反対面となるユーザＢに対面する第２面１０２から出力することができる。よって、電子機器１００は、互いに表裏の位置関係に備えられている入力部から入力された情報に基づいて出力する情報を、入力された面と反対面側の出力部から出力することにより、反対面側にいるユーザに有効に伝えることができる。
Thereby, when it is detected that there are users on both sides of the
また、電子機器１００は、電子機器１００の片面側のみにユーザがいる場合には、入力された情報に基づいて出力する情報を、入力された面と同じ面（すなわち、ユーザがいる面）の出力部から出力することができる。よって、電子機器１００は、電子機器１００の両面側にユーザがいる場合と片面側のみにユーザがいる場合とに応じて、適切に制御することができる。
In addition, when there is a user only on one side of
なお、図４に示す制御において、電子機器１００は、符号２０２が示す制御（第１面１０１からの入力された情報に基づいて第２面１０２から出力する制御）、および符号２０３が示す制御（第２面１０２からの入力された情報に基づいて第１面１０１から出力する制御）の何れか一方の制御のみ実行する構成としてもよい。
In the control shown in FIG. 4, the
＜翻訳機能を備えた電子機器の例＞
次に、本実施形態の電子機器が翻訳機能を備えている場合を例として、上述した入出力制御について詳しく説明する。
図６は、翻訳機能を備えた電子機器２００の構成の一例を示す概略ブロック図である。この図６に示す電子機器２００の構成は、図２に示す電子機器１００の構成に対して翻訳部６と、言語推定部７と、情報変換部６０と、を備えている点が異なる。なお、図６において、図２の各部に対応する構成には同一の符号を付け、その説明を省略する。
<Example of electronic equipment with translation function>
Next, the input / output control described above will be described in detail by taking as an example the case where the electronic apparatus of the present embodiment has a translation function.
FIG. 6 is a schematic block diagram illustrating an example of the configuration of an
翻訳部６は、言語により表された文字情報を翻訳し、この翻訳した言語により表された文字情報に変換する。例えば、記憶部５には、複数の国の言語を翻訳するための辞書情報が登録（記憶）されており、翻訳部６は、記憶部５に登録されている辞書情報に基づいて、入力された文字情報を翻訳する。
The
具体的には、翻訳部６は、第１入力部から入力された第１情報に含まれる第１言語により表された文字情報を、第１言語と異なる第２言語により表された文字情報を含む第３情報（第２出力部に出力する第３情報）に変換する。また、翻訳部６は、第２入力部から入力された第２情報に含まれる第２言語により表された文字情報を、第１言語により表された文字情報を含む第４情報（第１出力部に出力する第４情報）に変換する。
Specifically, the
ここで、第１言語は、例えば第１面１０１に対面する方向にいるユーザＡが用いる国の言語である。一方、第２言語は、例えば第２面１０２に対面する方向にいるユーザＢが用いる国の言語である。例えば、翻訳部６は、ユーザＡにより入力された第１言語により表された文字情報を、第２表示部２２の表示面に対面する方向に検出されたユーザＢに対応した第２言語（ユーザＢが用いる言語）により表された文字情報に変換する。また、翻訳部６は、ユーザＢにより入力された第２言語により表された文字情報を、第１表示部２１の表示面に対面する方向に検出されたユーザＡに対応した第１言語（ユーザＡが用いる言語）により表された文字情報に変換する。
Here, the first language is, for example, the language of the country used by the user A in the direction facing the
言語推定部７は、顔検出部４１により検出された顔の画像に基づいて、検出された顔のユーザが属する国の言語の候補を推定する。例えば、言語推定部７は、第２画像から検出された顔の画像（顔の特徴）に基づいて、翻訳部６が翻訳する複数の国の言語として、第２表示部２２の表示面に対面する方向のユーザＢが属する国の言語の候補を推定する。
Based on the face image detected by the
なお、例えば、記憶部５には、顔の特徴を示す顔特徴情報と、この顔特徴情報に対応付けられた複数の国の言語の候補が登録されている。そして、推定部７は、第２画像から検出された顔の画像（顔の特徴）と、記憶部５に登録されている顔特徴情報に対応付けられた複数の国の言語の候補と、に基づいてユーザＢが属する国の言語の候補を推定する
For example, in the
なお、翻訳部６が翻訳する言語は、ユーザにより選択された言語としてもよい。例えば、表示制御部５２が表示部２０に言語選択メニューを表示して、この言語選択メニューにおいてユーザにより選択された言語を翻訳部６が翻訳する言語としてもよい。
In addition, the language which the
また、翻訳部６は、第１言語により表された文字情報を、複数の国の言語それぞれにより表された複数の文字情報に翻訳するとともに、この翻訳した複数の文字情報を表示制御部５２の制御により第２表示部２２に表示させてもよい。そして、翻訳部６は、第２表示部２２に表示させた複数の国の言語それぞれにより表された複数の文字情報のうち選択された文字情報の言語を第２言語として翻訳してもよい。これにより、ユーザＢは、第２表示部２２に表示された複数の国の言語それぞれにより表された文字情報から、ユーザＢが用いる言語により表された文字情報を選択することができる。
The
さらに、上述したように、複数の国の言語それぞれにより表された複数の文字情報を第２表示部２２に表示させて、ユーザＢに翻訳言語を選択させる場合、翻訳部６は、第１言語により表された文字情報を、第２画像から検出された顔の画像に基づいて、複数の国の言語それぞれにより表された複数の文字情報に翻訳してもよい。
つまり、翻訳部６は、第２画像から検出された顔の画像に基づいて推定される国の言語（検出された顔のユーザが属すると推定される国の言語、例えば、アジア系の言語、アングロサクソン系の言語、など）に翻訳してもよい。例えば、翻訳部６は、検出された顔に基づいて言語推定部７が推定した複数の国の言語の候補に翻訳してもよい。
Furthermore, as described above, when displaying a plurality of character information expressed in each of languages of a plurality of countries on the
That is, the
情報変換部６０は、言語により表された文字情報を音声情報に変換する第１情報変換部６１（第１変換部）と、音声情報を文字情報に変換する第２情報変換部６２（第２変換部）と、を備えている。
The
例えば、音出力制御部５３は、第１情報変換部６１が変換した音声情報を、第１音出力部２６および第２音出力部２７の何れかから出力させる。これにより、電子機器２００は、翻訳した文字情報を音声情報として出力することができる。例えば、音出力制御部５３は、第１情報変換部６１が第２言語により表された文字情報を変換した音声情報を、第２音出力部２７から出力させるとともに、第１情報変換部６１が第１言語により表された文字情報を変換した音声情報を、第１音出力部２６から出力させる。
For example, the sound
これにより、電子機器２００は、ユーザＡが入力した第１言語により表された文字情報を第２言語により表された文字情報に翻訳するとともに、第２言語により表された文字情報を音声情報として第２音出力部２７から出力することができる。また、電子機器２００は、ユーザＢが入力した第２言語により表された文字情報を第１言語により表された文字情報に翻訳するとともに、第１言語により表された文字情報を音声情報として第１音出力部２６から出力することができる。
Thereby, the
また、第２情報変換部６２は、第１音検出部および前記第２音検出部の何れかにより検出された音声情報を、文字情報に変換する。
例えば、翻訳部６は、第２情報変換部６２が第１音検出部３８により検出された音声情報を変換した、第１言語により表された文字情報を、第２言語により表された文字情報に翻訳する。また、翻訳部６は、第２情報変換部６２が第２音検出部３９により検出された音声情報を変換した、第２言語により表された文字情報を、第１言語により表された文字情報に翻訳する。
The second information conversion unit 62 converts the voice information detected by either the first sound detection unit or the second sound detection unit into character information.
For example, the
これにより、電子機器２００は、ユーザＡが第１言語を用いた音声で入力した音声情報を文字情報に変換するとともに、変換した第１言語により表された文字情報を、第２言語により表された文字情報に翻訳することができる。また、電子機器２００は、ユーザＢが第２言語を用いた音声で入力した音声情報を文字情報に変換するとともに、変換した第２言語により表された文字情報を、第１言語により表された文字情報に翻訳することができる。
Thereby, the
よって、電子機器２００は、ユーザＡが第１言語を用いた音声で入力した音声情報を、文字情報に変換するとともに、第２言語により表された文字情報に翻訳して第２表示部２２に表示することができる。また、同様に、電子機器２００は、ユーザＢが第２言語を用いた音声で入力した音声情報を、文字情報に変換するとともに、第１言語により表された文字情報に翻訳して第１表示部２１に表示することができる。さらに、電子機器２００は、上述の第１情報変換部６１の機能も併用することにより、ユーザＡが第１言語を用いた音声で入力した音声情報を、第２言語を用いた音声で第２音出力部２７から出力することができる。また、同様に、電子機器２００は、ユーザＢが第２言語を用いた音声で入力した音声情報を、第１言語を用いた音声で第１音出力部２６から出力することができる。
Therefore, the
（翻訳機能を備えた電子機器における入出力制御の処理の説明）
次に、電子機器２００における翻訳機能を用いた入出力制御の処理の動作について説明する。なお、以下の説明において、第１言語を日本語とし、第２言語を英語として記述する。
(Explanation of input / output control processing in electronic equipment with translation function)
Next, the operation of the input / output control process using the translation function in the
図７は、電子機器２００の入出力制御処理の第１例を示すフローチャートである。この図７を参照して、電子機器２００が第１面１０１側（第１面１０１に対面する方向）、および第２面１０２側（第２面１０２に対面する方向）の顔を検出した結果に基づいて行う入出力制御処理の動作について説明する。
FIG. 7 is a flowchart illustrating a first example of input / output control processing of the
まず、検出部４０は、撮像部１０により撮像された画像から顔の画像を検出する（ステップＳ１）。次に、検出部４０は、撮像部１０により撮像された画像から第１面１０１側に顔があるか否か（すなわちユーザＡがいるか否か）を判定する（ステップＳ２）。例えば、検出部４０は、第１撮像部１１により撮像された第１画像から顔の画像を検出したか否かに基づいて、第１面１０１側に顔があるか否かを判定する。ステップＳ２において第１面１０１側に顔がない（すなわちユーザＡがいない）と判定された場合、検出部４０は、ステップＳ６に処理を進める。
First, the
一方、ステップＳ２において、第１面１０１側に顔がある（すなわちユーザＡがいる）と判定された場合、検出部４０は、撮像部１０により撮像された画像から第２面１０２側に顔があるか否か（すなわちユーザＢがいるか否か）を判定する（ステップＳ３）。例えば、検出部４０は、第２撮像部１２により撮像された第２画像から顔の画像を検出したか否かに基づいて、第２面１０２側に顔があるか否かを判定する。
On the other hand, when it is determined in step S2 that there is a face on the
ステップＳ３において、第２面１０２側に顔がある（すなわちユーザＢがいる）と判定された場合、検出部４０は、両面側にユーザがいる（第１面１０１側にユーザＡおよび第２面１０２側にユーザＢがそれぞれいる）と判定する。この検出部４０の結果を受けて、制御部５０は、第１面１０１側から入力された日本語により表された情報を、翻訳部６により英語により表され情報に翻訳して第２面１０２側に出力する（例えば、第２表示部２２に表示させる）。また、制御部５０は、第２面１０２側から入力された英語により表された情報を、翻訳部６により日本語により表され情報に翻訳して第１面１０１側に出力する（例えば、第１表示部２１に表示させる）（ステップＳ４）。
If it is determined in step S3 that there is a face on the
一方、ステップＳ３において、第２面１０２側に顔がない（すなわちユーザＢがいない）と判定された場合、検出部４０は、第１面１０１側のみにユーザＡがいると判定する。この検出部４０の結果を受けて、制御部５０は、第１面１０１側から入力された日本語により表された情報を、翻訳部６により英語により表され情報に翻訳して第１面１０１側に出力する（例えば、第１表示部２１に表示させる）（ステップＳ５）。
On the other hand, when it is determined in step S3 that there is no face on the
また、ステップＳ６において、検出部４０は、撮像部１０により撮像された画像から第２面１０２側に顔があるか否か（すなわちユーザＢがいるか否か）を判定する。例えば、検出部４０は、ステップＳ３と同様に、第２撮像部１２により撮像された第２画像から顔の画像を検出したか否かに基づいて、第２面１０２側に顔があるか否かを判定する。
In step S <b> 6, the
ステップＳ６において、第２面１０２側に顔がある（すなわちユーザＢがいる）と判定された場合、検出部４０は、第２面１０２側のみにユーザＢがいると判定する。この検出部４０の結果を受けて、制御部５０は、第２面１０２側から入力された英語により表された情報を、翻訳部６により日本語により表され情報に翻訳して第２面１０２側に出力する（例えば、第２表示部２２に表示させる）（ステップＳ７）。また、ステップＳ６において、第２面１０２側に顔がない（すなわちユーザＢがいない）と判定された場合、検出部４０は、両面側の何れにもユーザがいないと判定して、ステップＳ１に処理を戻す。
In step S6, when it is determined that there is a face on the
このように、制御部５０は、電子機器２００の両面側にユーザがいると検出された場合、互いに表裏の関係にある面から入力された情報を翻訳した情報を、入力された面の反対面から出力させるように制御する。また、制御部５０は、電子機器２００の片面側のみにユーザがいると検出された場合、ユーザがいる面から入力された情報を翻訳した情報を、入力された面と同じ面から出力させるように制御する。
As described above, when it is detected that there are users on both sides of the
これにより、電子機器２００は、電子機器２００の両面側にユーザがいると検出された場合、ユーザによって入力された情報を翻訳した情報を、入力された面の反対面側にいるユーザに対面する側から出力することができる。また、電子機器２００は、電子機器２００の片面側のみにユーザがいる場合には、入力された情報を翻訳した情報を、入力された面と同じ面（すなわち、ユーザがいる面）の出力部から出力することができる。よって、電子機器１００は、電子機器１００の両面側にユーザがいる場合と片面側のみにユーザがいる場合とに応じて、適切に制御することができる。
As a result, when it is detected that there are users on both sides of the
次に、電子機器２００の両面側に顔が検出された状態において、それぞれの面から情報が入力された際の処理について説明する。
図８は、電子機器２００の入出力制御処理の第２例を示すフローチャートであって、電子機器２００の両面側に顔が検出された状態における入出力制御処理を示している。
Next, processing when information is input from each surface in a state where faces are detected on both surfaces of the
FIG. 8 is a flowchart showing a second example of the input / output control process of the
まず、検出部４０は、電子機器２００の両面側に顔が検出された（第１面１０１側にユーザＡおよび第２面１０２側にユーザＢがそれぞれいる）と判定する（ステップＳ１１）。次に、入力部３は、第１面１０１側または第２面１０２側からの入力を検出する（ステップＳ１２）。
First, the
続いて、入力部３は、第１面１０１側から入力があったか否かを判定する（ステップＳ１３）。ステップＳ１３において、第１面１０１側から入力があったと判定された場合、翻訳部６は、入力された日本語により表された情報を、英語により表された情報に翻訳する（ステップＳ１４）。そして、制御部５０は、翻訳部６の翻訳結果である英語により表された情報を第２面１０２側に出力する（例えば、第２表示部２２に表示させる）（ステップＳ１５）。
Subsequently, the
一方、ステップＳ１３において、第１面１０１側から入力がないと判定された場合、入力部３は、第２面１０２側から入力があったか否かを判定する（ステップＳ１６）。ステップＳ１６において、第２面１０２側から入力があったと判定された場合、翻訳部６は、入力された英語により表された情報を、日本語により表された情報に翻訳する（ステップＳ１７）。そして、制御部５０は、翻訳部６の翻訳結果である日本語により表された情報を第１面１０１側に出力する（例えば、第１表示部２１に表示させる）（ステップＳ１８）。また、ステップＳ１６において、第２面１０２側から入力がないと判定された場合、検出部４０は、ステップＳ１２に処理を戻して入力が検出されるまでステップＳ１２、Ｓ１３、Ｓ１６の処理を繰り返す。
On the other hand, when it is determined in step S13 that there is no input from the
このように、制御部５０は、電子機器２００の両面側にユーザがいると検出された場合、互いに表裏の関係にある面から入力された情報を翻訳した情報を、入力された面の反対面から出力させるように制御する。
As described above, when it is detected that there are users on both sides of the
これにより、電子機器２００は、電子機器２００の両面側にユーザがいると検出された場合、ユーザによって入力された情報を翻訳した情報を、入力された面の反対面側にいるユーザに対面する側から出力することができる。例えば、電子機器２００は、第１面１０１に対面する方向にいるユーザＡから入力された情報（例えば日本語により表された情報）をユーザＢに伝えるために翻訳した情報（例えば英語により表された情報）を、第１面１０１の反対面となるユーザＢに対面する第２面１０２から出力することができる。よって、電子機器２００は、互いに表裏の位置関係に備えられている入力部から入力された情報を翻訳した情報を、入力された面と反対面側の出力部から出力することにより、反対面側にいるユーザに有効に伝えることができる。
As a result, when it is detected that there are users on both sides of the
次に、電子機器２００の両面側に顔が検出された状態において、第１面１０１側から情報が入力された際に複数の言語に翻訳して第２面側に表示することによりユーザＢに翻訳言語を選択可能とする処理について説明する。
図９は、電子機器２００の入出力制御処理の第３例を示すフローチャートであって、選択可能なように複数の翻訳言語を表示する処理の一例を示している。
Next, in a state where faces are detected on both sides of the
FIG. 9 is a flowchart showing a third example of the input / output control process of the
まず、検出部４０は、電子機器２００の両面側に顔が検出された（第１面１０１側にユーザＡおよび第２面１０２側にユーザＢがそれぞれいる）と判定する（ステップＳ２１）。次に、入力部３は、第１面１０１側から情報（日本語により表された情報）が入力されたことを検出する（ステップＳ２２）。
First, the
続いて、翻訳部６は、入力された日本語により表された情報を、設定された複数の国の言語（複数の翻訳言語）を用いて翻訳する（ステップＳ２５）。例えば、翻訳部６は、入力された日本語により表された情報を、予め設定された、英語、仏語、独語、中国語、等により表された情報にそれぞれ翻訳する。
Subsequently, the
そして、制御部５０は、翻訳部６の翻訳結果である複数の国の言語（複数の翻訳言語）を用いて表された（翻訳された）情報から、使用する翻訳言語（ユーザＢが用いる言語）を選択可能な選択画面（選択メニュー）を第２面１０２側に出力する（例えば、第２表示部２２に表示させる）（ステップＳ２６）。例えば、制御部５０は、英語、仏語、独語、中国語、等により表された情報を選択可能な選択画面（選択メニュー）を第２表示部２２に表示させる。
Then, the
そして、第２表示面接触センサ３４に対するユーザＢのタッチ操作を検出することにより、制御部５０は、第２表示部２２に表示させた複数の翻訳言語の中にユーザＢが用いる翻訳言語（該当言語）があるか否か（言語が選択されたか否か）を判定する（ステップＳ２７）。
And by detecting the touch operation of the user B with respect to the 2nd display
ステップＳ２７において、ユーザＢが用いる翻訳言語（該当言語）がある（言語が選択された）と判定された場合、翻訳部６は、選択された言語（例えば英語）を翻訳言語として設定する（ステップＳ２８）。一方、ステップＳ２７において、ユーザＢが用いる翻訳言語（該当言語）がないと判定された場合（言語が選択されず、例えば他の国の言語の候補を表示させるボタンに対するタッチ操作が検出された場合）、翻訳部６は、翻訳言語の候補の設定を変更して（ステップＳ２９）、ステップＳ２５に処理を戻す。そして、翻訳部６は、変更した候補の翻訳言語を用いて翻訳し、ステップＳ２６以降の処理を繰り返す。
If it is determined in step S27 that there is a translation language (corresponding language) used by the user B (a language is selected), the
このように、翻訳部６は、日本語（第１言語）により表された文字情報を、複数の国の言語それぞれにより表された複数の文字情報に翻訳する。また、表示制御部５２は、翻訳部６が翻訳した複数の文字情報を第２表示部２２に表示させる。そして、翻訳部６は、第２表示部２２に表示させた複数の国の言語それぞれにより表された複数の文字情報のうち選択された文字情報の言語を翻訳言語として設定する。
Thus, the
これにより、電子機器２００は、第２表示部２２に表示した複数の国の言語それぞれにより表された文字情報のうちから、ユーザＢが用いる言語により表された文字情報を選択可能にすることができる。すなわち、電子機器２００は、複数の国の言語（複数の翻訳言語）それぞれにより表された文字情報を第２表示部２２に表示することにより、表示した複数の国の言語（複数の翻訳言語）のうちからユーザＢが用いる言語（翻訳言語）を選択可能にすることができる。よって、ユーザＢは、第２表示部２２に表示された複数の国の言語それぞれにより表された文字情報から、ユーザＢが用いる言語により表された文字情報を選択することにより、ユーザＢが用いる言語（翻訳言語）を選択することができる。
Thereby, the
次に、図９を用いて説明した第２面側に表示する複数の翻訳言語を、検出した顔に基づいて推定した翻訳言語とする処理について説明する。
図１０は、電子機器２００の入出力制御処理の第４例を示すフローチャートであって、検出した顔に基づいて推定した複数の翻訳言語を表示する処理の一例を示している。図１０に示す処理は、図９に示す処理に対して、ステップＳ２５において翻訳する言語を、ステップＳ２３およびステップＳ２４の処理において推定した言語に設定する点のみが異なる。なお、図１０において、図９の各処理に対応する処理には同一の符号を付け、その説明を省略する。
Next, a description will be given of a process in which a plurality of translation languages displayed on the second surface side described with reference to FIG. 9 are converted into translation languages estimated based on detected faces.
FIG. 10 is a flowchart illustrating a fourth example of the input / output control process of the
言語推定部７は、第２面１０２側から検出された顔の画像に基づいて、翻訳部６が翻訳する複数の国の言語として、第２表示部２２の表示面に対面する方向のユーザＢが属する国の言語の候補を推定する（ステップＳ２３）。例えば、言語推定部７は、ユーザＢの顔がアジア系の顔と判定することにより、ユーザＢが属する国の言語の候補を、アジア系の人が属する国の言語の候補として、例えば、「日本語、中国語、韓国語、台湾語、英語」と推定する。
Based on the face image detected from the
次に、翻訳部６は、ステップＳ２４において、言語推定部７が推定した候補の言語を翻訳言語として設定する。そして、翻訳部６は、例えば、言語推定部７が推定した「日本語、中国語、韓国語、台湾語、英語」それぞれを翻訳言語に設定する。
Next, the
このように、翻訳部６は、日本語（第１言語）により表された文字情報を、第２画像から検出された顔の画像に基づいて、複数の国の言語それぞれにより表された複数の文字情報に翻訳する。これにより、ユーザＢに対面する表示部に表示させる翻訳言語の選択肢の中に、ユーザＢが用いる言語が含まれる確立を高めることができる。
In this manner, the
次に、図１１を参照して、電子機器２００の表示部２０の表示例について説明する。
図１１は、電子機器２００の表示部２０に表示される表示情報の一例を示す図であって、図１１（ａ）は第１表示部２１の表示例を示し、図１１（ｂ）は第２表示部２２の表示例を示している。
Next, a display example of the
FIG. 11 is a diagram illustrating an example of display information displayed on the
この図に示す第１表示部２１および第２表示部２２は、それぞれの表示領域が自分側の情報を表示する表示領域と相手側の情報を表示する表示領域との２つの領域に分割されて表示している。
The
図１１（ａ）に示すように、表示制御部５２は、ユーザＡに対面する第１表示部２１の表示領域のうち、ユーザＡの情報（自分側の情報、第１面１０１側から入力された第１情報）を表示する表示領域２１０と、ユーザＢの情報（相手側の情報、第２情報を翻訳した第４情報）を表示する表示領域２１５との２つの領域に、それぞれ対応する情報を表示させる。一方、表示制御部５２は、ユーザＢに対面する第２表示部２２の表示領域のうち、ユーザＢの情報（自分側の情報、第２面１０２側から入力された第２情報）を表示する表示領域２２０と、ユーザＡの情報（相手側の情報、第１情報を翻訳した第３情報）を表示する表示領域２２５との２つの領域に、それぞれ対応する情報を表示させる。
As shown in FIG. 11 (a), the
また、表示制御部５２は、表示領域２１０内の符号２１１で示す領域、または表示領域２２５内の符号２２６で示す領域に、それぞれ第１撮像部１１により撮像された第１画像に基づいて、ユーザＡの顔を含む画像を表示させてもよい。また、表示制御部５２は、表示領域２１５内の符号２１６で示す領域、または表示領域２２０内の符号２２１で示す領域に、それぞれ第２撮像部１２により撮像された第２画像に基づいて、ユーザＢの顔を含む画像を表示させてもよい。
In addition, the
なお、表示制御部５２は、上述したユーザＡの顔を含む画像、またはユーザＢの顔を含む画像のそれぞれに代えて、ユーザＡに対応するアバター画像、またはユーザＢに対応するアバター画像を表示させてもよい。
Note that the
例えば、記憶部５には、ユーザＡに対応するアバター画像、またはユーザＢに対応するアバター画像が登録（記憶）されている構成としてもよい。また、検出部４０は、第１画像または第２画像から検出した顔の特徴に基づいてユーザ認識処理を実行することにより、第１画像または第２画像から検出された顔の画像が、例えばユーザＡおよびユーザＢの何れの顔の画像であるかを検出してもよい。そして、表示制御部５２は、検出部４０により第１画像または第２画像から検出されたユーザＡおよびユーザＢの顔の画像と、記憶部５から読み出したユーザＡに対応するアバター画像、またはユーザＢに対応するアバター画像とに基づいて、ユーザＡに対応するアバター画像、またはユーザＢに対応するアバター画像を表示させてもよい。
For example, the
次に、翻訳機能を用いた入出力制御処理の動作の例として、図１１（ａ）、（ｂ）に示す表示方法を用いた場合の処理の一例を説明する。
例えば、制御部５０は、ユーザＡにより第１面１０１側から日本語を用いて表された文字情報（第１情報）「こんにちは。」が入力されたことを検出することにより、入力された文字情報（第１情報）「こんにちは。」を表示領域２１０内に表示させる（図１１（ａ）参照）。次に、翻訳部６は、この入力された日本語により表された文字情報（第１情報）「こんにちは。」を、英語により表された文字情報（第３情報）「Ｈｅｌｌｏ．」に翻訳する。そして、制御部５０は、翻訳された結果である英語により表された文字情報（第３情報）「Ｈｅｌｌｏ．」を、第２面１０２側の表示領域２２５内に表示させる（図１１（ｂ）参照）。
Next, as an example of the operation of the input / output control process using the translation function, an example of the process when the display method shown in FIGS. 11A and 11B is used will be described.
For example, the
また、制御部５０は、ユーザＢにより第２面１０２側から英語を用いて表された文字情報（第２情報）「Ｔｈａｎｋ ｙｏｕ．」が入力されたことを検出することにより、入力された文字情報（第２情報）「Ｔｈａｎｋ ｙｏｕ．」を表示領域２２０内に表示させる（図１１（ｂ）参照）。次に、翻訳部６は、この入力された英語により表された文字情報（第２情報）「Ｔｈａｎｋ ｙｏｕ．」を、日本語により表された文字情報（第４情報）「ありがとう。」に翻訳する。そして、制御部５０は、翻訳された結果である日本語により表された文字情報（第４情報）「ありがとう。」を、第１面１０１側の表示領域２１５内に表示させる（図１１（ａ）参照）。
Further, the
このように、表示制御部５２は、第１情報と第４情報とを、第１表示部２１の表示領域内において互いに重ならない位置にそれぞれ並べて表示させる。また、表示制御部５２は、第２情報と前記第３情報とを、第２表示部２２の表示領域内において互いに重ならない位置にそれぞれ並べて表示させる。
In this way, the
これにより、電子機器２００は、ユーザＡに対面する第１表示部２１、またはユーザＢに対面する第２表示部２２に対して、自分側から入力した情報と相手側から入力されて翻訳された情報との両方を表示することができる。よって、電子機器２００は、ユーザに分かりやすいように、互いに入力した対話の内容を表示することができる。なお、電子機器２００は、所定の回数分の対話の内容を表示してもよく、また、最新の対話が追加されるたびに過去の対話を履歴が古い順に削除して表示内容を更新してもよい。
As a result, the
また、表示制御部５２は、第１表示部２１の表示面に対面する方向にいるユーザＡを示す第１ユーザ画像（例えば、ユーザＡの顔を含む画像）を第２表示部２２に表示させるとともに、第２表示部２２の表示面に対面する方向にいるユーザＢを示す第２ユーザ画像（例えば、ユーザＢの顔を含む画像）を第１表示部２１に表示させる。
In addition, the
例えば、上述の第１ユーザ画像は、第１画像から検出された顔の画像、および第１表示部の表示面に対面する方向にいるユーザ固有（ユーザＡ）に対応付けられているアバターの画像の何れであってもよい。また、第２ユーザ画像は、第２画像から検出された顔の画像、および第２表示部２２の表示面に対面する方向にいるユーザ固有（ユーザＢ）に対応付けられているアバターの画像の何れであってもよい。
For example, the first user image described above includes an image of a face detected from the first image and an image of an avatar associated with a user specific (user A) in a direction facing the display surface of the first display unit. Any of these may be used. The second user image includes a face image detected from the second image and an avatar image associated with the user specific (user B) in the direction facing the display surface of the
これにより、電子機器２００は、ユーザＡに対面する第１表示部２１、またはユーザＢに対面する第２表示部２２に対して、自分の顔画像またはアバター画像と、相手の顔画像またはアバター画像の両方を表示することができる。よって、電子機器２００は、ユーザが操作入力中であって相手の顔を見ることができないような場合であっても、表示部に表示された相手の顔画像またはアバター画像を見ることができる。
Accordingly, the
なお、表示制御部５２は、第１操作入力部３１（第１入力部）に対する入力状態が入力中の状態であることが第１操作入力部３１により検出された場合、この入力中の状態であることを示す情報を第２表示部２２に表示させてもよい。同様に、表示制御部５２は、第２操作入力部３２（第２入力部）に対する入力状態が入力中の状態であることが第２操作入力部３２により検出された場合、この入力中の状態であることを示す情報を第１表示部２１に表示させてもよい。
When the first
これにより、電子機器２００は、電子機器２００の両面側にユーザがいる場合、それぞれのユーザに対面する表示部に対して、その反対面にいるユーザが入力中の場合には入力中であることを示す情報を表示することができる。よって、電子機器２００は、反対側にいるユーザの入力状態を表示することができるため、ユーザが相手の入力中の際にその入力が終了するまで待機することが可能になるといったようにユーザビリティを向上させることができる。
Thereby, when there are users on both sides of the
（入出力制御の処理タイミング）
次に、電子機器２００の入出力制御の処理タイミングについて説明する。
電子機器２００は、第１面１０１側からの入力処理と第２面側への出力処理とを時間軸において重ねて処理する（並列処理する）ことが可能である。例えば、制御部５０は、第２面１０２側から情報を出力している間も、第１面１０１側からの入力を検出する。
(I / O control processing timing)
Next, input / output control processing timing of the
The
以下、この処理タイミングについて、音声情報による入出力制御の処理を例として説明する。例えば、音入力制御部５５は、音出力制御部５３が、英語（第２言語）により表された文字情報を変換した音声情報を第２音出力部から出力させている間も、第１音検出部３８により検出された日本語（第１言語）を用いた音声情報を入力情報として取得する。
Hereinafter, the processing timing will be described using an example of input / output control processing based on audio information. For example, the sound
図１２は、電子機器２００の入出力制御の処理タイミングの第１例を示すタイミングチャートである。図１２の横軸は時刻ｔを示しており、縦軸は、（ａ）第１面１０１側からの音声情報の入力、（ｂ）第１面１０１側から入力される音声情報の区切りのタイミングを検出した信号（区切り検出信号）、（ｃ）翻訳処理、（ｄ）第２面１０２側への音声情報（翻訳後の音声情報）の出力、をそれぞれ示している。
FIG. 12 is a timing chart illustrating a first example of processing timing of input / output control of the
ここで、音入力部３５に対して、第１面１０１側からユーザＡによって入力される音声と第２面１０２側からユーザＢによって入力される音声とは、前述した音検出方向識別部４４により識別されているものとする。すなわち、第１音入力部３６は第１面１０１側から検出されたユーザＡの音声を音声情報として取得し、第２音入力部３７は第２面１０２側から検出されたユーザＢの音声を音声情報として取得するものとして、説明する。
Here, the sound input by the user A from the
時刻ｔ０から時刻ｔ１において、第１音入力部３６は、ユーザＡにより日本語を用いた音声で入力された音声情報Ｊ１１を取得する。時刻ｔ１において、第１音入力部３６は、音声が検出されなくなったことに応じて、音声情報Ｊ１１における文章の区切りを検出して、区切り検出信号をＬ（ロウ）レベルから所定の期間Ｈ（ハイ）レベルに制御する（トリガパルスを出力する）。この区切り検出信号のトリガパルスのタイミングに応じて、時刻ｔ１から時刻ｔ２において、翻訳部６は、取得された日本語を用いた音声情報Ｊ１１を、英語を用いた音声情報Ｅ１１に翻訳する。続いて、時刻ｔ２から時刻ｔ５において、音出力制御部５３は、翻訳結果である英語を用いた音声情報Ｅ１１を第２音出力部２７から出力させる。
From the time t0 to the time t1, the first
また、時刻ｔ２から時刻ｔ５において、音出力制御部５３が音声情報Ｅ１１を第２音出力部２７から出力させている間の時刻ｔ３において、ユーザＡが話し始めることによって、第１音入力部３６は、ユーザＡにより日本語を用いた音声で入力された音声情報Ｊ１２の取得を開始する。そして、時刻ｔ３から時刻ｔ６において、第１音入力部３６は、ユーザＡにより日本語を用いた音声で入力された音声情報Ｊ１２を取得する。
Further, when the user A starts speaking at time t3 while the sound
時刻ｔ６において、第１音入力部３６は、音声が検出されなくなったことに応じて、音声情報Ｊ１２における文章の区切りを検出して、区切り検出信号をＬ（ロウ）レベルから所定の期間Ｈ（ハイ）レベルに制御する（トリガパルスを出力する）。この区切り検出信号のトリガパルスのタイミングに応じて、時刻ｔ６から時刻ｔ８において、翻訳部６は、取得された日本語を用いた音声情報Ｊ１２を、英語を用いた音声情報Ｅ１２に翻訳する。続いて、時刻ｔ８において、音出力制御部５３は、翻訳結果である英語を用いた音声情報Ｅ１２を第２音出力部２７から出力開始させる。
At time t6, the first
このように、音入力制御部５５は、時刻ｔ３から時刻ｔ５において、音出力制御部５３が、英語（第２言語）により表された文字情報を変換した音声情報を第２音出力部から出力させている間も、第１音検出部３８により検出された日本語（第１言語）を用いた音声情報を入力情報として取得する。すなわち、電子機器２００は、第１面１０１側からの入力処理と第２面側への出力処理とを時間軸において重ねて処理する（並列処理する）。
As described above, the sound
また、電子機器２００は、第１面１０１側からの入力処理と第２面側からの入力処理とを時間軸において重ねて処理する（並列処理する）ことも可能である。例えば、制御部５０は、第１面１０１側からの入力を検出している間も、第２面１０２側からの入力を検出する。
In addition, the
以下、この処理タイミングについて音声情報による入出力制御の処理を例として説明する。例えば、音入力制御部５５は、第１音検出部３８により検出された日本語（第１言語）を用いた音声情報を入力情報として取得する間も、第２音検出部３９により検出された英語（第２言語）を用いた音声情報を入力情報として取得する。
Hereinafter, the processing timing will be described using an example of input / output control processing based on audio information. For example, the sound
図１３は、電子機器２００の入出力制御の処理タイミングの第２例を示すタイミングチャートである。図１３の横軸は時刻ｔを示しており、縦軸は、図１２に示す（ａ），（ｂ）、（ｃ）、および（ｄ）に加えて、（ｅ）第２面１０２側からの音声情報の入力、（ｆ）第２面１０２側から入力される音声情報の区切りのタイミングを検出した信号（区切り検出信号）、（ｇ）翻訳処理、（ｈ）第１面１０１側への音声情報（翻訳後の音声情報）の出力、をそれぞれ示している。なお、図１３に示す縦軸の（ａ），（ｂ）、（ｃ）、および（ｄ）のそれぞれの処理タイミングは、図１２に示す縦軸の（ａ），（ｂ）、（ｃ）、および（ｄ）のそれぞれの処理タイミングと同様であり、その説明を適宜省略する。
FIG. 13 is a timing chart illustrating a second example of input / output control processing timing of the
時刻ｔ３から時刻ｔ６において、第１音入力部３６がユーザＡにより日本語を用いた音声で入力された音声情報Ｊ１２を取得している間の時刻ｔ４において、ユーザＢが話し始めることによって、第２音入力部３７は、ユーザＢにより英語を用いた音声で入力された音声情報Ｅ２１の取得を開始する。そして、時刻ｔ４から時刻ｔ７において、第２音入力部３７は、ユーザＢにより英語を用いた音声で入力された音声情報Ｅ２１を取得する。
From time t3 to time t6, the user B starts to speak at time t4 while the first
時刻ｔ７において、第２音入力部３７は、音声が検出されなくなったことに応じて、音声情報Ｅ２１における文章の区切りを検出して、区切り検出信号をＬ（ロウ）レベルから所定の期間Ｈ（ハイ）レベルに制御する（トリガパルスを出力する）。この区切り検出信号のトリガパルスのタイミングに応じて、時刻ｔ７から時刻ｔ９において、翻訳部６は、取得された英語を用いた音声情報Ｅ２１を、日本語を用いた音声情報Ｊ２１に翻訳する。続いて、時刻ｔ９において、音出力制御部５３は、翻訳結果である日本語を用いた音声情報Ｊ２１を第１音出力部２６から出力開始させる。
At time t7, the second
このように、音入力制御部５５は、時刻ｔ４から時刻ｔ６において、第１音検出部３８により検出された日本語（第１言語）を用いた音声情報を入力情報として取得する間も、第２音検出部３９により検出された英語（第２言語）を用いた音声情報を入力情報として取得する。すなわち、電子機器２００は、第１面１０１側からの入力処理と第２面側からの入力処理とを時間軸において重ねて処理する（並列処理する）。
As described above, the sound
なお、電子機器２００は、さらに、第１面１０１側への出力処理と第２面側への出力処理とを時間軸において重ねて処理する（並列処理する）構成としてもよい。
例えば、図１３に示すように、時刻ｔ９以降において、音出力制御部５３は、英語（第２言語）により表された文字情報を変換した音声情報を第２音出力部から出力させるとともに、日本語（第１言語）により表された文字情報を変換した音声情報を第１音出力部から出力させる。
Note that the
For example, as shown in FIG. 13, after time t9, the sound
以上図１４および図１５を用いて説明したように、電子機器２００は、第１面１０１側からの入力処理と第２面側への出力処理とを時間軸において重ねて処理する（並列処理する）ことが可能である。また、電子機器２００は、第１面１０１側からの入出力処理または第２面側からの入出力処理を時間軸において重ねて処理する（並列処理する）ことが可能である。さらに、電子機器２００は、さらに、第１面１０１側への出力処理と第２面側への出力処理とを時間軸において重ねて処理する（並列処理する）構成としてもよい。なお、電子機器２００は、例えば、入力された文章の区切りを検出して、文章の区切り毎に翻訳するとともに、その翻訳結果を次の文章が入力されている状態であっても並列処理によって出力することが可能である。
As described above with reference to FIGS. 14 and 15, the
これにより、電子機器２００は、第１面１０１側からの入出力処理または第２面側からの入出力処理のうちの何れかの処理が実行されることによって、その他の処理の実行が妨げられることなく、それぞれの処理を実行することができる。よって、電子機器２００は、ユーザに対して処理の実行待ちをさせること無く、両面それぞれの側から入力された情報を翻訳した情報を、入力された面と反対面側から出力することができる。すなわち、電子機器２００は、ユーザが実際に会話するかのようなタイミングで、入力処理と翻訳結果の出力処理とを実行することができる（例えば、話した言葉に対して同時翻訳を実行することができる）。
Accordingly, the
＜文章変換機能を備えた電子機器の例＞
次に、本実施形態の電子機器が、文章変換機能を備えている場合の制御の一例を説明する。
図１４は、文章変換機能を備えた電子機器３００の構成の一例を示す概略ブロック図である。この図１４に示す電子機器３００の構成は、図２に示す電子機器１００の構成に対して文章変換部８を備えている点が異なる。なお、図１４において、図２の各部に対応する構成には同一の符号を付け、その説明を省略する。
<Example of electronic equipment with text conversion function>
Next, an example of control when the electronic device of the present embodiment has a text conversion function will be described.
FIG. 14 is a schematic block diagram illustrating an example of the configuration of an
文章変換部８は、第１用語を用いた文章により表された文字情報を、第１用語よりも平易な第２用語を用いた文章により表された文字情報に変換する。例えば、文章変換部８は、第１用語を用いた文章により表された文字情報を含む第１情報を、第２用語を用いた文章により表された文字情報を含む第３情報に変換する。また、文章変換部８は、入力された文字情報に、第１用語が含まれているか否かを判定する。
The
ここで、上述の第１用語は、例えば特定の分野で用いられ専門用語または学術用語である。これに対して、第１用語よりも平易な第２用語は、特定の分野に携わらない一般の人でも理解できる一般用語である。例えば、記憶部５には、専門用語または学術用語と、それら専門用語または学術用語に対応する一般用語とが、用語を変換するための用語情報として対応付けて登録（記憶）されており、文章変換部８は、記憶部５に登録されている用語情報に基づいて、入力された専門用語または学術用語を用いた文章により表された文字情報を、一般用語を用いた文章により表された文字情報に変換する。
Here, the first term described above is, for example, a technical term or an academic term used in a specific field. On the other hand, the second term that is simpler than the first term is a general term that can be understood by ordinary people who are not involved in a specific field. For example, in the
このように、電子機器３００は、第１面１０１側から入力された専門用語または学術用語で表された文字情報を、一般用語に変換して第２面１０２側に表示する。これにより、電子機器３００は、第１面１０１側のユーザ（例えば専門職に従事するユーザ）から入力された専門用語または学術用語で表された文字情報を、一般の人でも理解できる一般用語で表された文字情報により第２面１０２側のユーザ（例えば一般ユーザ）に伝えることができる。
In this way, the
（文章変換機能を備えた電子機器における入出力制御の処理の説明）
次に、電子機器３００における文章変換機能を用いた入出力制御の処理の動作について説明する。図１５は、文章変換機能を用いた入出力制御処理の一例を示すフローチャートである。
(Explanation of input / output control processing in electronic equipment with text conversion function)
Next, an operation of input / output control processing using the text conversion function in the
まず、検出部４０は、電子機器３００の両面側に顔が検出されたと判定する（ステップＳ３１）。次に、入力部３は、第１面１０１側から情報（例えば文字情報）が入力されたことを検出する（ステップＳ３２）。続いて、文章変換部８は、入力された文字情報に、専門用語（または学術用語など）が含まれているか否かを判定する（ステップＳ３３）。
First, the
ステップＳ３３において、専門用語が含まれていると判定された場合、文章変換部８は、専門用語を用いた文章により表された文字情報を、一般用語を用いた文章により表された文字情報に変換する（ステップＳ３４）。次に、表示制御部５２は、文章変換部８により変換された一般用語を用いた文章により表された文字情報を、第２面１０２側の第２表示部２２に表示させる（ステップＳ３５）。
If it is determined in step S33 that the technical term is included, the
一方、ステップＳ３３において、専門用語が含まれていないと判定された場合、表示制御部５２は、第１面１０１側から入力された文字情報そのままを、第２面１０２側の第２表示部２２に表示させる（ステップＳ３５）。
On the other hand, if it is determined in step S33 that no technical term is included, the
これにより、電子機器３００は、専門用語または学術用語で表された文字情報を、一般用語に変換して第２面１０２側に表示することができる。すなわち、電子機器３００は、例えば専門職に従事するユーザにより入力された専門用語または学術用語で表された文字情報を、入力された面の反対面側にいる例えば一般ユーザに対して、一般用語を用いた文章により表された文字情報に変換して表示することができる。
Thereby, the
ここで、上述した専門職に従事するユーザとは、例えば、医者、研究者、学者、等である。例えば、電子機器３００は、医者により入力された専門用語（医学用語）で表された文字情報を、入力された面の反対面側にいる患者に対して、一般用語を用いた文章により表された文字情報に変換して表示することができる。
Here, the user engaged in the above-described professional job is, for example, a doctor, a researcher, a scholar, or the like. For example, the
（表示方向の制御例）
次に、図１６および図１７を参照して、電子機器３００の表示部２０に表示される表示情報の表示方向の制御について説明する。ここでは、専門職に従事するユーザを医者とし、一般ユーザを患者とした場合を例として説明する。
(Display direction control example)
Next, with reference to FIGS. 16 and 17, control of the display direction of display information displayed on the
図１６は、病院内で電子機器３００が使用されている状況を示す図である。
図１６（ａ）は、病室内のベッドに横たわっている患者（ユーザＤ）に対して、そのベッドの横に立っている医者（ユーザＣ）が、電子機器３００を介して診断結果（カルテの内容）などを伝えている様子を示している。
FIG. 16 is a diagram illustrating a situation where the
FIG. 16A illustrates a case where a doctor (user C) standing next to a bed lying on a bed in a hospital room receives a diagnosis result (record of medical records) via the
この図１６（ａ）においては、電子機器３００の第１面１０１がユーザＣに対面する面、および第２面１０２がユーザＤに対面する面となるように電子機器３００がユーザＣによって把持されている。
また、図１６において、ＸＹＺ直交座標系が、互いに直交するＸ軸とＹ軸とが水平面に対して平行に定められ、Ｚ軸が水平面に対して直交する軸として定められている。ユーザＣは、Ｚ軸に沿って立っている姿勢であり、ユーザＤは、Ｘ軸方向に沿って横たわっている姿勢である。電子機器３００は、第１表示部２１および第２表示部２２の表示面の１辺がＸ軸と平行な関係であって、他辺がＸ軸に対して直交する軸と平行な関係である（仮にＺ軸と平行な関係とする）状態に把持されている。
In FIG. 16A, the
Further, in FIG. 16, the XYZ orthogonal coordinate system is defined such that the X axis and the Y axis orthogonal to each other are defined in parallel to the horizontal plane, and the Z axis is defined as an axis orthogonal to the horizontal plane. The user C is in a posture standing along the Z axis, and the user D is in a posture lying along the X axis direction. In the
図１６（ｂ）、（ｃ）は、図１６（ａ）に示すユーザＣ、ユーザＤ、電子機器３００位置関係にある場合に、第１撮像部１１および第２撮像部１２により撮像されたそれぞれの画像の一例を示している。図１６（ｂ）は、第１撮像部１１により撮像された第１画像を示す図である。第１撮像部１１は、ユーザＣがＺ軸方向に対して平行となるような立ち姿勢、すなわち顔の上下方向がＺ軸に沿った方向（縦方向）となるように、第１面１０１に対面する方向を撮像する。
FIGS. 16B and 16C are images captured by the
一方、図１６（ｃ）は、第２撮像部１２により撮像された第２画像を示す図である。第２撮像部１２は、ユーザＤがＸ軸方向に沿って横たわっている姿勢、すなわち顔の上下方向がＸ軸に沿った方向（横方向）となるように、第２面１０２に対面す方向を撮像する。
On the other hand, FIG. 16C is a diagram illustrating a second image captured by the
表示制御部５２は、第１画像（図１６（ｂ）参照）から検出された顔の上下方向に対応するように、第１表示部２１に表示させる情報の上下方向を制御する。また、表示制御部５２は、第２画像（図１６（ｃ）参照）から検出された顔の上下方向に対応するように、第２表示部２２に表示させる情報の上下方向を制御する。
The
図１７は、図１６（ｂ）、（ｃ）に示す検出画像に基づいて、第１表示部２１および第２表示部２２のそれぞれに表示される表示情報の表示方向を示す図である。
図１７（ａ）は、第１表示部２１に表示される表示情報の表示方向を示している。この図に示すように、表示制御部５２は、表示情報の表示方向が、第１画像から検出された顔の上下方向と同様となるようにＺ軸に沿った方向（縦方向）、且つＺ軸の正方向が上および負方向が下となるように、第１表示部２１に表示させる。
FIG. 17 is a diagram illustrating display directions of display information displayed on the
FIG. 17A shows the display direction of the display information displayed on the
図１７（ｂ）は、第２表示部２２に表示される表示情報の表示方向を示している。この図に示すように、表示制御部５２は、表示情報の表示方向が、第２画像から検出された顔の上下方向と同様となるようにＸ軸に沿った方向（横方向）、且つＸ軸の正方向が下および負方向が上となるように、第２表示部２２に表示させる。
FIG. 17B shows the display direction of the display information displayed on the
ここで、図１７（ａ）に示す表示情報は、専門用語（医学用語）を用いて表された文章を含む情報であって、図１７（ｂ）に示す表示情報は、専門用語（医学用語）を文章変換部８が変換した一般用語を用いて表された文章を含む情報である。
Here, the display information shown in FIG. 17A is information including sentences expressed using technical terms (medical terms), and the display information shown in FIG. 17B is technical terms (medical terms). ) Is information including a sentence expressed using a general term converted by the
このように、表示制御部５２は、第１表示部２１に表示させる情報の表示方向にかかわらず、第２画像から検出された顔の画像における顔の方向に基づいて、第２表示部２２に表示させる情報の表示方向を制御する。また、表示制御部５２は、第２表示部２２に表示させる情報の表示方向にかかわらず、第１画像から検出された顔の画像における顔の方向に基づいて、第１表示部２１に表示させる情報の表示方向を制御する。
As described above, the
これにより、電子機器３００は、互いに表裏の位置関係に配置されている第１表示部２１および第２表示部２２それぞれに表示する情報を、それぞれの表示部に対面する方向のユーザの顔の向きと対応するような向きに表示することができる。よって、電子機器３００は、電子機器３００を介して互いに対面しているユーザの顔の向きが互いに異なる場合であっても、それぞれのユーザに対面する表示部に表示する情報の表示方向を、それぞれのユーザの顔の向き合わせた表示方向にすることができる。
As a result, the
なお、図１４に示す電子機器３００は、図１３に示す情報変換部６０を備えた構成としてもよい。これにより、電子機器３００は、入力部３の操作入力部３０から文字情報が入力されてもよいし、音入力部３５から音声情報が入力されてもよい。また、電子機器３００は、文字情報を表示部２０に表示してもよいし、文字情報を音声情報に変換して音出力部２５から出力してもよい。
Note that the
以上、説明してきたように、電子機器１００は、電子機器１００の両面側にユーザがいると検出された場合、ユーザによって入力された情報に基づいて出力する情報を、入力された面の反対面側にいるユーザに対面する側から出力することができる。例えば、第１面１０１に対面する方向にいるユーザＡから入力された情報に基づいて出力する情報を、第１面１０１の反対面となるユーザＢに対面する第２面１０２から出力することができる。
As described above, when it is detected that there are users on both sides of the
例えば、電子機器２００は、互いに表裏の位置関係に備えられている入力部から入力された情報を翻訳した情報を、入力された面と反対面側の出力部から出力することができる。また、電子機器２００は、ユーザが入力した文字情報（文章）を、入力した面の反対面側に同時翻訳（リアルタイム）で表示することができる。これにより、電子機器２００は、対面する２者の間で使用されることにより、２者間で会話をするように（２者間の間に挟む形で会話するように）入出力処理と翻訳処理とを行うことが可能である。
For example, the
また、例えば、電子機器３００は、互いに表裏の位置関係に備えられている入力部から入力された専門用語を含む情報を、一般情報に変換して入力された面と反対面側の出力部から出力することができる。これにより、電子機器３００は、専門用語を用いるユーザと一般ユーザとの間で使用されることにより、２者間で会話をするように入出力処理と用語の変換処理とを行うことが可能である。
In addition, for example, the
このように、本実施形態による電子機器１００（２００，３００）は、互いに表裏の位置関係に備えられている入力部から入力された情報に基づいて出力する情報を、入力された面と反対面側の出力部から出力することにより、反対面側にいるユーザに有効に伝えることができる。 As described above, the electronic device 100 (200, 300) according to the present embodiment has information that is output based on information input from input units provided in a positional relationship between the front and back surfaces of the electronic device 100 (200, 300). By outputting from the output unit on the side, it is possible to effectively inform the user on the opposite side.
以上のように、本実施形態によれば、ユーザに対面する面の反対面側にいる人に対して有効に情報を出力することができる。 As described above, according to the present embodiment, information can be effectively output to a person on the opposite side of the surface facing the user.
なお、検出部４０は、把持状態検出部４３により検出された把持状態に基づいて、第１表示部２１の表示面に対面する方向（第１出力部に対面する方向）および第２表示部２２の表示面に対面する方向（第２出力部に対面する方向）のうち何れかの方向にユーザがいるか否かを検出してもよい。
Note that the
つまり、検出部４０は、顔検出部４１の検出結果、把持状態検出部４３の検出結果、または顔検出部４１の検出結果と把持状態検出部４３の検出結果との組み合わせ、に基づいて、第１表示部２１の表示面に対面する方向（第１出力部に対面する方向）および第２表示部２２の表示面に対面する方向（第２出力部に対面する方向）のうち何れかの方向にユーザがいるか否かを検出してもよい。
In other words, the
また、検出部４０は、把持状態検出部４３により検出された把持状態に基づいて、片側の面のみに電子機器１００（２００、３００）を把持しているユーザを検出した場合、検出したユーザをメインユーザとして検出してもよい。
Further, when the
また、制御部５０は、検出部４０が検出したメインユーザに対面する面の側から入力された情報に基づいて出力する情報を、その入力された面と反対面となる面の側に出力する制御のみを実行する（反対面側から入力された情報に対する制御を実行しない）構成としてもよい。
Moreover, the
なお、互いに表裏の位置関係に配置されている表示部の表示面のうち、メインユーザが使用する面が予め定められているような電子機器１００（２００、３００）であってもよい。そして、検出部４０は、メインユーザが使用する面に対して反対面側のユーザのみを検出する構成としてもよい。この場合、撮像部１０は、メインユーザが使用する面に対して反対面側のみに備えられていてもよい。また、この場合、メインユーザ側の顔を検出する機能がないため、表示制御部５２は、姿勢検出部４２により検出された電子機器１００（２００、３００）の姿勢に基づいて、メインユーザに対面する側の表示面に表示される情報の表示方向を制御してもよい。
It should be noted that electronic device 100 (200, 300) in which the surface used by the main user among the display surfaces of the display units that are arranged in a positional relationship between the front and back surfaces may be determined in advance. And the
なお、電子機器１００（２００、３００）は、筐体の外周囲にユーザが把持しやすいようなグリップ形状が設けられた構造としてもよい。例えば、電子機器１００（２００、３００）は、筐体の外周囲に、両面側のユーザ２人が把持しやすいように、筐体の外周囲の２辺以上にそれぞれグリップ形状が設けられた構造としてもよい。また、電子機器１００（２００、３００）は、別体として構成されたグリップが着脱可能な構成（例えば、別体のグリップが着脱可能な接続部が筐体の外周囲に設けられた構成）としてもよい。 The electronic device 100 (200, 300) may have a structure in which a grip shape is provided on the outer periphery of the housing so that the user can easily grip it. For example, the electronic device 100 (200, 300) has a structure in which grip shapes are provided on two or more sides of the outer periphery of the casing so that two users on both sides can easily grip the outer periphery of the casing. It is good. In addition, the electronic device 100 (200, 300) has a configuration in which a grip configured as a separate body is detachable (for example, a configuration in which a connection portion in which a separate grip is detachable is provided on the outer periphery of the housing). Also good.
なお、上記実施形態において、第１音検出部３８は、第１表示部２１の表示面に対面する方向のうちの所定の範囲からの音を検出するような指向性を有するマイクを備えた構成としてもよい。また、第２音検出部３９は、第２表示部２２の表示面に対面する方向のうちの所定の範囲からの音を検出するような指向性を有するマイクを備えた構成としてもよい。これにより、音検出方向識別部４４は、第１音検出部３８および第２音検出部３９の何れかにより検出された音が、第１表示部２１の表示面に対面する方向および第２表示部２２の表示面に対面する方向のうち何れの方向からの音であるかをより精度よく識別することができる。
In the above embodiment, the first
なお、上記実施形態において、第１音出力部２６は、第１表示部２１の表示面に対面する方向のうちの所定の範囲に対して音を出力するような指向性を有するスピーカーを備えた構成としてもよい。また、第２音出力部２７は、第２表示部２２の表示面に対面する方向のうちの所定の範囲に対して音を出力するような指向性を有するスピーカーを備えた構成としてもよい。これにより、ユーザの発声タイミングと音出力部２５からの音声出力タイミングとが重なる場合、または第１音出力部２６からの音声出力タイミングと第２音出力部２７からの音声出力タイミングと重なる場合、において、音出力部２５から出力された音声をユーザに対して聞き取りやすくすることができるとともに、音出力部２５から出力された音声が音入力部３５に対して混入することを抑制することができる。
In the above embodiment, the first
また、上記実施形態の電子機器１００（２００、３００）は、互いに異なる３面以上の複数の面により構成され、複数の面それぞれに対して、対面する方向を撮像する撮像部、対面する側に表示する表示部、対面する方向に音を出力する音出力部、対面する側からの入力を検出する操作入力部、または対面する側からの音を検出する音入力部を備えている構成としてもよい。この構成による電子機器１００（２００、３００）は、例えば、複数の面それぞれの側から入力された情報に基づく情報を、入力された面と異なる面（例えば反対面）側に出力する制御をしてもよい。 In addition, the electronic device 100 (200, 300) of the above-described embodiment is configured by a plurality of three or more surfaces that are different from each other, and on each of the plurality of surfaces, an imaging unit that captures a facing direction and a facing side. As a configuration provided with a display unit for displaying, a sound output unit for outputting sound in the facing direction, an operation input unit for detecting input from the facing side, or a sound input unit for detecting sound from the facing side Good. The electronic device 100 (200, 300) having this configuration controls, for example, to output information based on information input from each side of a plurality of surfaces to a surface (for example, the opposite surface) that is different from the input surface. May be.
なお、上記実施形態において、電子機器１００（２００、３００）が、第１表示部２１の表示面上における接触状態を検出する第１表示面接触センサ３３と、第２表示部２２の表示面上における接触状態を検出する第２表示面接触センサ３４とを備えている例について説明したが、表示面上における接触状態を検出する構成に代えて、それぞれ第１面１０１（第１筐体面）と、第２面１０２（第２筐体面）とにおける接触状態をそれぞれ検出する構成としてもよい。
ここでいう第１面１０１（第１筐体面）および第２面１０２（第２筐体面）とは、それぞれの面の領域のうち、表示面の領域以外の領域であってもよいし、または、それぞれの面の領域のうち、表示面の領域と表示面の領域以外の領域との両方を含む領域であってもよい。
In the above embodiment, the electronic device 100 (200, 300) has a first display
Here, the first surface 101 (first housing surface) and the second surface 102 (second housing surface) may be regions other than the display surface region of the respective surface regions, or Of the respective surface regions, the region may include both a display surface region and a region other than the display surface region.
なお、第１表示部２１および第２表示部２２は、液晶ディスプレイを有するものに限られものではなく、例えば、有機ＥＬ（Electro-Luminescence）ディスプレイ、電子ペーパー方式の表示ディスプレイ、２つの透過型表示ディスプレイとその間に配置されている液晶ディスプレイ（透過と非透過とを切替え可能な液晶パネル）とにより構成される表示パネル、等、その他の表示ディスプレイを有するものであってもよい。
In addition, the
また、上記実施形態の電子機器１００（２００、３００）は、携帯情報端末、タブレット型コンピュータ、携帯電話、電子辞書、電子書籍リーダ等、様々な電子機器であってもよい。 In addition, the electronic device 100 (200, 300) of the above embodiment may be various electronic devices such as a portable information terminal, a tablet computer, a mobile phone, an electronic dictionary, and an electronic book reader.
また、上記実施形態における翻訳部６、言語推定部７、文章変換部８、検出部４０、制御部５０、および情報変換部６０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
In addition, a program for realizing the functions of the
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design and the like within a scope not departing from the gist of the present invention.
５ 記憶部、６ 翻訳部、７ 言語推定部、８ 文章変換部、１１ 第１撮像部、１２ 第２撮像部、２１ 第１表示部、２２ 第２表示部、２６ 第１音出力部、２７ 第２音出力部、３１ 第１操作入力部、３２ 第２操作入力部、３３ 第１表示面接触センサ、３４ 第２表示面接触センサ、３８ 第１音検出部、３９ 第２音検出部、４０ 検出部、４１ 顔検出部、４３ 把持状態検出部、４４ 音検出方向識別部、５０ 制御部（出力制御部）、５２ 表示制御部、５３ 音出力制御部、６１ 第１情報変換部（第１変換部）、６２ 第２情報変換部（第２変換部）、１００,２００,３００ 電子機器
DESCRIPTION OF
Claims (31)
前記第１出力部に対面する側から入力される第１情報を検出する第１入力部と、
前記第２出力部に対面する側から入力される第２情報を検出する第２入力部と、
前記第１出力部および前記第２出力部に対面する方向のそれぞれにユーザがいるか否かを検出する検出部と、
前記第１入力部および前記第２入力部のうち何れかの入力部の検出結果と、前記検出部の検出結果とに基づいて、前記第１出力部および前記第２出力部それぞれの出力を制御する出力制御部と、
を備えることを特徴とする電子機器。 A first output unit and a second output unit that are arranged in a positional relationship with each other;
A first input unit for detecting first information input from a side facing the first output unit;
A second input unit for detecting second information input from a side facing the second output unit;
A detection unit for detecting whether or not there is a user in each of the directions facing the first output unit and the second output unit;
Control the output of each of the first output unit and the second output unit based on the detection result of one of the first input unit and the second input unit and the detection result of the detection unit An output control unit,
An electronic device comprising:
前記第１表示部および前記第２表示部の表示を制御する前記出力制御部としての表示制御部と、
を備え、
前記表示制御部は、
前記検出部により、前記第１表示部および前記第２表示部の表示面に対面する方向のそれぞれ両方にユーザがいると検出された場合、
前記第１入力部が検出した前記第１情報に基づいて出力する第３情報を、前記第２表示部に表示させ、前記第２入力部が検出した前記第２情報に基づいて出力する第４情報を、前記第１表示部に表示させる
ことを特徴とする請求項１に記載の電子機器。 As the first output unit and the second output unit, a first display unit and a second display unit in which display surfaces are arranged in a positional relationship of front and back,
A display control unit as the output control unit for controlling the display of the first display unit and the second display unit;
With
The display control unit
When the detection unit detects that there is a user in both directions facing the display surfaces of the first display unit and the second display unit,
Third information to be output based on the first information detected by the first input unit is displayed on the second display unit, and output based on the second information detected by the second input unit. The electronic device according to claim 1, wherein information is displayed on the first display unit.
前記検出部により、前記第１表示部の表示面に対面する方向のみにユーザがいると検出された場合、
前記第３情報を、前記第１表示部に表示させる
ことを特徴とする請求項２に記載の電子機器。 The display control unit
When the detection unit detects that there is a user only in the direction facing the display surface of the first display unit,
The electronic apparatus according to claim 2, wherein the third information is displayed on the first display unit.
前記検出部により、前記第２表示部の表示面に対面する方向のみにユーザがいると検出された場合、
前記第４情報を、前記第２表示部に表示させる
ことを特徴とする請求項２または３に記載の電子機器。 The display control unit
When the detection unit detects that there is a user only in the direction facing the display surface of the second display unit,
The electronic apparatus according to claim 2, wherein the fourth information is displayed on the second display unit.
前記第２表示部の表示面に対面する方向を撮像する第２撮像部と、
を備え、
前記検出部は、
前記第１撮像部により撮像された第１画像に基づいて、前記第１表示部の表示面に対面する方向にユーザがいるか否かを検出するとともに、前記第２撮像部により撮像された第２画像に基づいて、前記第２表示部の表示面に対面する方向にユーザがいるか否かを検出する
ことを特徴とする請求項２から４の何れか一項に記載の電子機器。 A first imaging unit that images a direction facing the display surface of the first display unit;
A second imaging unit that images a direction facing the display surface of the second display unit;
With
The detector is
Based on the first image picked up by the first image pickup unit, it is detected whether there is a user in a direction facing the display surface of the first display unit, and the second image picked up by the second image pickup unit. The electronic apparatus according to any one of claims 2 to 4, wherein whether or not there is a user in a direction facing the display surface of the second display unit is detected based on an image.
前記第１画像および前記第２画像のうち何れかの画像から顔の画像を検出し、
前記第１画像から顔の画像を検出したか否かに基づいて、前記第１表示部の表示面に対面する方向にユーザがいるか否かを検出するとともに、前記第２画像から顔の画像を検出したか否かに基づいて、前記第２表示部の表示面に対面する方向にユーザがいるか否かを検出する
ことを特徴とする請求項５に記載の電子機器。 The detector is
Detecting a face image from any one of the first image and the second image;
Based on whether a face image is detected from the first image, it is detected whether there is a user in a direction facing the display surface of the first display unit, and a face image is detected from the second image. 6. The electronic apparatus according to claim 5, wherein whether or not there is a user in a direction facing the display surface of the second display unit is detected based on whether or not the detection is performed.
を備え、
前記翻訳部は、
前記第１情報に含まれる第１言語により表された文字情報を、前記第１言語と異なる第２言語により表された文字情報を含む前記第３情報に変換するとともに、前記第２情報に含まれる前記第２言語により表された文字情報を、前記第１言語により表された文字情報を含む前記第４情報に変換する
ことを特徴とする請求項５または６に記載の電子機器。 A translation unit that translates the character information represented by the language and converts it into character information represented by the translated language;
With
The translation unit
The character information represented by the first language included in the first information is converted into the third information including character information represented by a second language different from the first language, and is included in the second information. The electronic device according to claim 5, wherein the character information expressed in the second language is converted into the fourth information including the character information expressed in the first language.
前記第１言語により表された文字情報を、第２表示部の表示面に対面する方向に検出されたユーザに対応した前記第２言語により表された文字情報に変換する
ことを特徴とする請求項７に記載の電子機器。 The translation unit
The character information expressed in the first language is converted into character information expressed in the second language corresponding to the user detected in the direction facing the display surface of the second display unit. Item 8. The electronic device according to Item 7.
前記第１言語により表された文字情報を、複数の国の言語それぞれにより表された複数の文字情報に翻訳するとともに、当該翻訳した複数の文字情報を前記表示制御部の制御により前記第２表示部に表示させ、
前記第２表示部に表示させた前記複数の国の言語それぞれにより表された複数の文字情報のうち選択された文字情報の言語を前記第２言語とする
ことを特徴とする請求項７または８に記載の電子機器。 The translation unit
The character information expressed in the first language is translated into a plurality of character information expressed in the languages of a plurality of countries, and the translated character information is controlled by the display control unit in the second display. Displayed on the
9. The language of the character information selected from the plurality of character information represented by the languages of the plurality of countries displayed on the second display unit is the second language. The electronic device as described in.
前記第２画像から検出された顔の画像に基づいて、前記複数の国の言語に翻訳する
ことを特徴とする請求項９に記載の電子機器。 The translation unit
The electronic device according to claim 9, wherein the electronic device is translated into the languages of the plurality of countries based on a face image detected from the second image.
を備え、
前記翻訳部は、
前記推定部が推定した前記複数の国の言語に翻訳する
ことを特徴とする請求項９または１０に記載の電子機器。 An estimation unit that estimates a language candidate of a country to which a user in a direction facing the display surface of the second display unit belongs, based on a face image detected from the second image;
With
The translation unit
The electronic device according to claim 9 or 10, wherein the electronic device is translated into the languages of the plurality of countries estimated by the estimation unit.
前記言語により表された文字情報を音声情報に変換する第１変換部と、
前記第１変換部が変換した音声情報を、前記第１音出力部および前記第２音出力部の何れかから出力させる前記出力制御部としての音出力制御部と、
を備えることを特徴とする請求項７から１１の何れか一項に記載の電子機器。 As the first output unit and the second output unit, a first sound output unit and a second sound output unit that are arranged in a positional relationship with each other and output sound, and
A first conversion unit for converting character information expressed in the language into voice information;
A sound output control unit as the output control unit that outputs the sound information converted by the first conversion unit from either the first sound output unit or the second sound output unit;
The electronic apparatus according to claim 7, further comprising:
前記第１変換部が前記第２言語により表された文字情報を変換した音声情報を、前記第２音出力部から出力させるとともに、前記第１変換部が前記第１言語により表された文字情報を変換した音声情報を、前記第１音出力部から出力させる
ことを特徴とする請求項１２に記載の電子機器。 The sound output control unit
The voice information obtained by converting the character information expressed in the second language by the first conversion unit is output from the second sound output unit, and the character information expressed in the first language by the first conversion unit. The electronic apparatus according to claim 12, wherein audio information obtained by converting is output from the first sound output unit.
前記第２入力部として、入力される音を検出する第２音検出部と、
前記第１音検出部および前記第２音検出部の何れかにより検出された音が、前記第１表示部の表示面に対面する方向および前記第２表示部の表示面に対面する方向のうち何れの方向からの音であるかを識別する音検出方向識別部と、
前記第１音検出部および前記第２音検出部の何れかにより検出された音声情報を、文字情報に変換する第２変換部と、
を備えることを特徴とする請求項１２または１３に記載の電子機器。 A first sound detection unit that detects an input sound as the first input unit;
As the second input unit, a second sound detection unit that detects input sound;
Of the direction in which the sound detected by either the first sound detecting unit or the second sound detecting unit faces the display surface of the first display unit and the direction facing the display surface of the second display unit A sound detection direction identification unit for identifying which direction the sound is from;
A second converter that converts voice information detected by any of the first sound detector and the second sound detector into character information;
The electronic apparatus according to claim 12, further comprising:
第２変換部が前記第１音検出部により検出された音声情報を変換した、前記第１言語により表された文字情報を、前記第２言語により表された文字情報に翻訳するとともに、第２変換部が前記第２音検出部により検出された音声情報を変換した、前記第２言語により表された文字情報を、前記第１言語により表された文字情報に翻訳する
ことを特徴とする請求項１４に記載の電子機器。 The translation unit
The second conversion unit translates the voice information detected by the first sound detection unit and translates the character information expressed in the first language into character information expressed in the second language, and the second The character information represented by the second language obtained by converting the voice information detected by the second sound detecting unit is translated into character information represented by the first language. Item 15. The electronic device according to Item 14.
前記第１音検出部および前記第２音検出部が検出する音の大きさに基づいて、前記第１表示部の表示面に対面する方向から検出された音であるか、または前記第２表示部の表示面に対面する方向から検出された音であるか、を識別する
ことを特徴とする請求項１４または１５に記載の電子機器。 The sound detection direction identification unit is
The sound is detected from the direction facing the display surface of the first display unit based on the volume of sound detected by the first sound detection unit and the second sound detection unit, or the second display The electronic device according to claim 14, wherein the electronic device is identified whether the sound is detected from a direction facing the display surface of the unit.
前記第１表示部の表示面に対面する方向のうちの所定の範囲からの音を検出するような指向性を有し、
前記第２音検出部は、
前記第２表示部の表示面に対面する方向のうちの所定の範囲からの音を検出するような指向性を有する
ことを特徴とする請求項１４から１６の何れか一項に記載の電子機器。 The first sound detector is
Having directivity to detect sound from a predetermined range in the direction facing the display surface of the first display unit;
The second sound detector is
The electronic apparatus according to any one of claims 14 to 16, wherein the electronic apparatus has directivity that detects sound from a predetermined range in a direction facing the display surface of the second display unit. .
前記音入力制御部は、
前記音出力制御部が、前記第２言語により表された文字情報を変換した音声情報を前記第２音出力部から出力させている間も、前記第１音検出部により検出された音声情報を入力情報として取得する
ことを特徴とする請求項１４から１７の何れか一項に記載の電子機器。 A sound input control unit that performs control to acquire voice information detected by the first sound detection unit or the second sound detection unit as input information;
The sound input control unit
The sound information detected by the first sound detection unit is also output while the sound output control unit outputs the sound information obtained by converting the character information expressed in the second language from the second sound output unit. It acquires as input information. The electronic device as described in any one of Claims 14-17 characterized by the above-mentioned.
前記第１音検出部により検出された音声情報を入力情報として取得する間も、前記第２音検出部により検出された音声情報を入力情報として取得する
ことを特徴とする請求項１８に記載の電子機器。 The sound input control unit
The voice information detected by the second sound detection unit is acquired as input information while the voice information detected by the first sound detection unit is acquired as input information. Electronics.
を備え、
前記文章変換部は、
前記第１用語を用いた文章により表された文字情報を含む前記第１情報を、前記第２用語を用いた文章により表された文字情報を含む前記第３情報に変換する
ことを特徴とする請求項５から１９の何れか一項に記載の電子機器。 A text conversion unit that converts text information represented by text using the first term into text information represented by text using the second term that is easier than the first term;
With
The sentence converter
Converting the first information including character information represented by a sentence using the first term into the third information including character information represented by a sentence using the second term. The electronic device according to any one of claims 5 to 19.
特定の分野で用いられ専門用語または学術用語である
ことを特徴とする請求項２０に記載の電子機器。 The first term is:
The electronic device according to claim 20, wherein the electronic device is a technical term or an academic term used in a specific field.
前記第１表示部の表示面に対面する方向にいるユーザを示す第１ユーザ画像を第２表示部に表示させるとともに、前記第２表示部の表示面に対面する方向にいるユーザを示す第２ユーザ画像を第１表示部に表示させる
ことを特徴とする請求項５から２１の何れか一項に記載の電子機器。 The display control unit
A first user image indicating a user in a direction facing the display surface of the first display unit is displayed on the second display unit, and a second indicating a user in a direction facing the display surface of the second display unit The electronic device according to any one of claims 5 to 21, wherein a user image is displayed on the first display unit.
前記第１画像から検出された顔の画像、および前記第１表示部の表示面に対面する方向にいるユーザ固有に対応付けられているアバターの画像の何れかを含み、
前記第２ユーザ画像は、
前記第２画像から検出された顔の画像、および前記第２表示部の表示面に対面する方向にいるユーザ固有に対応付けられているアバターの画像の何れかを含む
ことを特徴とする請求項２２に記載の電子機器。 The first user image is
Including any one of a face image detected from the first image and an avatar image associated with the user in a direction facing the display surface of the first display unit;
The second user image is
The image of the face detected from the said 2nd image and either the image of the avatar matched with the user specific in the direction which faces the display surface of the said 2nd display part are included. 22. The electronic device according to 22.
前記第１表示部に表示させる情報の表示方向にかかわらず、前記第２画像から検出された顔の画像における顔の方向に基づいて、前記第２表示部に表示させる情報の表示方向を制御する
ことを特徴とする請求項５から２３の何れか一項に記載の電子機器。 The display control unit
Regardless of the display direction of the information displayed on the first display unit, the display direction of the information displayed on the second display unit is controlled based on the face direction in the face image detected from the second image. The electronic device according to any one of claims 5 to 23, wherein:
前記第２表示部に表示させる情報の表示方向にかかわらず、前記第１画像から検出された顔の画像における顔の方向に基づいて、前記第１表示部に表示させる情報の表示方向を制御する
ことを特徴とする請求項５から２４の何れか一項に記載の電子機器。 The display control unit
Regardless of the display direction of the information displayed on the second display unit, the display direction of the information displayed on the first display unit is controlled based on the face direction in the face image detected from the first image. The electronic device according to claim 5, wherein the electronic device is a device.
前記第１情報と前記第４情報とを、前記第１表示部の表示領域内において互いに重ならない位置にそれぞれ並べて表示させる
ことを特徴とする請求項２から２５の何れか一項に記載の電子機器。 The display control unit
The electron according to any one of claims 2 to 25, wherein the first information and the fourth information are displayed side by side at positions that do not overlap each other in a display area of the first display unit. machine.
前記第２情報と前記第３情報とを、前記第２表示部の表示領域内において互いに重ならない位置にそれぞれ並べて表示させる
ことを特徴とする請求項２から２６の何れか一項に記載の電子機器。 The display control unit
27. The electron according to any one of claims 2 to 26, wherein the second information and the third information are displayed side by side at positions that do not overlap each other in a display area of the second display unit. machine.
前記第１入力部に対する入力状態が入力中の状態であることが前記第１入力部により検出された場合、当該入力中の状態であることを示す情報を第２表示部に表示させ、
前記第２入力部に対する入力状態が入力中の状態であることが前記第２入力部により検出された場合、当該入力中の状態であることを示す情報を第１表示部に表示させる
ことを特徴とする請求項２から２７の何れか一項に記載の電子機器。 The display control unit
When the first input unit detects that the input state for the first input unit is an input state, information indicating that the input state is being displayed is displayed on the second display unit,
When the second input unit detects that the input state with respect to the second input unit is an input state, information indicating the input state is displayed on the first display unit. The electronic device according to any one of claims 2 to 27.
を備え、
前記検出部は、
前記把持状態検出部により検出された把持状態に基づいて、前記第１出力部に対面する方向および前記第２出力部に対面する方向のうち何れかの方向にユーザがいるか否かを検出する
ことを特徴とする請求項１から２８の何れか一項に記載の電子機器。 A gripping state detection unit that detects a state in which the device is gripped by a user as a gripping state;
With
The detector is
Detecting whether the user is in one of a direction facing the first output unit and a direction facing the second output unit based on the gripping state detected by the gripping state detection unit. The electronic device according to any one of claims 1 to 28, wherein:
前記第２入力部として、前記第２出力部に対面する側に配置され、ユーザによる操作入力を検出する第２操作入力部と、
を備えていることを特徴とする請求項１から２９の何れか一項に記載の電子機器。 As the first input unit, a first operation input unit that is disposed on the side facing the first output unit and detects an operation input by a user;
As the second input unit, a second operation input unit that is arranged on the side facing the second output unit and detects an operation input by a user;
30. The electronic apparatus according to claim 1, further comprising:
第１入力部に前記第１出力部に対面する側から入力される第１情報を検出させるステップと、
第２入力部に前記第２出力部に対面する側から入力される第２情報を検出させるステップと、
検出部に前記第１出力部および前記第２出力部に対面する方向のそれぞれにユーザがいるか否かを検出させるステップと、
前記第１入力部および前記第２入力部のうち何れかの入力部の検出結果と、前記検出部の検出結果とに基づいて、前記第１出力部および前記第２出力部それぞれの出力を制御するステップと、
を実行させるためのプログラム。 In a computer provided in an electronic device having a first output unit and a second output unit arranged in a positional relationship between the front and back,
Causing the first input unit to detect first information input from a side facing the first output unit;
Causing the second input unit to detect second information input from the side facing the second output unit;
Causing the detection unit to detect whether there is a user in each of the directions facing the first output unit and the second output unit;
Control the output of each of the first output unit and the second output unit based on the detection result of one of the first input unit and the second input unit and the detection result of the detection unit And steps to
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012057950A JP2013191103A (en) | 2012-03-14 | 2012-03-14 | Electronic device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012057950A JP2013191103A (en) | 2012-03-14 | 2012-03-14 | Electronic device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013191103A true JP2013191103A (en) | 2013-09-26 |
Family
ID=49391250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012057950A Pending JP2013191103A (en) | 2012-03-14 | 2012-03-14 | Electronic device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013191103A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017129873A (en) * | 2017-03-06 | 2017-07-27 | 本田技研工業株式会社 | Conversation assist device, method for controlling conversation assist device, and program for conversation assist device |
| JP2018195276A (en) * | 2017-05-18 | 2018-12-06 | 深▲せん▼双猴科技有限公司 | Simultaneous translation device with double-sided display, method, device, and electronic device |
| JP2018200694A (en) * | 2018-06-12 | 2018-12-20 | 三菱電機株式会社 | Display control device, display control method, and program |
| EP3454332A4 (en) * | 2016-05-02 | 2019-05-01 | Sony Corporation | Control device, control method, and computer program |
| JP2019079545A (en) * | 2018-12-04 | 2019-05-23 | 三菱電機株式会社 | Display control apparatus, input display system, display control method, and program |
-
2012
- 2012-03-14 JP JP2012057950A patent/JP2013191103A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3454332A4 (en) * | 2016-05-02 | 2019-05-01 | Sony Corporation | Control device, control method, and computer program |
| US11188288B2 (en) | 2016-05-02 | 2021-11-30 | Sony Corporation | Control device and control method to issue notification on occurrence of processing overflow |
| JP2017129873A (en) * | 2017-03-06 | 2017-07-27 | 本田技研工業株式会社 | Conversation assist device, method for controlling conversation assist device, and program for conversation assist device |
| JP2018195276A (en) * | 2017-05-18 | 2018-12-06 | 深▲せん▼双猴科技有限公司 | Simultaneous translation device with double-sided display, method, device, and electronic device |
| JP2018200694A (en) * | 2018-06-12 | 2018-12-20 | 三菱電機株式会社 | Display control device, display control method, and program |
| JP2019079545A (en) * | 2018-12-04 | 2019-05-23 | 三菱電機株式会社 | Display control apparatus, input display system, display control method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943158B2 (en) | Translation and display of text in picture | |
| US10546582B2 (en) | Information processing device, method of information processing, and program | |
| US20200026764A1 (en) | Method of video call | |
| JP6392374B2 (en) | Head mounted display system and method for operating head mounted display device | |
| US20140324412A1 (en) | Translation device, translation system, translation method and program | |
| JP2018508086A (en) | Input processing method, apparatus and device | |
| CN110322760B (en) | Voice data generation method, device, terminal and storage medium | |
| CN109240785B (en) | Method, terminal and storage medium for setting language | |
| US10747499B2 (en) | Information processing system and information processing method | |
| JP2013191103A (en) | Electronic device and program | |
| WO2018186416A1 (en) | Translation processing method, translation processing program, and recording medium | |
| KR20100026701A (en) | Sign language translator and method thereof | |
| US11335348B2 (en) | Input method, device, apparatus, and storage medium | |
| Akkara et al. | Smartphone apps for visually impaired persons | |
| US10720154B2 (en) | Information processing device and method for determining whether a state of collected sound data is suitable for speech recognition | |
| CN110378318B (en) | Character recognition method and device, computer equipment and storage medium | |
| US20170322621A1 (en) | Mobile phone, method for operating mobile phone, and recording medium | |
| JP2015049372A (en) | Foreign language learning support device and foreign language learning support program | |
| CN107943317A (en) | Input method and device | |
| JPWO2018020828A1 (en) | Translation apparatus and translation system | |
| JP2017211430A (en) | Information processing device and information processing method | |
| EP2632127B1 (en) | Method and apparatus pertaining to presenting incoming-call identifiers | |
| WO2017035985A1 (en) | String storing method and device | |
| CN105930525A (en) | Content search method and apparatus | |
| CN113850091A (en) | Audio playing method and device, storage medium and electronic equipment |