JP2012230534A - Electronic apparatus and control program for electronic apparatus - Google Patents

Electronic apparatus and control program for electronic apparatus Download PDF

Info

Publication number
JP2012230534A
JP2012230534A JP2011098197A JP2011098197A JP2012230534A JP 2012230534 A JP2012230534 A JP 2012230534A JP 2011098197 A JP2011098197 A JP 2011098197A JP 2011098197 A JP2011098197 A JP 2011098197A JP 2012230534 A JP2012230534 A JP 2012230534A
Authority
JP
Japan
Prior art keywords
user
work
personal computer
unit
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011098197A
Other languages
Japanese (ja)
Inventor
Masaichi Sekiguchi
政一 関口
Masaki Otsuki
正樹 大槻
Kyoei Senda
享永 千田
Akiko Furuta
明子 古田
Masaki Murata
正樹 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011098197A priority Critical patent/JP2012230534A/en
Publication of JP2012230534A publication Critical patent/JP2012230534A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve the problem in which, in a conventional device, support for a user is limited, so that it is not sufficient.SOLUTION: In order to solve the problem, an electronic apparatus such as a personal computer and a server comprises: a recording unit such as a ROM that performs recording related to a user; input units such as a CPU and a biosensor that input information on the living body of the user while the user is performing a first operation; and output units such as the CPU and a speaker that output information on a second operation different from the first operation on the basis of the information on the living body and a record on the recording unit.

Description

本発明は、電子機器および電子機器の制御プログラムに関する。   The present invention relates to an electronic device and a control program for the electronic device.

近年、ユーザの生体情報を取得して、各種のサポートをすることが提案されており、ユーザが音楽に集中しているかどうかを検出して、音楽に集中していない場合には音量を低くする音響再生装置が提案されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００５−３４４８４号公報 In recent years, it has been proposed to obtain user's biometric information and provide various kinds of support, detect whether the user is concentrated on music, and lower the volume when not concentrated on music. Sound reproduction devices have been proposed.
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP-A-2005-34484

しかしながら、従来の装置では、ユーザへのサポートが限られており、十分なものではなかった。   However, conventional devices have limited support for users and are not sufficient.

本発明の第１の態様における電子機器は、使用者に関する記録を行う記録部と、使用者が第１の作業を行っているときの使用者の生体に関する情報を入力する入力部と、生体に関する情報と記録部の記録とに基づいて、第１の作業と異なる第２の作業に関する情報を出力する出力部とを備える。   An electronic apparatus according to a first aspect of the present invention relates to a recording unit that performs recording related to a user, an input unit that inputs information related to the living body of the user when the user is performing the first work, and the biological device An output unit configured to output information on the second work different from the first work based on the information and the recording of the recording unit;

本発明の第２の態様における電子機器は、特定の方向に対して指向性を有し、使用者の音を集音する指向性マイクと、特定の方向に対して指向性を有し、使用者に対して音を出力可能な指向性スピーカと、使用者が作業を行っているときに指向性マイクで集音した使用者の音に基づいて、指向性スピーカを制御する制御部とを備える。   The electronic device according to the second aspect of the present invention has directivity with respect to a specific direction, a directional microphone that collects a user's sound, and directivity with respect to a specific direction. A directional speaker capable of outputting sound to the user, and a control unit for controlling the directional speaker based on the sound of the user collected by the directional microphone when the user is working .

本発明の第３の態様における電子機器の制御プログラムは、使用者に関する記録を記録部に行う記録ステップと、使用者が第１の作業を行っているときの使用者の生体に関する情報を入力する入力ステップと、生体に関する情報と記録部の記録とに基づいて、第１の作業と異なる第２の作業に関する情報を出力する出力ステップとをコンピュータに実行させる。   A control program for an electronic device according to a third aspect of the present invention inputs a recording step for performing recording relating to a user in a recording unit, and information relating to the living body of the user when the user is performing the first work. Based on the input step and the information on the living body and the recording of the recording unit, the computer is caused to execute an output step of outputting information on the second work different from the first work.

本発明の第４の態様における電子機器の制御プログラムは、特定の方向に対して指向性を有し、使用者の音を集音する指向性マイク、および特定の方向に対して指向性を有し、使用者に対して音を出力可能な指向性スピーカを備える電子機器の制御プログラムであって、使用者が作業を行っているときに指向性マイクで集音した使用者の音に基づいて、指向性スピーカを制御する制御ステップをコンピュータに実行させる。   The control program for an electronic device according to the fourth aspect of the present invention has directivity in a specific direction, and has a directivity in a specific direction and a directivity microphone that collects a user's sound. And a control program for an electronic device including a directional speaker capable of outputting sound to the user, based on the sound of the user collected by the directional microphone while the user is working. The computer executes control steps for controlling the directional speaker.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

第１実施形態に係る状況判別システムの概要を示す図である。It is a figure which shows the outline | summary of the condition determination system which concerns on 1st Embodiment. 第１実施形態に係る状況判別システムのブロック図である。1 is a block diagram of a situation determination system according to a first embodiment. 第１実施形態に係る状況判別システムの処理を示すフロー図である。It is a flowchart which shows the process of the condition determination system which concerns on 1st Embodiment. 第２実施形態に係る状況判別システムのブロック図である。It is a block diagram of the situation discrimination system concerning a 2nd embodiment. 第２実施形態に係る状況判別システムの処理を示すフロー図である。It is a flowchart which shows the process of the condition determination system which concerns on 2nd Embodiment.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図１は、第１実施形態に係る状況判別システム１１０の概要を示す図である。図１に示すように、状況判別システム１１０は、電子機器であるパーソナルコンピュータ（パソコン）２００を有し、ユーザに装着される生体センサ３４０が検出したユーザの生体情報を入力している。パソコン２００は、ディスプレイ２０１、キーボード２０２、タッチパッド２０３といった、ユーザの入力操作部材を備える。また、パソコン２００には、マウス３００が接続されており、ユーザはマウス３００を操作することによっても、パソコン２００に指示を与えることができる。   FIG. 1 is a diagram illustrating an overview of a situation determination system 110 according to the first embodiment. As illustrated in FIG. 1, the situation determination system 110 includes a personal computer (personal computer) 200 that is an electronic device, and inputs biometric information of a user detected by a biometric sensor 340 attached to the user. The personal computer 200 includes user input operation members such as a display 201, a keyboard 202, and a touch pad 203. In addition, a mouse 300 is connected to the personal computer 200, and the user can give an instruction to the personal computer 200 by operating the mouse 300.

パソコン２００は、内蔵カメラ２０４、超音波センサ２０５を更に備える。内蔵カメラ２０４は、撮影レンズおよび撮像素子を含む。撮像素子には、ＣＣＤセンサ、ＣＭＯＳセンサ等のイメージセンサが用いられる。この撮像素子から出力される画像信号に不図示の画像処理部による種々の画像処理が施されて、画像データが生成される。内蔵カメラ２０４は、ディスプレイ２０１の上部に配設されており、ユーザの顔、手、腕を含む上半身と共に、キーボード２０２、タッチパッド２０３等の操作部材を同時に撮影できる画角を有する。なお、内蔵カメラ２０４に代えて、例えばクリップによりディスプレイ２０１の近傍に装着できる、カメラモジュールを採用しても良い。超音波センサ２０５は、内蔵カメラ２０４の近傍に設けられており、ディスプレイ２０１からユーザまでの距離を計測するための超音波の送受信を実行する。   The personal computer 200 further includes a built-in camera 204 and an ultrasonic sensor 205. The built-in camera 204 includes a photographing lens and an image sensor. An image sensor such as a CCD sensor or a CMOS sensor is used as the image sensor. Various image processing by an image processing unit (not shown) is performed on the image signal output from the image sensor, and image data is generated. The built-in camera 204 is disposed on the upper part of the display 201 and has an angle of view capable of simultaneously photographing the operation members such as the keyboard 202 and the touch pad 203 together with the upper body including the user's face, hands, and arms. Instead of the built-in camera 204, for example, a camera module that can be mounted in the vicinity of the display 201 by a clip may be adopted. The ultrasonic sensor 205 is provided in the vicinity of the built-in camera 204, and executes transmission / reception of ultrasonic waves for measuring the distance from the display 201 to the user.

パソコン２００は、スピーカ２０６、マイク２０７を更に備える。スピーカ２０６は、超音波トランスデューサを備え、特定の方向に対して指向性を有する指向性スピーカであり、ユーザに対して音を出力する。なお、スピーカ２０６の指向性の特性（方向、範囲等）は、主としてユーザが音を聞くことができるように設定されてもよい。マイク２０７は、特定の方向に対して指向性を有する指向性マイクであり、超指向性ダイナミック型マイクロホンや超指向性コンデンサ型マイクロホンなどを用いることができる。なお、マイク２０７の指向性の特性（方向、範囲等）は、ユーザが発生した音声を主として集音できるように設定されてもよい。   The personal computer 200 further includes a speaker 206 and a microphone 207. The speaker 206 includes an ultrasonic transducer and is a directional speaker having directivity in a specific direction, and outputs sound to the user. Note that the directivity characteristics (direction, range, etc.) of the speaker 206 may be set so that the user can mainly hear the sound. The microphone 207 is a directional microphone having directivity in a specific direction, and a super-directional dynamic microphone, a super-directional condenser microphone, or the like can be used. Note that the directivity characteristics (direction, range, etc.) of the microphone 207 may be set so that the sound generated by the user can be collected mainly.

キーボード２０２の裏面には、個々のキーに対応して圧電センサ２０８が設けられている。圧電センサ２０８は、ピエゾ素子を有し、外部から与えられた力を圧電効果により電圧に変換することで、振動を電気的に検出する。これにより、圧電センサ２０８は、ユーザがキーを叩く強さ、繰り返し動作を検出することができる。   On the back surface of the keyboard 202, piezoelectric sensors 208 are provided corresponding to the individual keys. The piezoelectric sensor 208 includes a piezo element, and electrically detects vibration by converting an externally applied force into a voltage by a piezoelectric effect. Accordingly, the piezoelectric sensor 208 can detect the strength with which the user strikes the key and the repeated operation.

ユーザの足元には、床センサ３１０が設けられている。床センサ３１０は、圧電センサ２０８と同様にピエゾ素子等により構成され、ユーザの足踏み、貧乏ゆすり等の足の動作を検出する。床センサ３１０は、パソコン２００と接続されており、検出した信号をパソコン２００へ送信する。   A floor sensor 310 is provided at the user's foot. The floor sensor 310 is configured by a piezo element or the like, similar to the piezoelectric sensor 208, and detects the motion of the foot such as the user's stepping or poor sliding. The floor sensor 310 is connected to the personal computer 200 and transmits the detected signal to the personal computer 200.

ユーザの頭上付近である天井部分には、天井カメラ３２０、天井マイク３３０が設けられている。天井カメラ３２０は、撮影レンズおよび撮像素子を含み、ユーザの頭部を撮影できる画角に調整されている。天井カメラ３２０の撮像素子から出力される画像信号に不図示の画像処理部による種々の画像処理が施されて、画像データが生成され、この画像データは例えば無線ＬＡＮによりパソコン２００へ送信される。一方、パソコン２００は、天井カメラ３２０に対して撮影の開始、撮影画像データの要求などの制御信号を送信する。天井マイク３３０は、無指向性マイクであり、少なくともユーザの周辺の音を検出する。天井マイク３３０は、検出した音の信号を、例えば無線ＬＡＮによりパソコン２００へ送信する。一方、パソコン２００は、音検出の開始および終了の制御信号を天井マイク３３０へ送信する。   A ceiling camera 320 and a ceiling microphone 330 are provided on the ceiling near the user's head. The ceiling camera 320 includes a photographic lens and an image sensor, and is adjusted to an angle of view capable of photographing the user's head. Various image processing by an image processing unit (not shown) is performed on the image signal output from the image sensor of the ceiling camera 320 to generate image data, and this image data is transmitted to the personal computer 200 by, for example, a wireless LAN. On the other hand, the personal computer 200 transmits control signals such as a start of photographing and a request for photographed image data to the ceiling camera 320. The ceiling microphone 330 is an omnidirectional microphone and detects at least sounds around the user. The ceiling microphone 330 transmits the detected sound signal to the personal computer 200 by, for example, a wireless LAN. On the other hand, the personal computer 200 transmits a sound detection start and end control signal to the ceiling microphone 330.

生体センサ３４０は、ユーザの生体情報を検出するセンサであり、例えば、ＬＥＤにより生体に向けて照射光を照射し、この照射光に対して生体から反射した光を受光することにより、脈拍を検出する脈拍センサを含む。その構成は、例えば、特開２００５−２７０５４３号（米国特許第７５３８８９０号）に開示されている。生体センサ３４０は、脈拍センサの他にも、複数の電極を配した発汗センサを設けることによりユーザの発汗量を検出することもできる。更に、生体センサ３４０は、体温を測る温度センサ、血圧を測る血圧センサを設けることもできる。生体センサ３４０は、ユーザの生体情報をセンシングして、その出力をパソコン２００へ送信する。   The biometric sensor 340 is a sensor that detects biometric information of the user. For example, the biometric sensor 340 emits irradiation light toward the living body with an LED, and detects the pulse by receiving light reflected from the living body with respect to the irradiation light. Including a pulse sensor. The configuration is disclosed in, for example, Japanese Patent Laid-Open No. 2005-270543 (US Pat. No. 7,538,890). In addition to the pulse sensor, the biological sensor 340 can also detect a user's perspiration amount by providing a perspiration sensor having a plurality of electrodes. Furthermore, the biological sensor 340 can be provided with a temperature sensor that measures body temperature and a blood pressure sensor that measures blood pressure. The biometric sensor 340 senses user biometric information and transmits the output to the personal computer 200.

生体センサ３４０は、例えばユーザの腕に巻きつけられて装着されている。また、生体センサ３４０は、ユーザの腕に巻きつけるような腕時計型に限らず、ユーザの手、指（指輪型生体センサ）など身体の一部と接触すれば様々な形態を採用し得る。なお、赤外線センサを用いて体温などを検出する場合や、内蔵カメラ２０４により撮像されたユーザの表情からユーザの感情を検出する場合や、天井カメラ３２０により撮像されたユーザの頭の動き量からユーザの集中度を検出する場合には、非接触でユーザの生体情報を検出することも可能である。   The biosensor 340 is mounted, for example, wrapped around the user's arm. In addition, the biological sensor 340 is not limited to a wristwatch type that is wrapped around the user's arm, and various forms can be adopted as long as the biological sensor 340 comes into contact with a part of the body such as the user's hand, finger (ring-type biological sensor). In addition, when detecting a body temperature etc. using an infrared sensor, when detecting a user's emotion from the facial expression of the user imaged by the built-in camera 204, or from the amount of movement of the user's head imaged by the ceiling camera 320 When detecting the degree of concentration of the user, it is also possible to detect the user's biological information in a non-contact manner.

図２は、第１実施形態に係る状況判別システムのブロック図である。図示するように、パソコン２００は、全体の制御を司るパソコンＣＰＵ２１０を中心として、図１を用いて説明したディスプレイ２０１、キーボード２０２等の要素を備える。   FIG. 2 is a block diagram of the situation determination system according to the first embodiment. As shown in the figure, a personal computer 200 includes elements such as a display 201 and a keyboard 202 described with reference to FIG. 1 with a personal computer CPU 210 that performs overall control as a center.

タイマー２１１は、計時機能を有し、パソコンＣＰＵ２１０の開始の指示を受けて計時を開始し、終了の指示を受けてその計時結果をパソコンＣＰＵ２１０へ返す。   The timer 211 has a time measuring function, starts time measurement in response to a start instruction from the personal computer CPU 210, and returns a time measurement result to the personal computer CPU 210 in response to an end instruction.

ＲＯＭ２１２は、例えばフラッシュメモリ等の不揮発性メモリであり、パソコン２００を制御するプログラム、各種パラメータなどを記憶する役割を担う。また、ＲＯＭ２１２は、ユーザに関する記録を行う記録部として機能する。ＲＯＭ２１２は、例えばユーザが行った作業の内容、作業を行っているときのユーザの生体情報を記録する。   The ROM 212 is a non-volatile memory such as a flash memory, for example, and plays a role of storing a program for controlling the personal computer 200, various parameters, and the like. The ROM 212 functions as a recording unit that performs recording related to the user. The ROM 212 records, for example, the contents of the work performed by the user and the biological information of the user when the work is being performed.

音声解析部２１３は、マイク２０７、天井マイク３３０から取り込まれる音声を解析する。音声解析部２１３は、例えばマイク２０７で集音したユーザが発生した音声を解析する。また、音声解析部２１３は、例えば天井マイク３３０で集音したユーザ周辺の騒音を解析する。なお、最近のパソコンの一部には音声認識ソフトがインストールされているものもあり、このようなインストール済みのソフトを用いても良く、更には別途市販のソフトをインストールして用いても良い。   The voice analysis unit 213 analyzes the voice captured from the microphone 207 and the ceiling microphone 330. The voice analysis unit 213 analyzes the voice generated by the user collected by the microphone 207, for example. The voice analysis unit 213 analyzes noise around the user collected by the ceiling microphone 330, for example. Some recent personal computers have voice recognition software installed. Such installed software may be used, or commercially available software may be installed separately.

さらに、音声解析部２１３は、パソコンＣＰＵ２１０と協働して、周囲に居る同僚との会話に対して、ユーザの会話の速度（発話速度）、声の大きさ、会話時間などを検出する。発話速度は、例えば単位時間当たりの出力音素数、あるいは単位時間当たりのモーラ数として検出される。モーラとは一定の時間的長さをもった音の分節単位のことである。また、音声解析部２１３は、識別した音声をテキストデータに変換してディスプレイ２０１に表示することができる。   Further, the voice analysis unit 213 detects the speed of the user's conversation (speech speed), the volume of the voice, the conversation time, etc., in response to the conversation with the colleagues in the vicinity in cooperation with the personal computer CPU 210. The speech rate is detected as, for example, the number of output phonemes per unit time or the number of mora per unit time. A mora is a segmental unit of sound with a certain length of time. Further, the voice analysis unit 213 can convert the identified voice into text data and display it on the display 201.

画像解析部２１４は、内蔵カメラ２０４により撮影された撮影画像データ、天井カメラ３２０により撮影された撮影画像データを解析する。画像解析部２１４は、ユーザの顔認識、さらには表情認識を実行する。例えば、画像解析部２１４は、画像データにおけるユーザの顔領域から、眉間に皺がある表情、笑顔ではなく目を細めている表情を検出する。また、画像解析部２１４は、タイマー２１１の計時情報を取得して、例えば眉間に皺がある表情がどれくらい継続したかを検出する。また、目を細めている表情を検出する場合には、画像解析部２１４は、内蔵カメラ２０４による画像上の平均的な目の大きさについての情報をＲＯＭ２１２から読み出して、現に撮影された目の大きさと比較して検出する。眉間の皺の検出は、眉間に皺のある画像をリファレンス画像としてＲＯＭ２１２に記憶させてパターンマッチングにより検出しても良く、また、左目と右目との間の部分の陰影分布から検出しても良い。なお、眉間の皺の検出は例えば米国公開特許２００８−２９２１４８号にも開示がある。   The image analysis unit 214 analyzes the captured image data captured by the built-in camera 204 and the captured image data captured by the ceiling camera 320. The image analysis unit 214 performs user face recognition and facial expression recognition. For example, the image analysis unit 214 detects a facial expression with a eyelid between the eyebrows and a facial expression with a narrowed eye rather than a smile from the face area of the user in the image data. In addition, the image analysis unit 214 acquires the time measurement information of the timer 211 and detects, for example, how long a facial expression with a eyelid between the eyebrows continues. In addition, when detecting a facial expression with a narrowed eye, the image analysis unit 214 reads out information about the average eye size on the image by the built-in camera 204 from the ROM 212, and the eye that is actually photographed. Detect by comparing with size. The detection of eyebrows between eyebrows may be detected by pattern matching by storing an image with eyebrows between eyebrows in the ROM 212 as a reference image, or may be detected from the shadow distribution of the portion between the left eye and the right eye. . In addition, the detection of the eyelid between eyebrows is also disclosed in, for example, US Patent Publication No. 2008-292148.

内蔵カメラ２０４により撮影される像の大きさは、内蔵カメラ２０４とユーザとの距離に依存する。本実施形態においては、画像解析部２１４は、超音波センサ２０５により内蔵カメラ２０４とユーザとの距離を検出して、像の大きさを補正することにより距離依存を解消している。距離の計測は、超音波センサ２０５を設ける場合に限らず、例えば、レーザ距離センサ、赤外線センサ等を用いても良い。また、ユーザの特定部分の大きさ（例えば顔の大きさ）が分かっている場合に、画像解析部２１４は、既知の顔の大きさと撮影した顔の大きさとのマッチングにより内蔵カメラ２０４とユーザの距離を算出できる。   The size of the image captured by the built-in camera 204 depends on the distance between the built-in camera 204 and the user. In the present embodiment, the image analysis unit 214 detects the distance between the built-in camera 204 and the user using the ultrasonic sensor 205 and corrects the size of the image, thereby eliminating the distance dependency. The distance measurement is not limited to the case where the ultrasonic sensor 205 is provided. For example, a laser distance sensor, an infrared sensor, or the like may be used. In addition, when the size of the specific part of the user (for example, the size of the face) is known, the image analysis unit 214 matches the built-in camera 204 and the user's size by matching the size of the known face with the size of the captured face. The distance can be calculated.

また、画像解析部２１４は、天井カメラ３２０の画像データを取り込んで、ユーザの頭の位置、移動量等を検出する。例えば、ユーザの頭部が絶え間なく揺れ動くことを画像解析部２１４が検出すれば、パソコンＣＰＵ２１０は、ユーザの集中力散漫、居眠り等を判断することができる。なお、超音波センサ２０５等により、ユーザの頭部の位置、移動量を検出できる場合は、天井カメラ３２０を省略しても良い。逆に、天井カメラ３２０により内蔵カメラ２０４とユーザの距離を検出できるのであれば、超音波センサ２０５を省略しても良い。   Further, the image analysis unit 214 takes in the image data of the ceiling camera 320 and detects the position of the user's head, the amount of movement, and the like. For example, if the image analysis unit 214 detects that the user's head is constantly swaying, the personal computer CPU 210 can determine whether the user is distracting or falling asleep. If the position and movement amount of the user's head can be detected by the ultrasonic sensor 205 or the like, the ceiling camera 320 may be omitted. Conversely, if the ceiling camera 320 can detect the distance between the built-in camera 204 and the user, the ultrasonic sensor 205 may be omitted.

さらに、画像解析部２１４は、撮影画像を用いてユーザのしぐさを検出する。例えば、画像解析部２１４は、撮影画像と額に手をあてているしぐさ、腕を組んでいるしぐさなどのリファレンス画像とのパターンマッチングを行い、ユーザのしぐさを検出する。   Furthermore, the image analysis unit 214 detects the user's gesture using the captured image. For example, the image analysis unit 214 performs pattern matching between the captured image and a reference image such as a gesture in which a hand is placed on the forehead or a gesture in which arms are folded, and detects a user's gesture.

スケジュール作成部２１５は、ユーザが行うべき作業のスケジュールを作成する。スケジュール作成部２１５は、例えばキーボード２０２、タッチパッド２０３、マウス３００等で受け付けたユーザの入力を用いてユーザが行うべき作業のスケジュールを作成する。また、スケジュール作成部２１５は、マイク２０７から入力されたユーザのスケジュールに関する音声を音声解析部２１３で解析した解析結果を用いて、スケジュールを作成しても良い。作成されたスケジュールの情報はＲＯＭ２１２に記憶される。   The schedule creation unit 215 creates a schedule of work to be performed by the user. The schedule creation unit 215 creates a schedule of work to be performed by the user using the user input received by the keyboard 202, the touch pad 203, the mouse 300, and the like, for example. In addition, the schedule creation unit 215 may create a schedule using an analysis result obtained by analyzing the voice related to the user's schedule input from the microphone 207 by the voice analysis unit 213. The created schedule information is stored in the ROM 212.

外部接続インターフェイス２１６は、外部機器と接続するためのインターフェイスである。インターフェイスとしては、無線／有線ＬＡＮ、ＵＳＢ、ＨＤＭＩ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の様々な接続規格を採用することができる。また、外部接続インターフェイス２１６は、ネットワークを介してサーバ等の電子機器との通信を可能にする。外部接続インターフェイス２１６は、インターネットプロトコル等の通信プロトコルに準拠している。   The external connection interface 216 is an interface for connecting to an external device. As the interface, various connection standards such as wireless / wired LAN, USB, HDMI, Bluetooth (registered trademark), and the like can be adopted. The external connection interface 216 enables communication with an electronic device such as a server via a network. The external connection interface 216 is compliant with a communication protocol such as the Internet protocol.

図３は、第１実施形態に係る状況判別システムの処理を示すフローチャートである。本フローチャートにおいては、パソコンＣＰＵ２１０は、ユーザの状況判定と判定結果に応じた処理とを実行する。なお、本フローチャートにおいては、ユーザがパソコン２００を操作している状況を想定する。パソコンＣＰＵ２１０は、パソコン２００の電源がオンになった場合、キーボード２０２、タッチパッド２０３、マウス３００等からユーザの入力を受け付けた場合などに本フローチャートの処理を開始する。また、パソコンＣＰＵ２１０は、パソコン２００の電源がオンになった後、タイマー２１１を用いて予め定められた期間ごとに本フローチャートの処理を開始するようにしても良い。   FIG. 3 is a flowchart showing processing of the situation determination system according to the first embodiment. In this flowchart, the personal computer CPU 210 executes user status determination and processing according to the determination result. In this flowchart, it is assumed that the user is operating the personal computer 200. The personal computer CPU 210 starts the processing of this flowchart when the personal computer 200 is turned on, when a user input is received from the keyboard 202, the touch pad 203, the mouse 300, or the like. In addition, the personal computer CPU 210 may start the processing of this flowchart at predetermined intervals using the timer 211 after the personal computer 200 is turned on.

パソコンＣＰＵ２１０は、ユーザの生体に関する情報を入力する（ステップＳ１０１）。具体的には、パソコンＣＰＵ２１０は、生体センサ３４０が検出したユーザの脈拍、体温、発汗といった生体情報、圧電センサ２０８が検出したユーザのキーボード２０２を叩く強さ、キーボード２０２を叩く速度、ユーザの貧乏揺すり、ユーザの発話速度、ユーザの発話量、ユーザの独り言、ユーザのため息などを生体に関する情報として入力する。なお、上記の通り、生体に関する情報は、生体センサ３４０から取得される情報に限らず、内蔵カメラ２０４、マイク２０７、圧電センサ２０８、天井カメラ３２０などからも取得することができ、これらは広義の生体センサともいえ、その検出結果がパソコンＣＰＵ２１０に入力される。また、パソコンＣＰＵ２１０は、これら全ての生体に関する情報を入力しなくても良く、ユーザの状況を判定できるだけの生体に関する情報を入力すれば良い。   Personal computer CPU210 inputs the information regarding a user's living body (Step S101). Specifically, the personal computer CPU 210 detects biometric information such as the user's pulse, body temperature, and sweat detected by the biometric sensor 340, the strength of tapping the user's keyboard 202 detected by the piezoelectric sensor 208, the tapping speed of the keyboard 202, and the user's poor shaking. The user's utterance speed, the user's utterance amount, the user's monologue, the user's sigh, and the like are input as information on the living body. As described above, the information related to the living body is not limited to the information acquired from the biological sensor 340, but can be acquired from the built-in camera 204, the microphone 207, the piezoelectric sensor 208, the ceiling camera 320, and the like. Even if it is a biometric sensor, the detection result is input to the personal computer CPU 210. Further, the personal computer CPU 210 does not need to input information regarding all of these living bodies, and may input information regarding living bodies that can determine the user's situation.

パソコンＣＰＵ２１０は、入力したユーザの生体に関する情報をＲＯＭ２１２に記憶させ、ユーザの生体に関する情報のログである生体情報ログを記録する。パソコンＣＰＵ２１０は、ＲＯＭ２１２に記憶させた生体情報ログにより、後述するようにユーザの状況を判定する。なお、パソコン２００を複数のユーザで共有して使用する場合には、パソコンＣＰＵ２１０は、内蔵カメラ２０４の撮像画像によるユーザ顔認識、ユーザが入力したＩＤ・パスワードなどによりユーザ認識を行い、ユーザ毎に生体情報ログを記録する。   Personal computer CPU210 memorize | stores the information regarding a user's biological body input in ROM212, and records the biometric information log which is a log of the information regarding a user's biological body. The personal computer CPU 210 determines the user's situation based on the biometric information log stored in the ROM 212 as described later. When the personal computer 200 is shared and used by a plurality of users, the personal computer CPU 210 performs user recognition based on an image captured by the built-in camera 204, an ID / password input by the user, and the like. Record biometric information log.

次に、パソコンＣＰＵ２１０は、ユーザの状況を判定する（ステップＳ１０２）。パソコンＣＰＵ２１０は、例えばＲＯＭ２１２に記録されているスケジュールの情報を参照して、ユーザが行っている作業の内容をユーザの状況として判定する。また、パソコンＣＰＵ２１０は、キーボード２０２、タッチパッド２０３、マウス３００等を用いてユーザが入力した情報を用いて、ユーザが行っている作業の内容を判定することができる。なお、本実施形態において、パソコンＣＰＵ２１０がユーザの状況を判定する判定部として機能する。   Next, the personal computer CPU 210 determines the situation of the user (step S102). The personal computer CPU 210 refers to schedule information recorded in the ROM 212, for example, and determines the content of the work performed by the user as the user's situation. Further, the personal computer CPU 210 can determine the content of the work performed by the user using information input by the user using the keyboard 202, the touch pad 203, the mouse 300, and the like. In the present embodiment, the personal computer CPU 210 functions as a determination unit that determines a user's situation.

パソコンＣＰＵ２１０は、ユーザが行っている作業の内容の情報をＲＯＭ２１２に記憶させ、作業内容の情報のログである作業内容ログを記録する。また、パソコンＣＰＵ２１０は、作業内容ログと生体情報ログとを対応付けて作業ログを作成し、作成した作業ログをＲＯＭ２１２に記録する。なお、パソコン２００を複数のユーザで共有して使用する場合には、パソコンＣＰＵ２１０は、内蔵カメラ２０４の撮像画像によるユーザ顔認識、ユーザが入力したＩＤ・パスワードなどによりユーザ認識を行い、ユーザ毎に作業内容ログおよび作業ログを記録する。   The personal computer CPU 210 stores information on the content of work performed by the user in the ROM 212 and records a work content log, which is a log of work content information. Further, the personal computer CPU 210 creates a work log by associating the work content log with the biometric information log, and records the created work log in the ROM 212. When the personal computer 200 is shared and used by a plurality of users, the personal computer CPU 210 performs user recognition based on an image captured by the built-in camera 204, an ID / password input by the user, and the like. Record the work log and work log.

パソコンＣＰＵ２１０は、ユーザが独り言を言った回数やため息をついた回数を計測して、ユーザの状況を判定する。パソコンＣＰＵ２１０は、音声解析部２１３の解析結果を用いて独り言やため息を検出し、独り言の回数やため息の回数を計測する。また、パソコンＣＰＵ２１０は、画像解析部２１４の解析結果を用いてユーザの表情、口の動き等を検出し、独り言の回数やため息の回数を計測するようにしても良い。   The personal computer CPU 210 measures the number of times the user has spoken alone or sighed to determine the user's situation. The personal computer CPU 210 detects monologue and sigh using the analysis result of the voice analysis unit 213 and measures the number of monologues and the number of sighs. Further, the personal computer CPU 210 may detect the user's facial expression, mouth movement, and the like using the analysis result of the image analysis unit 214, and measure the number of self-talks and the number of sighs.

パソコンＣＰＵ２１０は、例えばタイマー２１１を用いて独り言やため息の頻度（単位時間あたりの独り言・ため息の回数）を計測し、独り言やため息の頻度が閾値以上であればユーザのモチベーションが下がっていると判定する。また、パソコンＣＰＵ２１０は、例えば、音声解析部２１３の解析結果を用いて、「あーあ」、「いやになっちゃう」等のネガティブな独り言か、「頑張ろう」、「良かった」等のポジティブな独り言かを識別する。そして、パソコンＣＰＵ２１０は、ユーザがネガティブな独り言を言っていると判断した場合にはユーザのモチベーションが下がっていると判定し、ユーザがポジティブな独り言を言っていると判断した場合にはユーザのモチベーションが上がっていると判定する。さらに、パソコンＣＰＵ２１０は、ネガティブな独り言の回数やため息の回数のログである独り言ログをＲＯＭ２１２に記録し、独り言ログに記録されたネガティブな独り言の回数やため息の回数が増加傾向である場合にはユーザのモチベーションが下がっていると判定することができる。ここで、モチベーションが上がっているときにはアドレナリン、セロトニン等のモノアミン神経伝達物質が分泌されて血圧や心拍数が上がる傾向にあることから、パソコンＣＰＵ２１０は、生体センサ３４０の生体情報から得られた血圧や心拍数が上昇しておらず且つネガティブな独り言の回数やため息の回数が増加傾向である場合に、ユーザのモチベーションが下がっていると判定しても良い。なお、パソコンＣＰＵ２１０は、モチベーションの度合いを数値で管理する。   The personal computer CPU 210 uses, for example, the timer 211 to measure the frequency of monologues and sighs (the number of monologues and sighs per unit time). To do. In addition, the personal computer CPU 210 uses the analysis result of the voice analysis unit 213, for example, to say negative utterances such as “Ah” or “I do n’t like it”, or positive singing such as “Let's do my best” or “Good”. To identify. Then, the personal computer CPU 210 determines that the user's motivation is lowered when it is determined that the user is speaking negatively, and the user's motivation is determined when it is determined that the user is speaking positively. Is determined to be up. Furthermore, the personal computer CPU 210 records a monologue log, which is a log of the number of negative monologues and the number of sighs, in the ROM 212, and when the number of negative monologues recorded in the monologue log and the number of sighs are increasing. It can be determined that the user's motivation is decreasing. Here, when the motivation is increased, monoamine neurotransmitters such as adrenaline and serotonin are secreted and blood pressure and heart rate tend to increase. Therefore, the personal computer CPU 210 determines the blood pressure obtained from the biological information of the biological sensor 340. If the heart rate has not increased and the number of negative monologues or sighs tends to increase, it may be determined that the user's motivation has decreased. Note that the personal computer CPU 210 manages the degree of motivation numerically.

パソコンＣＰＵ２１０は、画像解析部２１４の解析結果を用いてユーザの状況を判定する。パソコンＣＰＵ２１０は、ユーザの眉間に皺がよっているか、目を細めているかどうかなどの分析を行う。このような表情である場合、ディスプレイ２０１の表示が見づらいと推定する。パソコンＣＰＵ２１０は、ユーザが目を細めている場合には、超音波センサ２０５を用いてディスプレイ２０１からユーザまでの距離を検出する。なお、パソコンＣＰＵ２１０は、目を細めている場合には集中度が高くなく、目を細めている以外の表情での変化が少ないときには集中度が高いと判定する。この分析を行なう場合には、表情の分析に加えて、ステップＳ１０１で入力した生体に関する情報からユーザの感情（焦っている、イライラしている等）を検出して加味することにより、分析精度を向上することができる。また、パソコンＣＰＵ２１０は、画像解析部２１４による天井カメラ３２０の画像データの解析結果を用いて、ユーザの頭部の動き量を検出する。ユーザが集中している場合には頭の動き量が少ないのに対し、ユーザが集中していない場合には頭部の動き量が多くなる。なお、パソコンＣＰＵ２１０は、集中度を数値化して管理してもよい。   The personal computer CPU 210 determines the user's situation using the analysis result of the image analysis unit 214. The personal computer CPU 210 analyzes whether the eyebrows are between the eyebrows of the user or whether the eyes are narrowed. If it is such a facial expression, it is estimated that the display on the display 201 is difficult to see. The personal computer CPU 210 detects the distance from the display 201 to the user using the ultrasonic sensor 205 when the user is narrowing his eyes. Note that the personal computer CPU 210 determines that the degree of concentration is not high when the eyes are narrowed, and that the degree of concentration is high when there is little change in facial expressions other than the narrowed eyes. In the case of performing this analysis, in addition to the analysis of facial expressions, the analysis accuracy is improved by detecting and taking into account the user's emotion (impressed, frustrated, etc.) from the information related to the living body input in step S101. Can be improved. Further, the personal computer CPU 210 detects the amount of movement of the user's head using the analysis result of the image data of the ceiling camera 320 by the image analysis unit 214. When the user is concentrated, the amount of movement of the head is small, whereas when the user is not concentrated, the amount of movement of the head is increased. The personal computer CPU 210 may manage the degree of concentration by converting it into a numerical value.

パソコンＣＰＵ２１０は、ステップＳ１０１で取得した生体に関する情報を用いて、ユーザの集中度をユーザの状況として判定する。一般的に、人間は、集中しているときに脈拍数、体温が上昇する。また、急ぎの業務をしていているときは（すなわち、集中度が高くなるとき）、キーボード２０２を叩く強さが強くなったり、キーボード２０２を叩く速度が速くなったり、貧乏揺すりを行なったりする場合もある。また、集中しているときには頭部が動くことが少ないのに対し、集中していない場合には、よそ見をしたり、場合によっては居眠りをしたりして頭部の動きが大きくなる。そこで、パソコンＣＰＵ２１０は、ＲＯＭ２１２に記録された作業ログとステップＳ１０１で入力した生体に関する情報とを比較することにより、ユーザがパソコン２００を操作している際の集中度を判定する。この場合、パソコンＣＰＵ２１０は、過去にユーザが集中したときの生体情報ログと、ステップＳ１０１で入力した生体に関する情報とを比較してユーザの集中度を検出しても良く、また、ユーザの通常の状態よりも脈拍、キーボード２０２を叩く力量が１０％以上増加した場合に、ユーザが集中していると判断しても良い。なお、貧乏揺すりは、集中しているときにする場合と、集中していないときにする場合とが考えられる。このような場合、パソコンＣＰＵ２１０は、ユーザ毎の生体情報ログから集中しているときに貧乏揺すりをするタイプかどうかを判別して、その後の集中度の判定に用いれば良い。   Personal computer CPU210 determines a user's concentration degree as a user's condition using information about a living body acquired at Step S101. Generally, when a person is concentrated, the pulse rate and body temperature rise. Also, when you are working in a hurry (that is, when the degree of concentration is high), the strength of hitting the keyboard 202 is increased, the speed of hitting the keyboard 202 is increased, or poor shaking is performed. There is also. In addition, the head hardly moves when concentrating, whereas when it is not concentrating, the head moves more by looking away or depending on the situation. Therefore, the personal computer CPU 210 determines the degree of concentration when the user is operating the personal computer 200 by comparing the work log recorded in the ROM 212 with the information about the living body input in step S101. In this case, the personal computer CPU 210 may detect the user concentration level by comparing the biometric information log when the user has concentrated in the past with the information related to the biometric input in step S101. It may be determined that the user is concentrating when the pulse and the strength of hitting the keyboard 202 increase by 10% or more than the state. It should be noted that the poverty shaking may be performed when concentrated or when not concentrated. In such a case, the personal computer CPU 210 may determine whether or not it is a type that performs poor shaking when concentrated from the biometric information log for each user, and may be used for the subsequent determination of concentration.

パソコンＣＰＵ２１０は、ステップＳ１０１で取得した生体に関する情報に基づいて生体情報ログと作業ログとを更新する。   The personal computer CPU 210 updates the biological information log and the work log based on the information related to the biological body acquired in step S101.

そして、パソコンＣＰＵ２１０は、ユーザが行っている作業のペースが落ちているかを判断する（ステップＳ１０３）。パソコンＣＰＵ２１０は、例えばステップＳ１０２においてユーザのモチベーションの度合いが閾値未満であると判定された場合、ユーザの集中度が閾値未満であると判定された場合などに、ユーザが行っている作業のペースが落ちていると判断する。この閾値は作業ログから設定することができ、例えば、パソコンＣＰＵ２１０は、過去のモチベーションの度合いまたは集中度の平均値を閾値として設定する。この際に、パソコンＣＰＵ２１０は、午前中の閾値、午後（午後１時から５時ごろ）の閾値、夜間の閾値というように時間帯に応じた閾値を設定してもよく、また、直近（例えば数日間）のユーザのモチベーションの度合いまたは集中度に応じて、過去のモチベーションの度合いまたは集中度の平均値に対してプラス１０％もしくはマイナス１０％した値を閾値として設定するようにしても良い。   Then, the personal computer CPU 210 determines whether or not the pace of work performed by the user is slow (step S103). For example, when the personal computer CPU 210 determines in step S102 that the user's degree of motivation is less than the threshold, or when the user's concentration is determined to be less than the threshold, the pace of work the user is performing is determined. Judge that it has fallen. This threshold value can be set from the work log. For example, the personal computer CPU 210 sets the average value of the past motivation level or concentration level as the threshold value. At this time, the personal computer CPU 210 may set a threshold according to the time zone such as a threshold in the morning, a threshold in the afternoon (around 1 to 5 pm), a threshold in the night, and the latest (for example, Depending on the degree of motivation or concentration of the user for several days, a value obtained by adding 10% or minus 10% to the average value of the past degree of motivation or concentration may be set as the threshold value.

また、パソコンＣＰＵ２１０は、キーボード２０２、タッチパッド２０３、マウス３００等の操作量が所定量未満である場合に、ユーザが行っている作業のペースが落ちていると判断することができる。なお、キーボード２０２、タッチパッド２０３、マウス３００等の操作量が所定量未満であってもステップＳ１０２においてユーザのモチベーションの度合い若しくは集中度が閾値以上であると判定された場合には、ユーザが行っている作業のペースは落ちていないと判断するようにしても良い。作業ペースが落ちるケースとしては、（i）作業時間がある一定時間続いて疲労してきた場合、（ii）これまで行なっていた作業に比べて難度の高い作業に取り掛かった場合、（iii）誰かに（例えば上司や部下）仕事を頼まれたり、相談されて自分の仕事を中断してしまう場合、（iv）ユーザが業務を行っている近くでノイズが発生する場合などがある。このため、パソコンＣＰＵ２１０は、タイマー２１１の出力、スケジュール作成部２１５が作成したスケジュール、内蔵カメラ２０４が撮像したユーザ以外の人や、マイク２０７や天井マイク３４０が集音したユーザ以外の声や音などから集中度やモチベーションが落ちた理由を識別するようにしてもよい。   Further, the personal computer CPU 210 can determine that the pace of work performed by the user is slow when the operation amount of the keyboard 202, the touch pad 203, the mouse 300, and the like is less than a predetermined amount. Note that even if the operation amount of the keyboard 202, the touch pad 203, the mouse 300, etc. is less than the predetermined amount, if it is determined in step S102 that the user's degree of motivation or concentration is greater than or equal to the threshold value, the user performs It may be determined that the pace of work is not slowing down. Cases where the pace of work slows down include (i) when the work time continues to be fatigued for a certain period of time, (ii) when working on a task that is more difficult than the work that has been done so far, (iii) (For example, a supervisor or a subordinate) When a job is asked or consulted and his / her job is interrupted, (iv) noise may occur near the user's business. For this reason, the personal computer CPU 210 outputs the timer 211, the schedule created by the schedule creation unit 215, the person other than the user imaged by the built-in camera 204, the voice and sound other than the user collected by the microphone 207 and the ceiling microphone 340, etc. The reason why the degree of concentration or motivation has dropped may be identified.

ここで、パソコンＣＰＵ２１０は、ステップＳ１０３においてユーザが行っている作業のペースが落ちていないと判断した場合には、ステップＳ１０１へ戻る。一方、パソコンＣＰＵ２１０は、ステップＳ１０３においてユーザが行っている作業のペースが落ちていると判断した場合に、ユーザの周辺情報を入力する（ステップＳ１０４）。パソコンＣＰＵ２１０は、音声解析部２１３による天井マイク３３０の出力の解析結果を用いて、ユーザの周辺に騒音・ノイズがあるかどうかを検出し、検出結果をユーザの周辺情報として入力する。騒音・ノイズとしては、ユーザ以外の人の話声、コピー機やプリンタ等の操作音などが挙げられる。なお、天井マイク３３０は、コピー機やプリンタ等の近傍、オフィスの出入り口などの騒音が発生しやすい場所に設置されるようにしても良い。   Here, when the personal computer CPU 210 determines in step S103 that the pace of work performed by the user has not slowed down, the personal computer CPU 210 returns to step S101. On the other hand, when the personal computer CPU 210 determines in step S103 that the user's work is slowing down, the personal computer CPU 210 inputs the peripheral information of the user (step S104). The personal computer CPU 210 detects whether there is noise / noise around the user using the analysis result of the output of the ceiling microphone 330 by the voice analysis unit 213, and inputs the detection result as the user's peripheral information. Examples of the noise / noise include speech of a person other than the user, operation sounds of a copying machine, a printer, and the like. The ceiling microphone 330 may be installed in a place where noise is likely to occur, such as in the vicinity of a copier or printer, or in an entrance / exit of an office.

パソコンＣＰＵ２１０は、ステップＳ１０３およびステップＳ１０４でユーザの作業ペースの落ちた理由が上述した（iv）の周辺のノイズである場合に、騒音・ノイズの低減処理を実施する（ステップＳ１０５）。パソコンＣＰＵ２１０は、天井マイク３３０から入力した音に対し反転アンプにより位相を反転させ、反転した音をスピーカ２０６からユーザに向けて出力する。この場合、天井マイク３３０が設けられている位置とユーザの耳の位置とが異なるので、完全に騒音・ノイズを除去することはできないが、騒音・ノイズを低減することができる。この場合には、天井マイク３３０およびスピーカ２０６がユーザ周辺の音（騒音・ノイズ）を検出して低減する低減装置として機能し、パソコンＣＰＵ２１０がユーザの環境を制御する環境制御部として機能する。また、パソコンＣＰＵ２１０は、コピー機やプリンタ等の近傍に予め設置されているスピーカからコピー機やプリンタ等の騒音の位相を反転した音を出力させる制御信号を無線ＬＡＮで当該スピーカに送信してもよい。この場合には、コピー機やプリンタ等の近傍に予め設置されているスピーカおよび天井マイク３３０がユーザ周辺の音（騒音・ノイズ）を検出して低減する低減装置として機能し、パソコンＣＰＵ２１０がユーザの環境を制御する環境制御部として機能する。   The personal computer CPU 210 performs noise / noise reduction processing when the reason why the user's work pace has decreased in step S103 and step S104 is the noise in the vicinity of (iv) described above (step S105). The personal computer CPU 210 inverts the phase of the sound input from the ceiling microphone 330 with an inverting amplifier, and outputs the inverted sound from the speaker 206 to the user. In this case, since the position where the ceiling microphone 330 is provided is different from the position of the user's ear, noise / noise cannot be completely removed, but noise / noise can be reduced. In this case, the ceiling microphone 330 and the speaker 206 function as a reduction device that detects and reduces sounds around the user (noise / noise), and the personal computer CPU 210 functions as an environment control unit that controls the user's environment. Further, the personal computer CPU 210 may transmit a control signal for outputting a sound in which the phase of the noise of the copier or printer is inverted from a speaker installed in the vicinity of the copier or printer to the speaker via a wireless LAN. Good. In this case, a speaker and a ceiling microphone 330 installed in the vicinity of a copier, a printer, or the like function as a reduction device that detects and reduces sounds around the user (noise / noise). It functions as an environment control unit that controls the environment.

パソコンＣＰＵ２１０は、ユーザの気分を転換させるための処理を実施する（ステップＳ１０６）。具体的には、パソコンＣＰＵ２１０は、外部接続インターフェイス２１６を介して外部機器から取得されたユーザが好きな音楽、マイク２０７から取得されたユーザの家族や恋人の声などのユーザによって選定された音に関する情報をＲＯＭ２１２に登録し、登録した音をスピーカ２０６から出力する。ユーザによって選定された音に関する情報は、ユーザが好きな音楽、ユーザの家族や恋人の声などの音の情報だけでなく、出力音量、出力音圧、出力時間等の出力条件の情報も含んでもよい。これはユーザの作業ペースの落ちた理由が上述の（i）の疲労や（iii）の仕事の中断の場合に有効である。なお、本実施形態において、パソコンＣＰＵ２１０およびＲＯＭ２１２がユーザによって選定された音に関する情報を登録する登録部として機能し、パソコンＣＰＵ２１０がスピーカ２０６を制御する制御部として機能する。   Personal computer CPU210 performs the process for changing a user's mood (step S106). Specifically, the personal computer CPU 210 relates to the user's favorite music acquired from the external device via the external connection interface 216, the sound selected by the user, such as the user's family or lover's voice acquired from the microphone 207. Information is registered in the ROM 212, and the registered sound is output from the speaker 206. The information related to the sound selected by the user may include not only the information of the user's favorite music, the voice of the user's family or lover, but also the output condition information such as the output volume, output sound pressure, and output time. Good. This is effective when the reason why the user's work pace is reduced is the above-mentioned (i) fatigue or (iii) work interruption. In this embodiment, the personal computer CPU 210 and the ROM 212 function as a registration unit that registers information related to the sound selected by the user, and the personal computer CPU 210 functions as a control unit that controls the speaker 206.

パソコンＣＰＵ２１０は、スピーカ２０６の指向性に関連する状況を検知し、検知した状況に応じてスピーカ２０６の出力音圧と出力音量の少なくとも一方を制御する。例えば、パソコンＣＰＵ２１０は、画像解析部２１４の解析結果を用いてスピーカ２０６の指向性の方向にユーザ以外の者を検知した場合に、スピーカ２０６の出力音圧と出力音量の少なくとも一方の設定を変更する。この場合に、パソコンＣＰＵ２１０は、スピーカ２０６の出力音圧と出力音量の少なくとも一方の値を、ユーザ以外の者が検知されない場合における設定値より低く設定するようにしても良い。これに代えて、パソコンＣＰＵ２１０は、画像解析部２１４の解析結果により対象ユーザ以外の者の位置を検出して、複数（本実施の形態では２つ）のスピーカ２０６のうち対象ユーザ以外の者には音の届かない指向性を有したスピーカ２０６を選択するようにしてもよい。また、パソコンＣＰＵ２１０は、音楽を流す時間を例えば５分に制限したり、音楽を流す時間帯を制限したりしても良い。さらに、パソコンＣＰＵ２１０は、ディスプレイ２０１に長期目標、ユーザが好きな言葉などをポップアップ表示するようにしても良い。これはユーザの作業ペースが落ちた理由が上述の（ii）の難易度の高い作業や（iii）の仕事の中断の場合に有効である。なお、本実施形態において、パソコンＣＰＵ２１０がスピーカ２０６の指向性に関連する状況を検知する検知部として機能する。   The personal computer CPU 210 detects a situation related to the directivity of the speaker 206 and controls at least one of the output sound pressure and the output volume of the speaker 206 according to the detected situation. For example, the personal computer CPU 210 changes the setting of at least one of the output sound pressure and the output volume of the speaker 206 when a person other than the user is detected in the directionality of the speaker 206 using the analysis result of the image analysis unit 214. To do. In this case, the personal computer CPU 210 may set the value of at least one of the output sound pressure and the output volume of the speaker 206 to be lower than the set value when no person other than the user is detected. Instead, the personal computer CPU 210 detects the position of a person other than the target user based on the analysis result of the image analysis unit 214, and determines the position other than the target user among a plurality (two in the present embodiment) of the speakers 206. May select the speaker 206 having directivity that does not reach the sound. Further, the personal computer CPU 210 may limit the time for playing music to 5 minutes, for example, or may limit the time zone for playing music. Further, the personal computer CPU 210 may pop-up display the long-term goal, words the user likes on the display 201. This is effective when the reason why the user's work pace has decreased is the above-described (ii) work with a high degree of difficulty and (iii) work interruption. In the present embodiment, the personal computer CPU 210 functions as a detection unit that detects a situation related to the directivity of the speaker 206.

パソコンＣＰＵ２１０は、ＲＯＭ２１２に記録されている作業ログを参照する（ステップＳ１０７）。具体的には、まず、パソコンＣＰＵ２１０は、スケジュール情報から現在行っている第１の作業を確認し、過去に行った作業の中から第１の作業と同じ種類の作業を抽出する。次に、パソコンＣＰＵ２１０は、抽出した作業を行ったときのユーザの生体に関する情報またはユーザの状況を比較する。そして、パソコンＣＰＵ２１０は、スケジュール情報に含まれる今後行うべき作業のうち、過去にモチベーションの度合いまたは集中度が閾値以上の状況で行われた作業、若しくはルーチン作業のように数多く行われた作業と同じ種類の作業があるかどうかを検出する。さらに、パソコンＣＰＵ２１０は、ＲＯＭ２１２に記録されている作業ログから、モチベーションの度合いまたは集中度が閾値以上である状況が一定時間以上継続している時間帯、すなわちユーザのモチベーションの度合いまたは集中度が高い時間帯を確認する。また、パソコンＣＰＵ２１０は、モチベーションの度合いまたは集中度が閾値未満である状況が一定時間以上継続している時間帯、すなわちユーザのモチベーションの度合いまたは集中度が低い時間帯を確認する。なお、同じ種類の作業は、完全同一の作業だけでなく、作業を複数のカテゴリー（例えば、創造業務、事務業務または新規業務、ルーチン業務）に分類した場合に同じカテゴリーに属する作業も含む。   The personal computer CPU 210 refers to the work log recorded in the ROM 212 (step S107). Specifically, first, the personal computer CPU 210 confirms the first work currently performed from the schedule information, and extracts the same type of work as the first work from the work performed in the past. Next, the personal computer CPU 210 compares information about the user's living body or the user's situation when the extracted work is performed. The personal computer CPU 210 is the same as the work performed in the past in the situation where the degree of motivation or the degree of concentration is equal to or higher than the threshold, or the routine work, among the work to be performed included in the schedule information. Detect if there is a type of work. Furthermore, the personal computer CPU 210 has a high time period in which the situation where the degree of motivation or concentration is greater than or equal to a threshold value continues for a certain time or more, that is, the degree of user motivation or the degree of concentration is high, based on the work log recorded in the ROM 212. Check the time zone. Further, the personal computer CPU 210 confirms a time zone in which the situation where the degree of motivation or the degree of concentration is less than a threshold value continues for a certain period of time, that is, a time zone where the degree of user motivation or the degree of concentration is low. The same type of work includes not only completely identical work but also work belonging to the same category when the work is classified into a plurality of categories (for example, creative work, office work or new work, routine work).

パソコンＣＰＵ２１０は、スケジュール作成部２１５を用いて、新たなスケジュールを作成する（ステップＳ１０８）。具体的には、まず、パソコンＣＰＵ２１０は、ステップＳ１０７で参照した作業ログを用いて、ユーザの状況が現在行っている第１の業務（例えば、創造業務）を行うのに好ましくないかどうかを確認し、過去における作業の順番変更を確認する。そして、パソコンＣＰＵ２１０は、ステップＳ１０７で参照した作業ログおよびＲＯＭ２１２に記録されているスケジュールの情報を用いて、今後行うべき作業のうちからユーザが第１の作業よりも得意とする第２の作業（例えば、事務業務）を先に行うスケジュールを作成する。また、パソコンＣＰＵ２１０は、今後行うべき作業のうちからルーチン作業のように数多く行われた第２の作業を先に行うスケジュールを作成しても良い。さらに、パソコンＣＰＵ２１０は、ユーザの集中度が高くなる時間帯に第１の作業を行うスケジュールを作成する。   The personal computer CPU 210 uses the schedule creation unit 215 to create a new schedule (step S108). Specifically, first, the personal computer CPU 210 uses the work log referred to in step S107 to check whether or not the user's situation is unfavorable for performing the first job (for example, creative job) currently being performed. And confirm the change in the order of work in the past. Then, the personal computer CPU 210 uses the work log referred to in step S107 and the schedule information recorded in the ROM 212 to select the second work (which the user is better than the first work from among the work to be performed in the future) For example, a schedule for performing office work first is created. Further, the personal computer CPU 210 may create a schedule for performing the second work, which has been performed many times like the routine work, among the work to be performed in the future. Furthermore, the personal computer CPU 210 creates a schedule for performing the first work in a time zone in which the user's concentration is high.

パソコンＣＰＵ２１０は、ステップＳ１０８で作成した新たなスケジュールの情報をユーザに提示し、作業の順番を変更するかどうかをユーザに問い合わせる（ステップＳ１０９）。パソコンＣＰＵ２１０は、スピーカ２０６から音声を出力してユーザの注意を喚起し、現在行っている第１の業務に代えて行う第２の業務に関する情報をディスプレイ２０１に表示するとともに、第１の業務を行う日時を表示する。なお、本実施形態において、パソコンＣＰＵ２１０およびディスプレイ２０１が第２の作業に関する情報を出力する出力部として機能する。   The personal computer CPU 210 presents the new schedule information created in step S108 to the user and inquires of the user whether or not to change the work order (step S109). The personal computer CPU 210 outputs a sound from the speaker 206 to alert the user, displays on the display 201 information related to the second task to be performed instead of the first task currently being performed, and executes the first task. Displays the date and time to be performed. In the present embodiment, the personal computer CPU 210 and the display 201 function as an output unit that outputs information related to the second work.

そして、パソコンＣＰＵ２１０は、作業の順番変更に同意する旨のユーザの入力をキーボード２０２、タッチパッド２０３、マウス３００等で受け付けた場合、またはユーザが発した「はい」、「ＯＫ」等の同意する旨の音声をマイク２０７で受け付けた場合には、ＲＯＭ２１２に記憶されているスケジュール情報を変更し（ステップＳ１１０）、本フローチャートを終了する。一方、パソコンＣＰＵ２１０は、作業順場の変更に同意する旨の入力を受け付けなかった場合には、本フローチャートを終了する。なお、フローチャートの終了に代えて、ステップＳ１０１へ戻るようにしても良い。   Then, the personal computer CPU 210 accepts the user's input for agreeing to change the order of work with the keyboard 202, the touch pad 203, the mouse 300, or the like, or agrees “Yes”, “OK”, etc. issued by the user. When the voice to that effect is received by the microphone 207, the schedule information stored in the ROM 212 is changed (step S110), and this flowchart is ended. On the other hand, if the personal computer CPU 210 does not accept the input to agree to the change of the work place, this flowchart is ended. Note that instead of ending the flowchart, the process may return to step S101.

上述の処理フローにおいては、ユーザ自身に対して作業の順番変更を問い合わせたが、ユーザの上司に対してユーザの作業の順番変更を問い合わせるようにしてもよい。   In the above-described processing flow, the user himself / herself is inquired about a change in the order of work.

また、上述の処理フローにおいては、オフィス内のビジネスの場面を想定して説明したが、状況判別システム１１０の適用範囲はこれに限らない。例えば、状況判別システム１１０を在宅勤務に適用したり、学生・受験生の学習科目のスケジュール変更に適用したりすることもできる。   Moreover, although the above-described processing flow has been described assuming a business scene in the office, the scope of application of the situation determination system 110 is not limited to this. For example, the situation determination system 110 can be applied to telecommuting, or can be applied to changing the schedule of learning subjects for students and examinees.

図４は、第２実施形態に係る状況判別システムのブロック図である。図４に示すように、状況判別システム１２０は、第１実施形態に係る状況判別システム１１０に対し、パソコン２００とネットワーク５００を介して接続する電子機器であるサーバ４００を追加した構成である。第２実施形態における状況判別システム１２０は、第１実施形態における状況判別システム１１０のパソコン２００で実施していた状況判別の機能をサーバで実行するように構成されている。サーバ４００は、ネットワーク５００を介してパソコン２００から各種情報を取得するとともに、ネットワーク５００を介してパソコン２００に各種情報を送信する。パソコン２００は、本実施形態においても第１実施形態と同様の構成を備える。また、パソコン２００は、第１実施形態の構成のうちサーバ４００で実行される機能に対応する構成である音声解析部２１３、画像解析部２１４、スケジュール作成部２１５などを省略してもよい。なお、第１実施形態と共通の要素については同じ符番を付し、特に新たな機能を付与しない限り、その説明を省略する。   FIG. 4 is a block diagram of a situation determination system according to the second embodiment. As shown in FIG. 4, the situation determination system 120 has a configuration in which a server 400 that is an electronic device connected to the personal computer 200 via the network 500 is added to the situation determination system 110 according to the first embodiment. The situation determination system 120 in the second embodiment is configured to execute a situation determination function performed on the personal computer 200 of the situation determination system 110 in the first embodiment on a server. The server 400 acquires various types of information from the personal computer 200 via the network 500 and transmits various types of information to the personal computer 200 via the network 500. The personal computer 200 also has the same configuration as in the first embodiment in this embodiment. In addition, the personal computer 200 may omit the voice analysis unit 213, the image analysis unit 214, the schedule creation unit 215, and the like, which are configurations corresponding to functions executed by the server 400 in the configuration of the first embodiment. In addition, about the element which is common in 1st Embodiment, the same number is attached | subjected and the description is abbreviate | omitted unless a new function is provided especially.

サーバ４００は、全体の制御を司るサーバＣＰＵ４１０を中心とし、タイマー４１１、ＲＯＭ４１２、記録装置４１３、音声解析部４１４、画像解析部４１５、スケジュール作成部４１６および外部接続Ｉ／Ｆ４１７を備える。   The server 400 includes a timer 411, a ROM 412, a recording device 413, an audio analysis unit 414, an image analysis unit 415, a schedule creation unit 416, and an external connection I / F 417, with a server CPU 410 that performs overall control as a center.

タイマー４１１は、計時機能を有し、サーバＣＰＵ４１０の開始の指示を受けて計時を開始し、終了の指示を受けてその計時結果をサーバＣＰＵ４１０へ返す。ＲＯＭ４１２は、例えばフラッシュメモリ等の不揮発性メモリであり、サーバ４００を制御するプログラム、各種パラメータなどを記憶する役割を担う。   The timer 411 has a time measurement function, starts time measurement in response to a start instruction from the server CPU 410, and returns a time measurement result to the server CPU 410 in response to an end instruction. The ROM 412 is a nonvolatile memory such as a flash memory, for example, and plays a role of storing a program for controlling the server 400, various parameters, and the like.

記録装置４１３は、例えばハードディスクドライブであり、ＲＯＭ２１２のバックアップとして機能し、前述の作業内容ログ、生体情報ログ、作業ログなどを記録する。   The recording device 413 is, for example, a hard disk drive, functions as a backup of the ROM 212, and records the aforementioned work content log, biometric information log, work log, and the like.

音声解析部４１４は、マイク２０７、天井マイク３３０から取り込まれる音声をパソコン２００から取得し、取得した音声を解析する。音声解析部４１４は、第１実施形態に係る状況判別システム１１０における音声解析部２１３と同様の機能を実行する。   The voice analysis unit 414 acquires the voice taken in from the microphone 207 and the ceiling microphone 330 from the personal computer 200 and analyzes the acquired voice. The voice analysis unit 414 performs the same function as the voice analysis unit 213 in the situation determination system 110 according to the first embodiment.

画像解析部４１５は、内蔵カメラ２０４により撮影された撮影画像データ、天井カメラ３２０により撮影された撮影画像データをパソコン２００から取得し、取得した撮影画像データを解析する。画像解析部４１５は、第１実施形態に係る状況判別システム１１０における画像解析部２１４と同様の機能を実行する。   The image analysis unit 415 acquires the captured image data captured by the built-in camera 204 and the captured image data captured by the ceiling camera 320 from the personal computer 200, and analyzes the acquired captured image data. The image analysis unit 415 performs the same function as the image analysis unit 214 in the situation determination system 110 according to the first embodiment.

スケジュール作成部４１６は、パソコン２００からユーザの入力を受け付けて、ユーザが行うべき作業のスケジュールを作成する。スケジュール作成部４１６は、第１実施形態に係る状況判別システム１１０におけるスケジュール作成部２１５と同様の機能を実行する。作成されたスケジュールの情報は記録装置４１３に記憶される。   The schedule creation unit 416 receives user input from the personal computer 200 and creates a schedule of work to be performed by the user. The schedule creation unit 416 performs the same function as the schedule creation unit 215 in the situation determination system 110 according to the first embodiment. Information on the created schedule is stored in the recording device 413.

外部接続インターフェイス４１７は、ネットワーク５００を介してパソコン２００の外部接続インターフェイス２１６に接続し、サーバ４００とパソコン２００との間の通信を可能にする。外部接続インターフェイス４１７は、インターネットプロトコル等の通信プロトコルに準拠している。外部接続インターフェイス４１７は、その他の外部機器と接続するためのインターフェイスであってもよい。   The external connection interface 417 is connected to the external connection interface 216 of the personal computer 200 via the network 500, and enables communication between the server 400 and the personal computer 200. The external connection interface 417 is compliant with a communication protocol such as the Internet protocol. The external connection interface 417 may be an interface for connecting to other external devices.

なお、本実施形態において、パソコン２００は音声解析部２１３、画像解析部２１４、スケジュール作成部２１５を備え、サーバ４００は音声解析部４１４、画像解析部４１５、スケジュール作成部４１６を備える。これにより、本実施形態に係る状況判別システム１２０は、音声解析等の処理をサーバ４００側で実行するかそれともパソコン２００側で実行するかを、システムの状況に応じて設定することができる。   In this embodiment, the personal computer 200 includes a voice analysis unit 213, an image analysis unit 214, and a schedule creation unit 215, and the server 400 includes a voice analysis unit 414, an image analysis unit 415, and a schedule creation unit 416. Thereby, the situation determination system 120 according to the present embodiment can set whether to execute processing such as voice analysis on the server 400 side or on the personal computer 200 side according to the system situation.

例えば、パソコン２００とサーバ４００とのデータ転送速度が閾値以上である場合に、パソコン２００が音声解析等に必要な情報をサーバ４００に送信してサーバ４００が音声解析等を実行し、パソコン２００とサーバ４００とのデータ転送速度が閾値未満である場合に、パソコン２００が音声解析等を実行してデータサイズの小さい処理結果のみをサーバ４００に送信する。この場合における閾値として、例えば、サーバ４００がリアルタイムに音声解析等の処理を実行できるデータ転送速度の下限値が設定される。また、サーバ４００が複数の処理を並行して処理していない場合に、パソコン２００が音声解析等に必要な情報をサーバ４００に送信してサーバ４００が音声解析等を実行し、サーバ４００が複数の処理を並行して処理している場合に、パソコン２００が音声解析等を実行して処理結果のみをサーバ４００に送信するようにしてもよい。   For example, when the data transfer rate between the personal computer 200 and the server 400 is equal to or higher than a threshold, the personal computer 200 transmits information necessary for voice analysis or the like to the server 400 and the server 400 executes voice analysis or the like. When the data transfer rate with the server 400 is less than the threshold value, the personal computer 200 executes voice analysis or the like and transmits only the processing result having a small data size to the server 400. As the threshold value in this case, for example, a lower limit value of the data transfer rate at which the server 400 can execute processing such as voice analysis in real time is set. Further, when the server 400 is not processing a plurality of processes in parallel, the personal computer 200 transmits information necessary for voice analysis or the like to the server 400, the server 400 executes voice analysis or the like, and the server 400 When the above processes are performed in parallel, the personal computer 200 may perform voice analysis or the like and transmit only the processing result to the server 400.

図５は、第２実施形態に係る状況判別システムの処理を示すフローチャートである。本フローチャートにおいては、サーバＣＰＵ４１０は、ユーザの状況判定処理と判定結果に応じた処理とを実行する。なお、本フローチャートにおいては、ユーザがパソコン２００を操作している状況を想定する。サーバＣＰＵ４１０は、パソコン２００との接続が確立した場合、パソコン２００との接続確立後にキーボード２０２、タッチパッド２０３、マウス３００等で受け付けたユーザの入力を取得した場合などに本フローチャートの処理を開始する。また、サーバＣＰＵ４１０は、パソコン２００との接続確立後、タイマー４１１を用いて予め定められた期間ごとに本フローチャートの処理を開始するようにしても良い。   FIG. 5 is a flowchart showing processing of the situation determination system according to the second embodiment. In this flowchart, the server CPU 410 executes a user situation determination process and a process according to the determination result. In this flowchart, it is assumed that the user is operating the personal computer 200. The server CPU 410 starts the processing of this flowchart when the connection with the personal computer 200 is established, when the user's input received with the keyboard 202, the touch pad 203, the mouse 300, or the like is acquired after the connection with the personal computer 200 is established. . Further, the server CPU 410 may start the processing of this flowchart for each predetermined period using the timer 411 after establishing the connection with the personal computer 200.

サーバＣＰＵ４１０は、ユーザが行っている作業の内容を判定する（ステップＳ２０１）。サーバＣＰＵ４１０は、例えば記録装置４１３に記録されているスケジュールの情報を参照して、ユーザが行っている作業の内容を判定する。また、サーバＣＰＵ４１０は、キーボード２０２、タッチパッド２０３、マウス３００等を用いてユーザが入力した情報をパソコン２００から取得し、取得した情報を用いてユーザが行っている作業の内容を判定してもよい。   The server CPU 410 determines the content of the work being performed by the user (step S201). For example, the server CPU 410 refers to schedule information recorded in the recording device 413 to determine the content of the work performed by the user. Further, the server CPU 410 acquires information input by the user from the personal computer 200 using the keyboard 202, the touch pad 203, the mouse 300, and the like, and determines the content of the work performed by the user using the acquired information. Good.

次に、サーバＣＰＵ４１０は、ユーザの生体に関する情報を入力する（ステップＳ２０２）。具体的には、サーバＣＰＵ４１０は、生体センサ３４０、内蔵カメラ２０４、圧電センサ２０８、天井カメラ３２０などの情報をパソコン２００から取得し、第１実施形態のステップＳ１０１と同様の処理を実行する。なお、本実施形態において、サーバＣＰＵ４１０が生体に関する情報を入力する入力部として機能する。   Next, the server CPU 410 inputs information related to the user's living body (step S202). Specifically, the server CPU 410 acquires information on the biometric sensor 340, the built-in camera 204, the piezoelectric sensor 208, the ceiling camera 320, and the like from the personal computer 200, and executes a process similar to step S101 of the first embodiment. In the present embodiment, the server CPU 410 functions as an input unit that inputs information related to a living body.

そして、サーバＣＰＵ４１０は、ユーザの状況を判定する（ステップＳ２０３）。具体的には、サーバＣＰＵ４１０は、第１実施形態のステップＳ１０２におけるユーザの独り言を言った回数やため息をついた回数を用いたユーザの状況の判定、画像解析部２１４の解析結果を用いたユーザの状況の判定、生体に関する情報を用いたユーザの集中度の判定と同様の処理を実行する。なお、本実施形態において、サーバＣＰＵ４１０がユーザの状況を判定する判定部として機能する。   Then, the server CPU 410 determines the user's situation (step S203). Specifically, the server CPU 410 determines the user's situation using the number of times the user talked to himself or the number of times he sighed in step S102 of the first embodiment, and uses the analysis result of the image analysis unit 214. The same processing as the determination of the situation of the user and the determination of the user's concentration degree using information on the living body is executed. In the present embodiment, the server CPU 410 functions as a determination unit that determines a user's situation.

サーバＣＰＵ４１０は、作業ログを作成し、作成した作業ログを記録装置４１３に記録する（ステップＳ２０４）。サーバＣＰＵ４１０は、例えばステップＳ２０１で取得した作業の内容の情報とステップＳ２０２で取得した生体に関する情報とを対応付けて作業ログを作成し、作成した作業ログを記録装置４１３に記録する。また、サーバＣＰＵ４１０は、ステップＳ２０１で取得した作業の内容の情報とステップＳ２０３で取得したユーザの状況の情報とを対応付けて作業ログを作成し、作成した作業ログを記録装置４１３に記録しても良い。さらに、サーバＣＰＵ４１０は、ステップＳ２０１で取得した作業の内容の情報、ステップＳ２０２で取得した生体に関する情報およびステップＳ２０３で取得したユーザの状況の情報を対応付けて作業ログを作成し、作成した作業ログを記録装置４１３に記録しても良い。なお、サーバ４００が複数のパソコン２００と接続する場合または一つのパソコン２００を複数のユーザで共有して使用する場合には、サーバＣＰＵ４１０は、内蔵カメラ２０４の撮像画像によるユーザ顔認識、ユーザが入力したＩＤ・パスワードなどによりユーザ認識を行い、ユーザ毎に作業ログを記録する。   The server CPU 410 creates a work log and records the created work log in the recording device 413 (step S204). For example, the server CPU 410 creates a work log by associating the information on the work content acquired in step S201 with the information on the living body acquired in step S202, and records the created work log in the recording device 413. Also, the server CPU 410 creates a work log by associating the work content information acquired in step S201 with the user status information acquired in step S203, and records the created work log in the recording device 413. Also good. Further, the server CPU 410 creates a work log by associating the work content information acquired in step S201, the biological information acquired in step S202, and the user status information acquired in step S203, and the created work log May be recorded in the recording device 413. Note that when the server 400 is connected to a plurality of personal computers 200 or when one personal computer 200 is shared and used by a plurality of users, the server CPU 410 recognizes the user face based on the image captured by the built-in camera 204, and the user inputs The user is recognized by the ID / password and the like, and a work log is recorded for each user.

また、サーバＣＰＵ４１０は、ステップＳ２０１およびステップＳ２０２において、作業内容の情報のログである作業内容ログおよび生体に関する情報のログである生体情報ログをそれぞれ記録装置４１３に記録するようにしても良い。具体的には、まず、サーバＣＰＵ４１０は、ステップＳ２０１において取得したユーザが行っている作業の内容の情報を記録装置４１３に記憶させて作業内容ログを記録する。そして、サーバＣＰＵ４１０は、ステップＳ２０２において入力したユーザの生体に関する情報を記録装置４１３に記憶させて生体情報ログを記録する。その後、サーバＣＰＵ４１０は、ステップＳ２０４において、作業内容ログと生体情報ログとを対応付けて作業ログを作成し、作成した作業ログを記録装置４１３に記録する。   In step S201 and step S202, the server CPU 410 may record a work content log, which is a log of work content information, and a biometric information log, which is a log of biological information, in the recording device 413. Specifically, first, the server CPU 410 causes the recording device 413 to store information on the content of the work performed by the user acquired in step S201, and records a work content log. And server CPU410 memorize | stores the information regarding a user's biological body input in step S202 in the recording device 413, and records a biometric information log. Thereafter, in step S204, the server CPU 410 creates a work log by associating the work content log with the biometric information log, and records the created work log in the recording device 413.

サーバＣＰＵ４１０は、ユーザが行っている作業のペースが落ちているかを判断する（ステップＳ２０５）。具体的には、サーバＣＰＵ４１０は、第１実施形態のステップＳ１０３と同様の処理を実行する。   The server CPU 410 determines whether the pace of work performed by the user is slow (step S205). Specifically, the server CPU 410 executes the same process as step S103 of the first embodiment.

サーバＣＰＵ４１０は、ステップＳ２０５においてユーザが行っている作業のペースが落ちていないと判断した場合には、ステップＳ２０１へ戻る。一方、サーバＣＰＵ４１０は、ステップＳ２０５においてユーザが行っている作業のペースが落ちていると判断した場合に、周辺情報入力処理を実行する（ステップＳ２０６）。具体的には、サーバＣＰＵ４１０は、第１実施形態のステップＳ１０４と同様の処理を実行する。そして、サーバＣＰＵ４１０は環境制御処理を実行する（ステップＳ２０７）。具体的には、サーバＣＰＵ４１０は、第１実施形態のステップＳ１０５の騒音・ノイズの低減処理およびステップＳ１０６のユーザの気分を転換させるための処理を実行させる制御信号をパソコン２００に送信する。なお、本実施形態において、サーバＣＰＵ４１０がユーザの環境を制御する環境制御部として機能する。   If the server CPU 410 determines in step S205 that the user is not slowing down the work, the process returns to step S201. On the other hand, when the server CPU 410 determines in step S205 that the pace of work performed by the user has slowed down, the server CPU 410 executes peripheral information input processing (step S206). Specifically, the server CPU 410 executes a process similar to step S104 of the first embodiment. Then, the server CPU 410 executes environment control processing (step S207). Specifically, the server CPU 410 transmits, to the personal computer 200, a control signal for executing the noise / noise reduction processing in step S105 and the processing for changing the user's mood in step S106 of the first embodiment. In this embodiment, the server CPU 410 functions as an environment control unit that controls the user's environment.

サーバＣＰＵ４１０は、環境制御処理（ステップＳ２０７）を行った後におけるユーザの生体に関する情報を入力し（ステップＳ２０８）、ユーザの状況を判定する（ステップＳ２０９）。ステップＳ２０８およびＳ２０９の処理は、ステップＳ２０２およびＳ２０３とそれぞれ同じである。そして、サーバＣＰＵ４１０は、ユーザが行っている作業のペースが改善したかを判断する（ステップＳ２１０）。サーバＣＰＵ４１０は、例えばユーザのモチベーションの度合いまたは集中度がステップＳ２０５のときよりも一定値以上上がっていると判断された場合に、ユーザが行っている作業のペースが改善したと判断する。また、サーバＣＰＵ４１０は、例えばステップＳ２０５のときに閾値未満であったユーザのモチベーションの度合いまたは集中度が閾値以上に高まった場合に、ユーザが行っている作業のペースが改善したと判断する。さらに、サーバＣＰＵ４１０は、例えばステップＳ２０５のときに所定量未満であったキーボード２０２、タッチパッド２０３、マウス３００等の操作量が所定量以上に増加した場合に、ユーザが行っている作業のペースが改善したと判断する。サーバＣＰＵ４１０は、ユーザが行っている作業のペースが改善したと判断した場合には、ステップＳ２０１へ戻る。   The server CPU 410 inputs information related to the living body of the user after performing the environmental control process (step S207) (step S208), and determines the situation of the user (step S209). Steps S208 and S209 are the same as steps S202 and S203, respectively. Then, the server CPU 410 determines whether the pace of work performed by the user has improved (step S210). For example, when it is determined that the degree of motivation or concentration of the user is higher than a certain value by step S205, the server CPU 410 determines that the pace of work performed by the user has improved. Further, the server CPU 410 determines that the pace of work performed by the user has improved when, for example, the degree of motivation or concentration of the user, which was less than the threshold at step S205, has increased beyond the threshold. Further, for example, when the operation amount of the keyboard 202, the touch pad 203, the mouse 300, or the like, which was less than a predetermined amount at step S205, has increased to a predetermined amount or more, the server CPU 410 has a pace of work performed by the user. Judge that it has improved. When the server CPU 410 determines that the pace of work performed by the user has improved, the process returns to step S201.

一方、サーバＣＰＵ４１０は、ユーザが行っている作業のペースが改善していないと判断した場合には、ステップＳ２０８で取得した生体に関する情報、ステップＳ２０９で取得したユーザの状況、作業ログを用いて、ユーザが行っている第１の作業と異なる第２の作業を決定し、作業順番を変更したスケジュールを作成する（ステップＳ２１１）。サーバＣＰＵ４１０は、第１実施形態のステップＳ１０８と同様の処理を実行する。   On the other hand, if the server CPU 410 determines that the pace of work performed by the user has not improved, the server CPU 410 uses the information about the living body acquired in step S208, the user status acquired in step S209, and the work log. A second work different from the first work performed by the user is determined, and a schedule in which the work order is changed is created (step S211). The server CPU 410 executes the same process as step S108 in the first embodiment.

また、サーバＣＰＵ４１０は、例えば過去に行った作業のうちモチベーションの度合いまたは集中度が閾値以上であった作業を抽出し、記録装置４１３に記録されているスケジュールの情報に含まれる今後行うべき作業の中から抽出した作業と同じ種類の第２の作業を決定するようにしてもよい。なお、同じ種類の作業は、完全同一の作業だけでなく、作業を複数のカテゴリーに分類した場合に同じカテゴリーに属する作業も含む。今後行うべき作業の中に抽出した作業と同じ種類の作業が複数ある場合には、サーバＣＰＵ４１０は、これら複数の作業のうち、優先度の最も高い作業を第２の作業として決定する。優先度の最も高い作業は、一番早い時間帯に設定されていた作業、予め定められた優先順位が一番高い作業などである。   Further, the server CPU 410 extracts, for example, work that has a degree of motivation or concentration that is equal to or greater than a threshold from the work that has been performed in the past, and the work to be performed in the future that is included in the schedule information recorded in the recording device 413. A second work of the same type as the work extracted from the inside may be determined. The same type of work includes not only completely identical work but also work belonging to the same category when the work is classified into a plurality of categories. When there are a plurality of tasks of the same type as the extracted tasks among the tasks to be performed in the future, the server CPU 410 determines a task with the highest priority among the plurality of tasks as the second task. The work with the highest priority is the work set in the earliest time zone, the work with the highest priority set in advance, or the like.

サーバＣＰＵ４１０は、同種類に属する過去の複数の作業に対するユーザ状況の変移に応じて、第２の作業を決定するようにしてもよい。具体的には、まず、サーバＣＰＵ４１０は、作業ログに記録されている各種類に属する複数の作業の履歴をそれぞれ確認する。そして、サーバＣＰＵ４１０は、前々回の作業時の集中度よりも前回の作業時のモチベーションの度合いまたは集中度が高くなっている種類がある場合には、ユーザは同種類の作業を前回より高いモチベーションまたは集中度で行うことができると推定し、今後行うべき作業のうちから当該種類に属する作業を第２の作業として決定する。ただし、前回の作業時の集中度が閾値未満である場合には、サーバＣＰＵ４１０は当該種類を候補から除外する。なお、この場合の閾値として、過去のモチベーションの度合いまたは集中度の平均値より低い値（例えば、平均値に対してマイナス３０％した値）が設定される。   The server CPU 410 may determine the second work in accordance with the change of the user situation with respect to a plurality of past works belonging to the same type. Specifically, first, the server CPU 410 confirms a plurality of work histories belonging to each type recorded in the work log. Then, when there is a type in which the degree of motivation or concentration at the previous work is higher than the concentration at the previous work, the server CPU 410 performs the same type of work at a higher motivation or It is estimated that the task can be performed with the degree of concentration, and the task belonging to the type is determined as the second task among the tasks to be performed in the future. However, if the concentration during the previous work is less than the threshold, the server CPU 410 excludes the type from the candidates. In this case, as the threshold value, a value lower than the average value of the past degree of motivation or concentration (for example, a value minus 30% with respect to the average value) is set.

サーバＣＰＵ４１０は、上述の第１実施形態と同様に、記録装置４１３に記録されている作業ログから作業のモチベーションまたは集中度が高い時間帯とモチベーションまたは集中度が低い時間帯とを確認し、第１の作業を作業の集中度が高い時間帯に変更する。そして、サーバＣＰＵ４１０は、作業の順番を変更した新たなスケジュールを作成する。   As in the first embodiment described above, the server CPU 410 confirms a time zone in which the motivation or concentration level of work is high and a time zone in which the motivation level or concentration level is low from the work log recorded in the recording device 413. Change the work 1 to a time zone when the work concentration is high. Then, the server CPU 410 creates a new schedule in which the work order is changed.

サーバＣＰＵ４１０は、ステップＳ２１０で作成したスケジュールの情報を、外部接続インターフェイス４１７を介してパソコン２００に送信する（ステップＳ２１２）。なお、本実施形態において、サーバＣＰＵ４１０および外部接続インターフェイス４１７が第２の作業に関する情報を出力する出力部として機能する。   The server CPU 410 transmits the schedule information created in step S210 to the personal computer 200 via the external connection interface 417 (step S212). In the present embodiment, the server CPU 410 and the external connection interface 417 function as an output unit that outputs information related to the second work.

サーバ４００からスケジュールの情報を取得したパソコンＣＰＵ２１０は、取得したスケジュールをユーザに提示し、作業の順番を変更するかどうかをユーザに問い合わせる。パソコンＣＰＵ２１０は、スピーカ２０６から音声を出力してユーザの注意を喚起し、現在行っている第１の業務に代えて行う第２の業務の情報をディスプレイ２０１に表示するとともに、第１の業務を行う日時を表示する。   The personal computer CPU 210 that has acquired the schedule information from the server 400 presents the acquired schedule to the user and inquires of the user whether or not to change the order of work. The personal computer CPU 210 outputs a sound from the speaker 206 to alert the user, displays information on the second task to be performed instead of the first task currently being performed on the display 201, and performs the first task. Displays the date and time to be performed.

そして、パソコンＣＰＵ２１０は、作業の順番変更に同意する旨のユーザの入力をキーボード２０２、タッチパッド２０３、マウス３００等で受け付けた場合、またはユーザが発した「はい」、「ＯＫ」等の同意する旨の音声をマイク２０７で受け付けた場合には、パソコンＣＰＵ２１０は、作業の順番変更に同意する旨の情報を、外部接続インターフェイス２１６を介してサーバ４００に送信する。   Then, the personal computer CPU 210 accepts the user's input for agreeing to change the order of work with the keyboard 202, the touch pad 203, the mouse 300, or the like, or agrees “Yes”, “OK”, etc. issued by the user. When the voice to that effect is received by the microphone 207, the personal computer CPU 210 transmits information to the server 400 via the external connection interface 216 that agrees to change the work order.

サーバＣＰＵ４１０は、作業の順番変更に同意する旨の情報を取得したか否かを判断する（ステップＳ２１３）。サーバＣＰＵ４１０は、作業の順番変更に同意する旨の情報を取得した場合に、記録装置４１３に記憶されているスケジュール情報を変更し（ステップＳ２１４）、本フローチャートを終了する。一方、サーバＣＰＵ４１０は、作業の順番変更に同意する旨の情報を取得しなかった場合には、本フローチャートを終了する。なお、フローチャートの終了に代えて、ステップＳ２０１へ戻るようにしても良い。   The server CPU 410 determines whether or not information indicating that the order of work has been agreed has been acquired (step S213). When the server CPU 410 obtains the information indicating that the work order is agreed, the server CPU 410 changes the schedule information stored in the recording device 413 (step S214), and ends this flowchart. On the other hand, if the server CPU 410 has not acquired information indicating that the order of work has been agreed, the process of the flowchart ends. Note that instead of ending the flowchart, the process may return to step S201.

上述の処理フローにおいては、サーバＣＰＵ４１０は、ユーザのパソコン２００に対して作業の順番を変更したスケジュールの情報を送信したが、ユーザの上司のパソコンに対してユーザの作業の順番を変更したスケジュールの情報を送信してもよい。なお、サーバＣＰＵ４１０は、ユーザの上司のパソコンから作業の順番変更に同意する旨の情報を取得した場合には、作業の順番を変更したスケジュールの情報をユーザのパソコン２００に送信する。   In the processing flow described above, the server CPU 410 transmits schedule information for changing the order of work to the user's personal computer 200. Information may be transmitted. Note that when the server CPU 410 obtains information that agrees to change the work order from the user's boss's personal computer, the server CPU 410 transmits information on the schedule whose work order has been changed to the user's personal computer 200.

また、上述の処理フローにおいては、オフィス内のビジネスの場面を想定して説明したが、状況判別システム１２０の適用範囲はこれに限らない。例えば、状況判別システム１２０を在宅勤務に適用したり、学生・受験生の学習科目のスケジュール変更に適用したりすることもできる。   Moreover, although the above-described processing flow has been described assuming a business scene in the office, the scope of application of the situation determination system 120 is not limited to this. For example, the situation determination system 120 can be applied to work from home, or can be applied to change the schedule of learning subjects for students and examinees.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

１１０ 状況判別システム、１２０ 状況判別システム、２００ パソコン、２０１ ディスプレイ、２０２ キーボード、２０３ タッチパッド、２０４ 内蔵カメラ、２０５ 超音波センサ、２０６ スピーカ、２０７ マイク、２０８ 圧電センサ、２１０ パソコンＣＰＵ、２１１ タイマー、２１２ ＲＯＭ、２１３ 音声解析部、２１４ 画像解析部、２１５ スケジュール作成部、２１６ 外部接続インターフェイス、３００ マウス、３１０ 床センサ、３２０ 天井カメラ、３３０ 天井マイク、３４０ 生体センサ、４００ サーバ、４１０ サーバＣＰＵ、４１１ タイマー、４１２ ＲＯＭ、４１３ 記録装置、４１４ 音声解析部、４１５ 画像解析部、４１６ スケジュール作成部、４１７ 外部接続インターフェイス、５００ ネットワーク 110 Situation Discrimination System, 120 Situation Discrimination System, 200 Personal Computer, 201 Display, 202 Keyboard, 203 Touchpad, 204 Built-in Camera, 205 Ultrasonic Sensor, 206 Speaker, 207 Microphone, 208 Piezoelectric Sensor, 210 Personal Computer CPU, 211 Timer, 212 ROM, 213 Audio analysis unit, 214 Image analysis unit, 215 Schedule creation unit, 216 External connection interface, 300 mouse, 310 floor sensor, 320 ceiling camera, 330 ceiling microphone, 340 biometric sensor, 400 server, 410 server CPU, 411 timer 412 ROM, 413 recording device, 414 audio analysis unit, 415 image analysis unit, 416 schedule creation unit, 417 external connection interface, 500 network Work

Claims (17)

使用者に関する記録を行う記録部と、
前記使用者が第１の作業を行っているときの前記使用者の生体に関する情報を入力する入力部と、
前記生体に関する情報と前記記録部の記録とに基づいて、前記第１の作業と異なる第２の作業に関する情報を出力する出力部と
を備える電子機器。 A recording unit for recording about the user;
An input unit for inputting information on the user's living body when the user is performing the first work;
An electronic apparatus comprising: an output unit that outputs information related to a second work different from the first work based on the information related to the living body and the recording of the recording unit. 前記出力部は、前記第１の作業を行う日時に関する情報を出力する請求項１に記載の電子機器。   The electronic device according to claim 1, wherein the output unit outputs information related to a date and time when the first work is performed. 前記入力部は、前記使用者が前記第１の作業を行っているときの作業量に関する情報を入力する請求項１または２に記載の電子機器。   The electronic device according to claim 1, wherein the input unit inputs information relating to a work amount when the user is performing the first work. 前記使用者の環境を制御する環境制御部を備える請求項１から３のいずれか１項に記載の電子機器。   The electronic device of any one of Claim 1 to 3 provided with the environment control part which controls the said user's environment. 前記環境制御部は、前記使用者の周辺の音を検出して検出音を低減する低減装置を制御する請求項４に記載の電子機器。   The electronic device according to claim 4, wherein the environment control unit controls a reduction device that detects sounds around the user and reduces detection sounds. 前記低減装置は、
前記周辺の音を検出する無指向性マイクと、
前記使用者の方向に対して指向性を有し、前記検出音を低減する指向性スピーカと
を有する請求項５に記載の電子機器。 The reducing device is
An omnidirectional microphone for detecting the surrounding sound;
The electronic apparatus according to claim 5, further comprising a directional speaker that has directivity with respect to the direction of the user and reduces the detection sound. 前記出力部は、前記第１の作業を行っている時間に基づいて、前記第２の作業を出力する請求項１から６のいずれか１項に記載の電子機器。   The electronic device according to claim 1, wherein the output unit outputs the second work based on a time during which the first work is performed. 前記使用者の状況を判定する判定部を備え、
前記出力部は、前記判定部の判定結果に基づいて前記第２の作業を出力する請求項１から７のいずれか１項に記載の電子機器。 A determination unit for determining the situation of the user;
The electronic device according to claim 1, wherein the output unit outputs the second work based on a determination result of the determination unit. 前記入力部は、前記使用者が前記第１の作業を行っているときの前記使用者の声および表情の少なくとも一方を入力する請求項１から８のいずれか１項に記載の電子機器。   The electronic device according to claim 1, wherein the input unit inputs at least one of a voice and a facial expression of the user when the user is performing the first work. 前記入力部は、使用者の方向に対して指向性を有し且つ前記使用者の声を入力する指向性マイクを有する請求項９に記載の電子機器。   The electronic device according to claim 9, wherein the input unit includes a directional microphone that has directivity with respect to the direction of the user and inputs the voice of the user. 特定の方向に対して指向性を有し、使用者の音を集音する指向性マイクと、
特定の方向に対して指向性を有し、前記使用者に対して音を出力可能な指向性スピーカと、
前記使用者が作業を行っているときに前記指向性マイクで集音した前記使用者の音に基づいて、前記指向性スピーカを制御する制御部と
を備える電子機器。 A directional microphone that has directivity in a specific direction and collects the user's sound;
A directional speaker having directivity in a specific direction and capable of outputting sound to the user;
An electronic apparatus comprising: a control unit that controls the directional speaker based on the sound of the user collected by the directional microphone when the user is working. 前記使用者の音に基づいて、前記使用者の状況を判定する判定部を備え、
前記制御部は、前記判定部の判定結果に基づいて前記指向性スピーカを制御する請求項１１に記載の電子機器。 Based on the sound of the user, a determination unit that determines the status of the user,
The electronic device according to claim 11, wherein the control unit controls the directional speaker based on a determination result of the determination unit. 前記使用者が音に関する情報を登録する登録部を備え、
前記制御部は、前記登録部に登録された情報に基づいて前記指向性スピーカを制御する請求項１１または１２に記載の電子機器。 The user comprises a registration unit for registering information about sound,
The electronic device according to claim 11, wherein the control unit controls the directional speaker based on information registered in the registration unit. 前記指向性スピーカの前記指向性に関連する状況を検知する検知部を備え、
前記制御部は、前記検知部の検知結果に基づいて、前記指向性スピーカの出力音圧および出力音量の少なくとも一方を制御する請求項１１から１３のいずれか１項に記載の電子機器。 A detector that detects a situation related to the directivity of the directional speaker;
The electronic device according to claim 11, wherein the control unit controls at least one of an output sound pressure and an output volume of the directional speaker based on a detection result of the detection unit. 前記検知部が前記指向性スピーカの前記指向性に関連して前記使用者以外の者を検知した場合に、前記制御部は、前記指向性スピーカの出力音圧および出力音量の少なくとも一方の設定を変更する請求項１４に記載の電子機器。   When the detection unit detects a person other than the user in relation to the directivity of the directional speaker, the control unit sets at least one of the output sound pressure and the output volume of the directional speaker. The electronic device according to claim 14 to be changed. 使用者に関する記録を記録部に行う記録ステップと、
前記使用者が第１の作業を行っているときの前記使用者の生体に関する情報を入力する入力ステップと、
前記生体に関する情報と前記記録部の記録とに基づいて、前記第１の作業と異なる第２の作業に関する情報を出力する出力ステップと
をコンピュータに実行させる電子機器の制御プログラム。 A recording step for recording the user in the recording unit;
An input step for inputting information on the living body of the user when the user is performing a first operation;
An electronic device control program that causes a computer to execute an output step of outputting information related to a second work different from the first work based on the information related to the living body and the recording of the recording unit. 特定の方向に対して指向性を有し、使用者の音を集音する指向性マイク、および特定の方向に対して指向性を有し、前記使用者に対して音を出力可能な指向性スピーカを備える電子機器の制御プログラムであって、
前記使用者が作業を行っているときに前記指向性マイクで集音した前記使用者の音に基づいて、前記指向性スピーカを制御する制御ステップ
をコンピュータに実行させる電子機器の制御プログラム。 Directional microphone that has directivity in a specific direction and collects user's sound, and directivity that has directivity in a specific direction and can output sound to the user A control program for an electronic device including a speaker,
An electronic device control program that causes a computer to execute a control step of controlling the directional speaker based on the sound of the user collected by the directional microphone while the user is working.
JP2011098197A 2011-04-26 2011-04-26 Electronic apparatus and control program for electronic apparatus Withdrawn JP2012230534A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011098197A JP2012230534A (en) 2011-04-26 2011-04-26 Electronic apparatus and control program for electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011098197A JP2012230534A (en) 2011-04-26 2011-04-26 Electronic apparatus and control program for electronic apparatus

Publications (1)

Publication Number Publication Date
JP2012230534A true JP2012230534A (en) 2012-11-22

Family

ID=47432033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011098197A Withdrawn JP2012230534A (en) 2011-04-26 2011-04-26 Electronic apparatus and control program for electronic apparatus

Country Status (1)

Country Link
JP (1) JP2012230534A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014097611A1 (en) * 2012-12-21 2014-06-26 パナソニック株式会社 Vibration control device, touch panel input device, and vibration control method
JP2020013308A (en) * 2018-07-18 2020-01-23 日本電気株式会社 Apparatus, system, method and program for managing employees
JP2020086592A (en) * 2018-11-16 2020-06-04 国立大学法人秋田大学 Method of estimating task contents and concentration state of worker who uses information device to perform task
WO2022269709A1 (en) * 2021-06-21 2022-12-29 日本電信電話株式会社 Data processing device, data processing method, and data processing program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014097611A1 (en) * 2012-12-21 2014-06-26 パナソニック株式会社 Vibration control device, touch panel input device, and vibration control method
CN104885040A (en) * 2012-12-21 2015-09-02 松下电器（美国）知识产权公司 Vibration control device, touch panel input device, and vibration control method
JP2020013308A (en) * 2018-07-18 2020-01-23 日本電気株式会社 Apparatus, system, method and program for managing employees
JP2020086592A (en) * 2018-11-16 2020-06-04 国立大学法人秋田大学 Method of estimating task contents and concentration state of worker who uses information device to perform task
JP7226707B2 (en) 2018-11-16 2023-02-21 国立大学法人秋田大学 Method for estimating work content and concentration state of workers who work using information equipment
WO2022269709A1 (en) * 2021-06-21 2022-12-29 日本電信電話株式会社 Data processing device, data processing method, and data processing program

Similar Documents

Publication Publication Date Title
US10448139B2 (en) Selective sound field environment processing system and method
JP6484317B2 (en) Speech recognition system, speech recognition device, and speech recognition method
KR102516577B1 (en) Voice trigger for a digital assistant
JP2012230535A (en) Electronic apparatus and control program for electronic apparatus
EP3418008A1 (en) Communication device, communication robot and computer-readable storage medium
US20150168996A1 (en) In-ear wearable computer
JP2022529783A (en) Input identification for speech recognition engine
CN111475206B (en) Method and apparatus for waking up wearable device
TWI711942B (en) Adjustment method of hearing auxiliary device
JP2012230534A (en) Electronic apparatus and control program for electronic apparatus
US11895474B2 (en) Activity detection on devices with multi-modal sensing
Khanna et al. JawSense: recognizing unvoiced sound using a low-cost ear-worn system
JP2019068153A (en) Information processing method, information processing unit and information processing program
WO2016206647A1 (en) System for controlling machine apparatus to generate action
WO2019235190A1 (en) Information processing device, information processing method, program, and conversation system
JP2018075657A (en) Generating program, generation device, control program, control method, robot device and telephone call system
JP7056020B2 (en) Information processing equipment and programs
JP7435641B2 (en) Control device, robot, control method and program
WO2021051403A1 (en) Voice control method and apparatus, chip, earphones, and system
JP2018001387A (en) Robot, program, robot system, and server
JP7324224B2 (en) Conference support system
US20210392427A1 (en) Systems and Methods for Live Conversation Using Hearing Devices
KR101757426B1 (en) Hairwear having voice recording function and user emotion recognition system using the same
CN111401912A (en) Mobile payment method, electronic device and storage medium
AU2022224773A1 (en) Voice trigger for a digital assistant

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140701