JP2012178621A - Video telephone apparatus - Google Patents

Video telephone apparatus Download PDF

Info

Publication number
JP2012178621A
JP2012178621A JP2011039166A JP2011039166A JP2012178621A JP 2012178621 A JP2012178621 A JP 2012178621A JP 2011039166 A JP2011039166 A JP 2011039166A JP 2011039166 A JP2011039166 A JP 2011039166A JP 2012178621 A JP2012178621 A JP 2012178621A
Authority
JP
Japan
Prior art keywords
video
mode
call
user
hold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011039166A
Other languages
Japanese (ja)
Inventor
Shinji Takuno
慎二 宅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2011039166A priority Critical patent/JP2012178621A/en
Publication of JP2012178621A publication Critical patent/JP2012178621A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To automatically switch between a speech mode and a holding mode in a video telephone apparatus without requiring user's operation or intentional operation.SOLUTION: A video telephone apparatus 100A which transmits a voice inputted from a microphone 120 and an image taken by a camera 140 to a telephone call destination by communication control means 111 is provided with: human body detection means 170 which detects the presence of a user during communication; and telephone call mode control means 115 which when the human body detection means detects change in presence or absence of the user, performs switch control between the speech mode of transmitting the voice and image to the telephone call destination and the holding mode of not transmitting the voice and image to the telephone call destination.

Description

本発明は、IP電話網等に接続されて音声及び映像の送受信を行うテレビ電話装置に関し、特に、マイクから入力された音声とカメラで撮影された映像を通話相手先に送信する通話モードと、音声と映像を通話相手先に送信しない保留モードと、を備えたテレビ電話装置に関する。   The present invention relates to a videophone device that is connected to an IP telephone network or the like and transmits and receives audio and video, and in particular, a call mode that transmits audio input from a microphone and video captured by a camera to a call partner, The present invention relates to a videophone device having a hold mode in which audio and video are not transmitted to a call partner.

一般に、テレビ電話装置では通信中に通話を保留する機能、つまり音声保留機能や映像保留機能が採用されている。音声保留機能は、通信中に利用者が保留操作を行った場合に、マイクから入力される音声を通話相手先に送信するのをやめ、代わりに所定の音声メッセージを通話相手先に送信するものである。また、映像保留機能は、通信中に利用者が保留操作を行った場合に、カメラにおいて撮影された映像を通話相手先に送信するのをやめ、代わりに所定の映像或いは画像メッセージを通話相手先に送信するものである。   In general, a video phone apparatus employs a function for holding a call during communication, that is, a voice hold function and a video hold function. The voice hold function stops sending voice input from the microphone to the call partner when a user performs a hold operation during communication, and sends a predetermined voice message to the call partner instead. It is. In addition, the video hold function stops sending the video captured by the camera to the call partner when the user performs a hold operation during communication, and instead sends a predetermined video or image message to the call partner. To send to.

例えば、下記特許文献1(特開2002−27418号公報)は、利用者が装置の操作部を操作することによって保留モードに設定された際に、所定のサービスプロバイダに接続して画像をダウンロードし、通話保留画像としてメモリに保存し、通話相手先に送信するテレビ電話装置を開示している。   For example, Patent Document 1 (Japanese Patent Laid-Open No. 2002-27418) described below downloads an image by connecting to a predetermined service provider when the user sets the hold mode by operating the operation unit of the apparatus. In addition, a videophone device is disclosed that is stored in a memory as a call hold image and transmitted to a call partner.

下記特許文献1のテレビ電話装置では、通話モードから保留モードに切替えるためには利用者が操作部を操作することが必要であり、保留モードを解除して通話モードに切替えるためにも利用者が操作部を操作することが必要であった。   In the videophone device of Patent Document 1 below, the user needs to operate the operation unit to switch from the call mode to the hold mode, and the user can also cancel the hold mode and switch to the call mode. It was necessary to operate the operation unit.

そこで、下記特許文献2(特開2005−277780号公報)は、カメラによって撮影した映像の明るさを予め定めた値と比較することによりカメラが手等によって覆われたことを検出し、通話モードから保留モードに切替えるテレビ電話装置を開示している。このテレビ電話装置によれば、保留モードに切替えるために利用者が操作ボタン等を操作する必要がなく、カメラを手で覆うだけで保留モードに移行することができるようになる。   Therefore, Patent Document 2 (Japanese Patent Application Laid-Open No. 2005-277780) described below detects that the camera is covered with a hand or the like by comparing the brightness of an image captured by the camera with a predetermined value, and a call mode. Discloses a videophone device for switching to a hold mode. According to this videophone device, it is not necessary for the user to operate an operation button or the like to switch to the hold mode, and it is possible to shift to the hold mode simply by covering the camera with a hand.

また、下記特許文献3(特開2006−191174号公報)は、CCD素子を含む撮像部によって通話装置を取り巻く周囲の映像を取得し、周囲の明るさが変化したことを検出した場合に他のテレビ電話装置との通話を保留モードに切替える通話装置を開示している。   Further, the following Patent Document 3 (Japanese Patent Laid-Open No. 2006-191174) obtains a surrounding image surrounding a communication device by an imaging unit including a CCD element, and detects other changes in ambient brightness. A communication device that switches a call with a videophone device to a hold mode is disclosed.

特開2002−27418号公報JP 2002-27418 A 特開2005−277780号公報JP 2005-277780 A 特開2006−191174号公報JP 2006-191174 A

上記に説明したように、上記特許文献1のテレビ電話装置では、通話モードから保留モードへ切替えるためには利用者が操作部を操作することが必要であった。上記特許文献2のテレビ電話装置では、通話モードから保留モードへ切替えるために利用者は操作部を操作する必要はないが、その一方でカメラを手で覆う等の意図的動作をとらなければならなかった。さらに、上記特許文献3のテレビ電話装置では、部屋の照明が暗くなった際に保留モードに自動的に切替わるので、利用者は操作部を操作する必要はなくなるが、部屋の照明が暗くなったりしない通常の通話時に保留モードに切替えるためには、利用者は操作部を何らかの方法で操作することがやはり必要であった。   As described above, in the videophone device of Patent Document 1, it is necessary for the user to operate the operation unit in order to switch from the call mode to the hold mode. In the videophone device of Patent Document 2, the user does not need to operate the operation unit in order to switch from the call mode to the hold mode, but on the other hand, an intentional operation such as covering the camera with a hand must be taken. There wasn't. Further, in the videophone device disclosed in Patent Document 3, since the room is automatically switched to the hold mode when the room illumination becomes dark, the user does not need to operate the operation unit, but the room illumination becomes dark. In order to switch to the hold mode during a normal call that does not occur, it is still necessary for the user to operate the operation unit in some way.

つまり、上記特許文献1〜3のテレビ電話装置のいずれにおいても、通話モードから保留モードへ切替えるためには利用者が何らかの操作や意図的な動作をする必要があった。もしそのような操作や動作をせずにテレビ電話の前から離席してしまった場合には、マイクから入力される周囲の音声やカメラによって撮影される周囲の映像が通話相手先に送信され続けてしまい、テレビ電話周囲の情報が漏洩し、利用者に不利益をもたらすという問題があった。   That is, in any of the videophone devices disclosed in Patent Documents 1 to 3, it is necessary for the user to perform some operation or intentional operation in order to switch from the call mode to the hold mode. If you leave the front of the videophone without performing such operations or actions, the surrounding audio input from the microphone and the surrounding video captured by the camera are sent to the other party. There was a problem that the information around the video phone was leaked and the user was disadvantaged.

そこで、本発明の目的は、マイクから入力された音声やカメラで撮影した映像を通話相手先に送信する通話モードと、それら音声や映像を通話相手先に送信しない保留モードとの切替えを、利用者の操作や意図的動作を求めることなく自動的に行うことができるテレビ電話装置を提供することである。   Therefore, an object of the present invention is to use switching between a call mode in which audio input from a microphone or video captured by a camera is transmitted to a call partner and a hold mode in which the sound or video is not transmitted to the call partner. It is an object of the present invention to provide a videophone device that can be automatically performed without requiring a user's operation or intentional operation.

上記課題を解決するために、本発明のテレビ電話装置は、マイクから入力された音声とカメラによって撮影された映像を通信制御手段によって通話相手先に送信するテレビ電話装置であって、前記テレビ電話装置は、通信中に利用者の存在を検出する人体検出手段と、前記人体検出手段によって利用者の存在の有無の変化を検出した際に、前記音声と前記映像を前記通話相手先に送信する通話モードと、前記音声と前記映像を前記通話相手先に送信しない保留モードと、を切替え制御する通話モード制御手段と、を備えることを特徴とする。   In order to solve the above-mentioned problems, a videophone device according to the present invention is a videophone device that transmits audio input from a microphone and video captured by a camera to a communication partner by means of communication control means, and the videophone The apparatus transmits the voice and the video to the call partner when the human body detecting means for detecting the presence of the user during communication and a change in presence or absence of the user by the human body detecting means are detected. Call mode control means for switching and controlling a call mode and a hold mode in which the voice and the video are not transmitted to the call partner.

また、上記テレビ電話装置の発明の一態様は、前記通話モードの間に、前記人体検出手段が利用者の不在を検出すると、前記通話モード制御手段が前記通話モードから前記保留モードに切替え制御し、前記保留モードの間に、前記人体検出手段が利用者の存在を検出すると、前記通話モード制御手段が前記保留モードから前記通話モードに切替え制御することを特徴とする。   In addition, according to an aspect of the invention of the videophone device, when the human body detection unit detects the absence of a user during the call mode, the call mode control unit performs switching control from the call mode to the hold mode. When the human body detecting means detects the presence of a user during the hold mode, the call mode control means controls to switch from the hold mode to the call mode.

また、上記テレビ電話装置の発明の一態様は、前記通話モード制御手段が、前記保留モードの間に、前記マイクから入力された音声に代えて所定の保留メッセージと、前記カメラによって撮影された映像に代えて所定の保留映像又は保留画像の少なくとも一つを前記通信制御手段によって前記通話相手先に送信させることを特徴とする。   In addition, according to an aspect of the invention of the videophone device, the call mode control unit may include a predetermined hold message instead of the voice input from the microphone and a video shot by the camera during the hold mode. Instead, at least one of a predetermined hold video or hold image is transmitted to the call partner by the communication control means.

また、上記テレビ電話装置の発明の一態様において、前記テレビ電話装置は前記カメラによって撮影された映像に人物の顔が含まれているか否かを判定する映像判定手段を備え、前記人体検出手段が、前記カメラと前記映像判定手段によって構成され、前記映像判定手段が前記カメラによって撮影された映像に人物の顔が含まれていると判定した場合に利用者の存在を検出し、人物の顔が含まれていないと判定した場合に利用者の不在を検出することを特徴とする。   In the videophone device according to the aspect of the invention, the videophone device further includes a video determination unit that determines whether or not a human face is included in the video shot by the camera, and the human body detection unit includes: , Comprising the camera and the video determination means, and when the video determination means determines that a human face is included in the video taken by the camera, the presence of the user is detected and the human face is detected. The absence of the user is detected when it is determined that it is not included.

また、上記テレビ電話装置の発明の一態様において、前記テレビ電話装置は記憶部を備え、前記映像判定手段は前記通話モードの間に前記カメラによって撮影された映像から利用者の顔の情報を取得して前記記憶部に登録し、前記保留モードの間に前記映像判定手段が前記カメラによって撮影された映像に人物の顔が含まれていると判定した場合には、前記保留モードの間に撮影された映像に含まれる顔の情報と、前記記憶部に登録された顔の情報とを比較することによって同一の利用者か否かを判定し、同一の利用者の場合には、前記通話モード制御手段が保留モードから通話モードに切替え制御することを特徴とする。   In the videophone device according to the aspect of the invention, the videophone device may include a storage unit, and the video determination unit may acquire information about a user's face from video captured by the camera during the call mode. If the video determination means determines that a human face is included in the video shot by the camera during the hold mode, the video is shot during the hold mode. It is determined whether or not they are the same user by comparing the face information included in the recorded video and the face information registered in the storage unit, and in the case of the same user, the call mode The control means controls switching from the hold mode to the call mode.

また、上記テレビ電話装置の発明の一態様において、前記テレビ電話装置は入力部を備えており、通話モード制御手段は前記保留モードの間に前記入力部の操作を受付けないようにすることを特徴とする。   In the video phone device according to the aspect of the invention, the video phone device includes an input unit, and the call mode control unit is configured not to accept the operation of the input unit during the hold mode. And

また、上記テレビ電話装置の発明の一態様において、前記人体検出手段が人感センサであることを特徴とする。   In the aspect of the invention of the videophone device, the human body detecting means is a human sensor.

本発明は、以下に説明する優れた効果を発揮する。すなわち、本発明のテレビ電話装置は、マイクから入力された音声やカメラで撮影した映像を通話相手先に送信する通話モードと、それら音声や映像を通話相手先に送信しない保留モードとを切替え制御する切替えるタイミングを、人体検出手段による利用者の存在の有無の変化に基づいて行うことができるようになる。これにより、利用者が保留や通話再開等の切替え操作を行わずとも自動的に通話モードの切替えを行うことができるようになり、操作が簡単になる。さらに、利用者の存在の有無に基づいて通話モードの切替えが行われるようになるため、周囲の環境に依存せず(例えば、周囲が暗くなる等の変化に依存せず)実際の利用者の意向に沿った通話モードの切替えを行うことができるようになる。   The present invention exhibits the excellent effects described below. In other words, the videophone device of the present invention switches between a call mode in which audio input from a microphone or video captured by a camera is transmitted to a call partner and a hold mode in which the sound or video is not transmitted to the call partner. The switching timing to be performed can be performed based on the change in the presence or absence of the user by the human body detection means. As a result, the user can automatically switch the call mode without performing a switching operation such as holding or resuming the call, and the operation is simplified. Furthermore, since the call mode is switched based on the presence / absence of the user, it does not depend on the surrounding environment (for example, it does not depend on changes such as darkening of the surroundings) The call mode can be switched according to the intention.

また、本発明のテレビ電話装置の一態様によれば、通話モード中に利用者の不在を検出した場合に通話モードから保留モードに切替え制御され、保留モード中に利用者の存在を検出した場合に保留モードから通話モードに切替え制御される。このように、利用者がテレビ電話装置から離れた際に自動的に保留モードになるので、利用者が離席した間にカメラで撮影される映像やマイクから入力される音声から周囲の情報が通話相手先に送信されることによって情報が漏洩し、利用者に不利益をもたらすことを防止することが可能となる。   Further, according to one aspect of the videophone device of the present invention, when the absence of a user is detected during the call mode, the control is switched from the call mode to the hold mode, and the presence of the user is detected during the hold mode. The control is switched from the hold mode to the call mode. In this way, when the user leaves the videophone device, it automatically enters the hold mode, so surrounding information can be obtained from the video captured by the camera and the audio input from the microphone while the user is away from the desk. It is possible to prevent information from being leaked by being transmitted to the other party and causing a disadvantage to the user.

また、本発明のテレビ電話装置の一態様によれば、保留モード中に所定の保留メッセージ(音声、映像、画像)を送信することで、利用者が離席していることを通話相手先に知らせることができる。   Further, according to one aspect of the videophone device of the present invention, a predetermined hold message (sound, video, image) is transmitted during the hold mode, so that the other party is notified that the user is away. I can inform you.

また、本発明のテレビ電話装置の一態様によれば、人体検出手段を、カメラと映像判定手段によって構成している。映像判定手段はカメラで撮影した映像に人物の顔が含まれているか否かを検出(顔検出)し、顔を検出すれば利用者が存在しているとみなし、顔が検出されなければ利用者が離席しているとみなし、通話モード制御手段がそれぞれの状況に応じて通話モードから保留モード、保留モードから通話モードへの切替え制御を行う。これにより、利用者がテレビ電話のカメラに相対して通話しようとしている状態とそうでない状態とに基づいて通話モードの切替え制御を行うことができるようになる。   Further, according to one aspect of the videophone device of the present invention, the human body detection means is constituted by the camera and the video determination means. The video judging means detects whether or not a human face is included in the video shot by the camera (face detection). If a face is detected, it is assumed that the user is present, and if no face is detected, it is used. The call mode control means performs switching control from the call mode to the hold mode and from the hold mode to the call mode according to each situation. As a result, it is possible to perform call mode switching control based on the state in which the user is trying to talk to the camera of the videophone and the state in which it is not.

また、本発明のテレビ電話装置の一態様によれば、通話モードの間にカメラで利用者の顔を撮影して記憶部に登録しておき、保留モード中にカメラの前に人がやって来てその人の顔がカメラで撮影された場合に、その人が以前の通話モードの際にテレビ電話を利用していた人か否かを判定することができるようになる。当人であれば保留モードから通話モード切替え制御され、当人以外の人であれば保留モードは解除されない。これにより、所定の利用者のみがカメラに移った場合にのみ通話モードの切替えが行われるようになるので、例えば、カメラの前を別の人が通ったり、或いは近くの人の顔がカメラによって撮影されたりしただけで通話モードの切替えが行われてしまうという不都合を解消することが可能となる。   Also, according to one aspect of the videophone device of the present invention, the user's face is photographed with the camera during the call mode and registered in the storage unit, and a person comes in front of the camera during the hold mode. When the person's face is photographed by the camera, it is possible to determine whether or not the person has been using the videophone in the previous call mode. If it is a person, the call mode switching control is performed from the hold mode, and if it is a person other than the person, the hold mode is not released. As a result, the call mode is switched only when only a predetermined user moves to the camera. For example, another person passes in front of the camera, or the face of a nearby person is captured by the camera. It is possible to eliminate the inconvenience that the call mode is switched only by shooting.

また、本発明のテレビ電話装置の一態様によれば、保留モード中は入力部からの操作を受付けないようになるので、以前の通話モードの際の利用者以外の人が電話機を操作して電話帳や着信履歴、メール等の個人情報を盗み見ることができないようにできる。   Also, according to one aspect of the videophone device of the present invention, the operation from the input unit is not accepted during the hold mode, so that a person other than the user in the previous call mode operates the phone. It is possible to prevent personal information such as a phone book, incoming call history, and mail from being seen.

また、本発明のテレビ電話装置の一態様によれば、人体検出手段が人感センサの形態をとるので、周囲の状況の変化ではなく利用者が存在するか否かの変化によって通話モードと保留モードの切替え制御を行うことが可能となる。   In addition, according to one aspect of the videophone device of the present invention, the human body detecting means takes the form of a human sensor, so that the call mode and the hold are determined not by a change in the surrounding situation but by a change in whether or not a user exists. It becomes possible to perform mode switching control.

実施例1のテレビ電話装置の内部ブロック図を示す。1 is an internal block diagram of a videophone device according to Embodiment 1. FIG. 実施例1のテレビ電話装置の通話モード切替え動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of a call mode switching operation of the videophone device according to the first embodiment. 実施例2のテレビ電話装置の内部ブロック図を示す。The internal block diagram of the video telephone apparatus of Example 2 is shown. 実施例3のテレビ電話装置の内部ブロック図を示す。The internal block diagram of the video telephone apparatus of Example 3 is shown. 実施例3のテレビ電話装置の通話モード切替え動作の他の例を示すフローチャートである。12 is a flowchart illustrating another example of the call mode switching operation of the videophone device according to the third embodiment.

以下、本願発明を実施するための最良の形態を実施例及び図面を参照して詳細に説明する。ただし、以下に示す実施例は、本発明の技術思想を具体化するためのテレビ電話装置を例示して説明するものであって、本発明をこのテレビ電話装置に特定することを意図するものではなく特許請求の範囲に示した技術思想を逸脱することなくその他のテレビ電話装置にも等しく適用し得るものである。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to examples and drawings. However, the following embodiments are described by exemplifying a videophone device for embodying the technical idea of the present invention, and are not intended to specify the present invention as this videophone device. The present invention is equally applicable to other videophone devices without departing from the technical idea described in the claims.

図1は、実施例1のテレビ電話装置100Aの内部ブロック図を示す。実施例1のテレビ電話装置100Aは、制御部110、マイク120、スピーカ130、カメラ140、表示部150、入力部160、人感センサ170、メモリ180を備えて構成される。   FIG. 1 is an internal block diagram of the videophone device 100A according to the first embodiment. The videophone device 100A according to the first embodiment includes a control unit 110, a microphone 120, a speaker 130, a camera 140, a display unit 150, an input unit 160, a human sensor 170, and a memory 180.

制御部110は、CPU、RAM、ROM(それぞれ図示せず)を備えて構成されるマイクロプロセッサであり、RAMやROMに記憶された制御プログラムをCPUにおいて実行することにより、以下に説明する各手段の動作を制御・統括する。   The control unit 110 is a microprocessor including a CPU, a RAM, and a ROM (each not shown), and each means described below is executed by executing a control program stored in the RAM or ROM in the CPU. Control and control the operation of

制御部110は、以下の機能を備えている。つまり、通信制御手段111、音声信号制御手段112、画像・映像信号処理手段113、表示制御手段114、通話モード制御手段115を備えて構成される。   The control unit 110 has the following functions. That is, the communication control unit 111, the audio signal control unit 112, the image / video signal processing unit 113, the display control unit 114, and the call mode control unit 115 are provided.

通信制御手段111は、テレビ電話装置100Aが他のテレビ電話装置、或いは他の音声電話装置と通信を行う際の通信制御を行うためのものである。これにはシグナリングとデータの送受信とに関わる制御が含まれる。シグナリングには通信セッションの生成、確立、切断が含まれる。具体的には、利用者が入力部160を操作して電話番号等を入力した際に、IP電話網に接続されたSIPサーバ(図示せず)等に接続して通話相手先のテレビ電話装置の位置情報を入手するとともに、通話相手先のテレビ電話装置へ呼出し信号を送信し、通話相手先が応答した場合に通信経路を確立する。また、通話が終了した際にセッション切断メッセージ等を送信することによってセッションを終了する。   The communication control means 111 is for performing communication control when the videophone device 100A communicates with another videophone device or another voice phone device. This includes control related to signaling and data transmission / reception. Signaling includes the creation, establishment and disconnection of communication sessions. Specifically, when the user operates the input unit 160 to input a telephone number or the like, the video telephone device of the other party of the call is connected to a SIP server (not shown) connected to the IP telephone network. Is acquired, and a call signal is transmitted to the videophone device of the other party of call, and a communication path is established when the callee answers. Also, the session is terminated by transmitting a session disconnect message or the like when the call is terminated.

データの送受信に関わる制御には、音声データ、映像データ、画像データをパケットに分割するIPパケット化と及びIPパケットの送信、有線LANを介して受信したパケットを、正しい順序に並べ替えるとともに実際のデータ部分を抽出して組立てるIPパケットの受信及び組立てとが含まれる。   For control related to data transmission / reception, IP packetization that divides audio data, video data, and image data into packets, transmission of IP packets, packets received via wired LAN are rearranged in the correct order and actual Receiving and assembling IP packets that extract and assemble the data portion.

データをパケットとして送信する際には、所定データ長に分割された各データに送信元、宛先、順序、送信時刻、用途(IP電話の音声データ、映像データ、画像データ)を示すヘッダを付加する。また、受信したパケットは、ヘッダ部分を参照することによって、音声、映像、画像ごとに正しい順序で組立てられてゆき、音声信号処理手段112、画像・映像信号処理手段113に出力される。   When transmitting data as a packet, a header indicating the transmission source, destination, order, transmission time, and usage (IP phone audio data, video data, image data) is added to each data divided into predetermined data lengths. . The received packet is assembled in the correct order for each of the audio, video, and image by referring to the header portion, and is output to the audio signal processing means 112 and the image / video signal processing means 113.

音声信号処理手段112は、マイク120から入力された音声をA/D変換し、次いで音声コーデック(図示せず)によって圧縮し、圧縮されたデータを通信制御手段111に出力する。また、通信制御手段111において組立てられた音声データを音声コーデックによって伸張し、次いでD/A変換してスピーカ130から出力する。   The audio signal processing unit 112 performs A / D conversion on the audio input from the microphone 120, and then compresses the audio using an audio codec (not shown), and outputs the compressed data to the communication control unit 111. Also, the audio data assembled in the communication control unit 111 is decompressed by the audio codec, and then D / A converted and output from the speaker 130.

画像・映像信号処理手段113は、映像コーデック(図示せず)を備えており、カメラ140において撮影された映像を圧縮し、圧縮されたデータを通信制御手段111に出力する。また、通信制御手段111において組立てられた映像データを伸張し、表示制御手段114に出力する。また、画像・映像信号処理手段113は、画像コーデック(図示せず)を備えており、通信制御手段111において組立てられた画像データを伸張し、メモリ(制御部110のRAM)に展開する。   The image / video signal processing unit 113 includes a video codec (not shown), compresses the video captured by the camera 140, and outputs the compressed data to the communication control unit 111. Further, the video data assembled by the communication control unit 111 is expanded and output to the display control unit 114. The image / video signal processing unit 113 includes an image codec (not shown), expands the image data assembled by the communication control unit 111, and expands the image data in a memory (RAM of the control unit 110).

表示制御手段114は、カメラ140及び画像・映像信号処理手段113から出力された映像データを表示部150に表示可能な所定の態様に変換(拡大、縮小、画像を並べて配置する等)して表示部150のビデオメモリ(図示せず)上に展開し、表示部150に表示させるものである。   The display control unit 114 converts the video data output from the camera 140 and the image / video signal processing unit 113 into a predetermined mode that can be displayed on the display unit 150 (enlargement, reduction, arranging the images side by side, etc.), and displays them. The data is developed on a video memory (not shown) of the unit 150 and displayed on the display unit 150.

表示制御手段114は、また、電話の発信時に電話番号を入力するためのテンキーの画像や発信中のダイヤル番号等を生成して表示部に出力する。   The display control means 114 also generates an image of a numeric keypad for inputting a telephone number at the time of outgoing call, a dialing number during outgoing call, etc., and outputs it to the display unit.

通話モード制御手段115は、人感センサ170の出力に基づいて通話モードと保留モードを切替える。通話モードはマイク120から入力された音声と、カメラ140によって撮影された映像とを通信制御手段111を介して通話相手先に送信し、通話相手先から送信されてきた音声信号、映像信号を通信制御手段111によって受信し、音声信号制御手段112を介してスピーカ130から音声として、また、画像・映像信号処理手段113を介して表示部150から映像として出力する通常の通話状態のモードである。   The call mode control means 115 switches between the call mode and the hold mode based on the output of the human sensor 170. In the call mode, audio input from the microphone 120 and video captured by the camera 140 are transmitted to the call partner via the communication control means 111, and the audio signal and video signal transmitted from the call partner are communicated. This is a normal call mode that is received by the control unit 111 and output as audio from the speaker 130 via the audio signal control unit 112 and as video from the display unit 150 via the image / video signal processing unit 113.

保留モードは、通信制御手段111が通話相手先との通信を切断することなく、通信を接続状態に維持したままで、マイク120から入力された音声と、カメラ140によって撮影された映像とを通話相手先に送信するのを停止させる通話保留状態のモードである。この保留モードでは、上記のように音声、映像の両方の送信を停止させてもよいが、音声のみの送信を停止させてもよいし、映像のみの送信を停止させてもよい。   In the hold mode, the communication control unit 111 does not cut off the communication with the other party of the call, and the voice input from the microphone 120 and the video photographed by the camera 140 are talked while maintaining the communication in the connected state. This mode is a call holding state in which transmission to the other party is stopped. In this hold mode, transmission of both audio and video may be stopped as described above, but transmission of only audio may be stopped, or transmission of only video may be stopped.

さらに、通話モード制御手段115は、保留モードにおいて、メモリ180の保留メッセージ記憶部181に記憶された保留メッセージを通信制御手段111を介して通話相手先に送信する。保留メッセージは、所定の音声メッセージ、映像メッセージ、画像メッセージのいずれかであってもよいし、それらを組合せたものであってもよい。   Furthermore, the call mode control unit 115 transmits the hold message stored in the hold message storage unit 181 of the memory 180 to the call partner via the communication control unit 111 in the hold mode. The hold message may be a predetermined voice message, video message, or image message, or may be a combination thereof.

本実施例では、保留メッセージはメモリ180の保留メッセージ記憶部181に記憶されたものを通話相手先に送信したが、本発明はこれに限られず、通話モード制御手段115が通信制御手段111を介してIP電話網に接続された各種サーバに保留メッセージの送信を指示し、そのサーバから保留メッセージを通話相手先に送信させるような構成としてもよい。   In this embodiment, the hold message is stored in the hold message storage unit 181 of the memory 180 and transmitted to the call partner. However, the present invention is not limited to this, and the call mode control means 115 is connected via the communication control means 111. The server may be instructed to send a hold message to various servers connected to the IP telephone network, and the hold message may be sent from the server to the other party.

マイク120は、集音された音声を音声信号に変換する。また、スピーカ130は音声信号を音声に変換して出力する。マイク120において入力・変換された音声信号は音声信号処理手段112に出力される。また、音声信号処理手段112から出力された音声信号はスピーカ130において音声に変換され出力される。マイク120とスピーカ130は、テレビ電話装置100Aに固定的に設けられていてもよいが、ヘッドセットであってもよい。   The microphone 120 converts the collected sound into an audio signal. The speaker 130 converts the audio signal into sound and outputs it. The audio signal input / converted by the microphone 120 is output to the audio signal processing means 112. Also, the audio signal output from the audio signal processing means 112 is converted into audio at the speaker 130 and output. The microphone 120 and the speaker 130 may be fixedly provided on the videophone device 100A, but may be a headset.

カメラ140は、テレビ電話装置100Aの通話中にその前にある被写体を撮影するためのものである。カメラ140はテレビ電話装置100Aの筐体に固定式、或いは可動式に組み込まれる。可動式のカメラの場合は、カメラ140の向きは手動或いは自動で微調整することができる。通常、テレビ電話装置100Aの正面には利用者が位置することになるので、カメラ140においては利用者が被写体として撮影される。撮影された映像は、画像・映像信号処理手段113に出力される。   The camera 140 is for photographing a subject in front of the videophone device 100A during a call. The camera 140 is fixedly or movably incorporated in the casing of the videophone device 100A. In the case of a movable camera, the orientation of the camera 140 can be finely adjusted manually or automatically. Usually, since the user is positioned in front of the videophone device 100A, the camera 140 captures the user as a subject. The captured video is output to the image / video signal processing means 113.

表示部150は液晶ディスプレイユニットであり、表示制御手段114によって表示部150のビデオメモリ上に展開された映像や画像を表示する。   The display unit 150 is a liquid crystal display unit, and displays video and images developed on the video memory of the display unit 150 by the display control unit 114.

入力部160は、表示部150に一体に形成されたタッチパネルの形をとる。利用者は表示部150に表示された入力用のアイコンの部位に接触することで入力操作を行う。例えば、電話をかける場合に、入力部160に電話番号を入力するためのテンキーを表示し、利用者はそのテンキーの該当する部分を指で押すことにより、番号を入力することができる。なお、入力部160は、上記に限られず、テレビ電話装置100Aを構成する筐体の一部分に形成されたキーやボタンであってもよい。   The input unit 160 takes the form of a touch panel formed integrally with the display unit 150. The user performs an input operation by touching the part of the input icon displayed on the display unit 150. For example, when making a call, a numeric keypad for inputting a telephone number is displayed on the input unit 160, and the user can input the number by pressing the corresponding part of the numeric keypad with a finger. Note that the input unit 160 is not limited to the above, and may be a key or button formed in a part of a casing constituting the videophone device 100A.

人感センサ170は、人の所在を検出するセンサである。人感センサ170は、例えば、赤外線センサの形態をとる。人感センサ170は、テレビ電話装置100Aの筐体にカメラ140とともに組込まれる。この人感センサ170は、人がセンサから所定角度範囲かつ所定距離範囲内に近づいた場合、そのことを検知し、人が存在していることを通話モード制御手段115に出力する。カメラ140が、向きを手動或いは自動で微調整することができる可動式カメラである場合には、カメラ140の向きを変化させると、それに伴って人感センサ170の向きもカメラ140と一致する方向に変化し、常にカメラの撮影範囲内の人の所在を検出することが可能となる。人感センサ170は、赤外線センサに限られず、超音波を利用したセンサであってもよい。   The human sensor 170 is a sensor that detects the location of a person. The human sensor 170 takes the form of an infrared sensor, for example. Human sensor 170 is incorporated together with camera 140 in the casing of videophone device 100A. The human sensor 170 detects that the person has approached the sensor within a predetermined angle range and a predetermined distance range, and outputs the presence of the person to the call mode control means 115. When the camera 140 is a movable camera whose direction can be finely adjusted manually or automatically, when the direction of the camera 140 is changed, the direction of the human sensor 170 coincides with the direction of the camera 140 accordingly. It becomes possible to always detect the location of a person within the shooting range of the camera. The human sensor 170 is not limited to an infrared sensor, and may be a sensor using ultrasonic waves.

メモリ180はフラッシュメモリ或いはハードディスク等である。メモリ180は、保留メッセージ記憶部181を備える。保留メッセージ記憶部181には通話モード制御手段115が保留モードに切替えた際に、通信制御手段111を介して通話相手先に送信する保留メッセージが記憶されている。保留メッセージは、音声メッセージ、映像メッセージ、画像メッセージであり、これらが複数記憶され、どのメッセージを保留メッセージとして送信するのか利用者が予め選択できるようになっている。   The memory 180 is a flash memory or a hard disk. The memory 180 includes a hold message storage unit 181. The hold message storage unit 181 stores a hold message to be transmitted to the call partner via the communication control unit 111 when the call mode control unit 115 switches to the hold mode. The hold message is a voice message, a video message, or an image message. A plurality of these hold messages are stored, and the user can select in advance which message is to be transmitted as the hold message.

次に、実施例1のテレビ電話装置100Aの通話モード切替え動作の一例を、図2を参照して説明する。なお、図2は、実施例1のテレビ電話装置100Aの通話モード切替え動作の一例を示すフローチャートである。   Next, an example of the call mode switching operation of the videophone device 100A according to the first embodiment will be described with reference to FIG. FIG. 2 is a flowchart illustrating an example of a call mode switching operation of the videophone device 100A according to the first embodiment.

図2のステップS201において、利用者はテレビ電話装置100Aの入力部160を操作することによって通話相手先の電話番号を入力し、通信制御手段111が呼出し信号を通話相手先に送信する。通話相手先が電話に応答すると通信経路が確立され、通話が開始される。或いは、通話相手先からの呼出し信号に対し、音声信号制御手段112が呼出し音をスピーカ130から出力し、これに対して利用者が応答することによって通信経路が確立され、通話が開始される。   In step S201 in FIG. 2, the user operates the input unit 160 of the videophone device 100A to input the telephone number of the other party, and the communication control unit 111 transmits a calling signal to the other party. When the other party answers the call, a communication path is established and the call is started. Alternatively, the voice signal control means 112 outputs a ringing sound from the speaker 130 in response to a calling signal from the other party, and the user responds to this to establish a communication path and start a call.

ステップS202において、通信制御手段111は通話が終了したか否かを判定し、利用者によって通話を終了する指示が入力部160から入力されれば通信制御手段111がセッション切断メッセージを通話相手先に送信して通信を終了する。或いは通話相手先からのセッション切断メッセージを受信した場合にも、通信制御手段111が通信の切断処理を行い、通話は終了する。   In step S202, the communication control unit 111 determines whether or not the call has ended. If an instruction to end the call is input from the input unit 160 by the user, the communication control unit 111 sends a session disconnect message to the call partner. Send to end communication. Alternatively, even when a session disconnect message is received from the call partner, the communication control unit 111 performs communication disconnection processing, and the call ends.

ステップS203において、通話モード制御手段115は、人感センサ170の出力に基づいて利用者の存在の有無の判定、つまり離席判定を行う。人感センサ170が、利用者が離席していないと判定した場合、通話状態が継続され、ステップS202の処理に戻り、通話の終了判定が行われる。   In step S <b> 203, the call mode control unit 115 determines the presence / absence of the user based on the output of the human sensor 170, that is, the absence determination. When the human sensor 170 determines that the user is not away, the call state is continued, and the process returns to step S202 to determine whether or not to end the call.

ステップS203において、利用者が離席したと判定された場合、ステップS204の処理に進み、通話モード制御手段115は、マイク120から入力された音声、カメラ140によって撮影された映像を通話先相手に送信しない保留モードに切替え制御する。これは、通話モード制御手段115が所定の指示を音声信号制御手段112に出力することによって、マイク120から入力された音声信号をディジタル変換・音声圧縮を行わないようにし、また、通信制御手段111に出力しないようにすることによって行われる。さらに、カメラ140において撮影された映像を圧縮せず、かつ圧縮されたデータを通信制御手段111に出力しないようにすることによって行われる。   If it is determined in step S203 that the user has left, the process proceeds to step S204, and the call mode control means 115 uses the voice input from the microphone 120 and the video taken by the camera 140 as the other party. Switch to hold mode that does not send. This is because the call mode control means 115 outputs a predetermined instruction to the voice signal control means 112 so that the voice signal input from the microphone 120 is not subjected to digital conversion / sound compression, and the communication control means 111. This is done by avoiding output. Furthermore, it is performed by not compressing the video imaged by the camera 140 and not outputting the compressed data to the communication control unit 111.

この保留モードでは、音声、映像のいずれも停止させるようにしてもよいが、音声のみ、或いは映像のみのどちらか一方だけを停止させるようにしてもよい。   In this hold mode, both audio and video may be stopped, but only either audio or video may be stopped.

さらにステップS205では、通話モード制御手段115がメモリ180の保留メッセージ記憶部181から保留メッセージを抽出し、通信制御手段111に出力することにより、保留モード中に通話相手先に所定の保留メッセージが送信されるようにする。保留メッセージは、それぞれ複数の音声メッセージ、映像メッセージ、画像メッセージから利用者によって選択されたものである。   In step S205, the call mode control unit 115 extracts the hold message from the hold message storage unit 181 of the memory 180 and outputs the hold message to the communication control unit 111, whereby a predetermined hold message is transmitted to the call partner during the hold mode. To be. Each hold message is selected by the user from a plurality of voice messages, video messages, and image messages.

保留メッセージは、音声のみが停止されている場合には音声メッセージが選択されて通話相手先に送信され、映像のみが停止されている場合には映像メッセージ又は画像メッセージが選択されて通話相手先に送信され、音声と映像の両者が停止されている場合には音声メッセージと映像メッセージ又は画像メッセージとが組合わされて通話相手先に送信される。   When only the voice is stopped, the hold message is selected and transmitted to the other party, and when only the video is stopped, the video message or the image message is selected and sent to the other party. When both voice and video are transmitted, the voice message and video message or image message are combined and sent to the other party.

ステップS206において、通話モード制御手段115は、人感センサ170の出力に基づいて利用者の存在の有無の判定、つまり在席判定を行う。人感センサ170が、利用者が在席していないと判定した場合、ステップS205の保留メッセージの送信を継続することによって保留モードが継続される。   In step S <b> 206, the call mode control unit 115 determines the presence / absence of the user, that is, the presence determination based on the output of the human sensor 170. When the human sensor 170 determines that the user is not present, the hold mode is continued by continuing the transmission of the hold message in step S205.

人感センサ170が、利用者が在席していると判定した場合、通話モード制御手段115は保留モードから通話モードに切替え制御する。これは、ステップS207において、通話モード制御手段115がメモリ180の保留メッセージ記憶部181から抽出された保留メッセージを通信制御手段111に出力して通話相手先に送信するのを停止させることによって行われる。   When the human sensor 170 determines that the user is present, the call mode control means 115 controls to switch from the hold mode to the call mode. This is performed in step S207 by stopping the call mode control means 115 outputting the hold message extracted from the hold message storage unit 181 of the memory 180 to the communication control means 111 and transmitting it to the call partner. .

加えて、ステップS208において、通話モード制御手段115は、マイク120から入力された音声信号をディジタル変換・音声圧縮して通信制御手段111に出力させる指示を音声信号制御手段112に出力し、マイク120から入力される音声信号を通話相手先に送信することを再開する。また、通話モード制御手段115は、カメラ140において撮影された映像を圧縮し、圧縮されたデータを通信制御手段111に出力させる指示を画像・映像信号処理手段113に出力し、カメラ140によって撮影される映像信号を通話相手先に送信することを再開する。通話が再開されると、ステップS202に戻り、通話終了の判定を行う。   In addition, in step S 208, the call mode control unit 115 outputs an instruction to the communication control unit 111 for digitally converting and compressing the audio signal input from the microphone 120 and outputting the instruction to the audio signal control unit 112. The transmission of the audio signal input from the terminal is resumed. Further, the call mode control means 115 compresses the video imaged by the camera 140, outputs an instruction to output the compressed data to the communication control means 111 to the image / video signal processing means 113, and is captured by the camera 140. Resume sending video signals to the other party. When the call is resumed, the process returns to step S202, and the end of the call is determined.

上記のように、本発明の人体検出手段として人感センサ170を採用することにより、テレビ電話装置100Aを利用する利用者の存在の有無を検出し、利用者が離席した場合に通話モードから保留モードに切替え制御し、再び利用者が在席した場合に保留モードから通話モードに切替え制御することができるようになる。上記実施例1のテレビ電話装置100Aによれば、利用者が保留や通話再開等の切替え操作を入力部160に対して行わずとも、或いは、意図的な動作を行わずとも自動的に通話モードの切替えを行うことが可能となる。   As described above, by adopting the human sensor 170 as the human body detecting means of the present invention, the presence / absence of the user who uses the videophone device 100A is detected, and when the user leaves the seat, the call mode is started. When switching to the hold mode is performed and the user is present again, the switch from the hold mode to the call mode can be controlled. According to the videophone device 100A of the first embodiment, the user can automatically perform a call mode without performing a switching operation such as holding or resuming a call on the input unit 160 or without performing an intentional operation. Can be switched.

実施例2のテレビ電話装置100Bは、実施例1のテレビ電話装置100Aとほぼ同様の構成であるが、人感センサ170を不用とし、代わりに映像判定手段116を制御部110に備えた点で異なっている。実施例2のテレビ電話装置100Bでは、本発明の人体検出手段はカメラ140と映像判定手段116の形態をとっている。以下の説明では、実施例1と同様の構成部分については説明を省略し、異なる点についてのみ説明する。   The videophone device 100B according to the second embodiment has substantially the same configuration as the videophone device 100A according to the first embodiment, but does not use the human sensor 170, and instead includes a video determination unit 116 in the control unit 110. Is different. In the videophone device 100B of the second embodiment, the human body detecting means of the present invention takes the form of a camera 140 and a video determining means 116. In the following description, the description of the same components as in the first embodiment will be omitted, and only different points will be described.

映像判定手段116は、カメラ140において撮影された映像に人の顔が含まれているか否かを検出する(顔検出)。   The video determination unit 116 detects whether a human face is included in the video shot by the camera 140 (face detection).

通話モード制御手段115は、実施例1では人感センサ170の出力に基づいて利用者の存在の有無を判定していた。しかし、実施例2では、通話モード制御手段115は、映像判定手段116の出力に基づいて利用者の存在の有無つまり、離席、在席の判定を行う。つまり、カメラ140によって撮影されたカメラ映像に人の顔が含まれていることを映像判定手段116が検出した場合に利用者が在席していると判定し、映像判定手段116がカメラ映像に顔が含まれていないと判断した場合を利用者が離席していると判定する。   In the first embodiment, the call mode control means 115 determines the presence / absence of a user based on the output of the human sensor 170. However, in the second embodiment, the call mode control unit 115 determines the presence / absence of the user, that is, the presence / absence of the user based on the output of the video determination unit 116. That is, when the image determination unit 116 detects that a human face is included in the camera image captured by the camera 140, it is determined that the user is present, and the image determination unit 116 includes the camera image. When it is determined that the face is not included, it is determined that the user is away.

つまり、実施例2では、通話モード中において、カメラ140で撮影された映像に人の顔が含まれているか否かを映像判定手段116が判断し、利用者の顔が含まれなくなった場合に利用者が離席したとみなし、通話モード制御手段115が通話モードから保留モードに切替え制御する。   That is, in the second embodiment, when the video determination unit 116 determines whether or not a human face is included in the video captured by the camera 140 during the call mode, and the user's face is not included. Assuming that the user has left his / her seat, the call mode control means 115 controls to switch from the call mode to the hold mode.

また、保留モード中には、カメラ140で撮影された映像を通話相手先に送信しない設定になっている場合は通信制御手段111を介して通話相手先に送信されることはないが、カメラ140での映像の撮影は継続して行われており、映像に利用者の顔が写るようになると、映像判定手段116が映像中の人の顔を検出し、利用者が在席していると判定し、通話モード制御手段115が保留モードから通話モードに切替え制御する。   Further, during the hold mode, when the video captured by the camera 140 is set not to be transmitted to the other party, the camera 140 is not transmitted to the other party via the communication control unit 111. When the user's face is reflected in the video, the video determination unit 116 detects the person's face in the video and the user is present. Then, the call mode control means 115 controls to switch from the hold mode to the call mode.

実施例3のテレビ電話装置100Cは、図4に示すように実施例2のテレビ電話装置100Bとほぼ同様の構成であるが、メモリ180に保留メッセージ記憶部181に加えて利用者登録画像記憶部182を備えた点で相違している。以下の説明では、実施例2と同様の構成部分については説明を省略し、異なる点についてのみ説明する。   The videophone device 100C according to the third embodiment has substantially the same configuration as the videophone device 100B according to the second embodiment as shown in FIG. 4, but a user registration image storage unit is added to the memory 180 in addition to the hold message storage unit 181. The difference is that 182 is provided. In the following description, description of the same components as those in the second embodiment will be omitted, and only different points will be described.

通話モード制御手段115は、実施例1及び2では保留モードの際にマイク120から入力された音声、カメラ140によって撮影された映像を通話先相手に送信するのを停止し、代わりにメモリ180の保留メッセージ記憶部181に記憶された所定の保留メッセージを通話相手先に送信していた。一方、本実施例3では、保留モード時に、通話モード制御手段115がテレビ電話装置100Cのロック機能を提供する。すなわち、ロック機能は、保留モード時にマイク音声、カメラ映像送信を停止することや、保留メッセージを送信することに加え、テレビ電話装置100Cを他の利用者が操作できないようにするものである。   In the first and second embodiments, the call mode control unit 115 stops transmitting the voice input from the microphone 120 and the video captured by the camera 140 to the other party in the hold mode, and instead of the memory 180. The predetermined hold message stored in the hold message storage unit 181 is transmitted to the call partner. On the other hand, in the third embodiment, the call mode control means 115 provides a lock function of the videophone device 100C in the hold mode. In other words, the lock function is to stop other users from operating the videophone device 100C in addition to stopping the microphone voice and camera video transmission in the hold mode and transmitting the hold message.

つまり、通話モードから保留モードになると、通話モード制御手段115は、入力部160からの入力を受付けなくする。具体的には、入力部160を通話モード時に通話していた利用者以外の誰かが操作したとしてもそれらの操作が無視される。また、通話モード制御手段115は、当初の利用者が戻ってきた際に保留モードから通話モードに切替えるが、上記のロックを解除し、入力部160の操作を受付けることができようにする。   That is, when the call mode is changed to the hold mode, the call mode control unit 115 does not accept the input from the input unit 160. Specifically, even if someone other than the user who is talking on the input unit 160 in the call mode operates, those operations are ignored. Further, the call mode control means 115 switches from the hold mode to the call mode when the original user returns, but releases the lock and allows the operation of the input unit 160 to be accepted.

映像判定手段116は、実施例2ではカメラ140において撮影された映像に人の顔が写っているか否かを判定していたが、実施例3では、通話開始時、或いは通話中に撮影された映像の中から顔画像或いは顔データを抽出し、これをメモリ180の利用者登録画像記憶部182に静止画の画像データとして登録する。また、保留モード中にカメラ140に人の顔が写ったか否かを判定する顔検出を行い、顔が検出された場合にはその顔がメモリ180の利用者登録画像記憶部182に登録された画像データの顔と同一であるか否かの判定を行う(顔判定)。   In the second embodiment, the video determination unit 116 determines whether or not a person's face is reflected in the video shot by the camera 140. In the third embodiment, the video determination unit 116 was shot at the start of the call or during the call. A face image or face data is extracted from the video and is registered in the user registration image storage unit 182 of the memory 180 as still image data. Further, face detection is performed to determine whether or not a person's face is captured in the camera 140 during the hold mode. If a face is detected, the face is registered in the user registration image storage unit 182 of the memory 180. It is determined whether or not it is the same as the face of the image data (face determination).

メモリ180は、保留メッセージ記憶部181に加えて利用者登録画像記憶部182を備える。利用者登録画像記憶部182は、通話開始時に、カメラ140によって撮影された映像から抽出された顔画像或いは顔データが登録されるものである。   The memory 180 includes a user registration image storage unit 182 in addition to the hold message storage unit 181. The user registration image storage unit 182 registers a face image or face data extracted from a video photographed by the camera 140 at the start of a call.

次に、実施例3のテレビ電話装置100Cの通話モード切替え動作の一例を、図5を参照して説明する。なお、図3は、実施例3のテレビ電話装置100Cの通話モード切替え動作の一例を示すフローチャートである。   Next, an example of the call mode switching operation of the videophone device 100C according to the third embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of a call mode switching operation of the videophone device 100C according to the third embodiment.

図5のステップS501において、通話が開始され、カメラ140からの撮影が開始される。撮影された映像は画像・映像信号処理手段113、通信制御手段111を介して通話相手先に送信される。   In step S501 of FIG. 5, a call is started and shooting from the camera 140 is started. The captured video is transmitted to the other party via the image / video signal processing unit 113 and the communication control unit 111.

ステップS502において、映像判定手段116は、カメラ140によって撮影された映像の中から顔画像或いは顔データを抽出し、これをメモリ180の利用者登録画像記憶部182に登録する。   In step S <b> 502, the video determination unit 116 extracts a face image or face data from the video shot by the camera 140 and registers it in the user registration image storage unit 182 of the memory 180.

ステップS503において、通信制御手段111は通話が終了したか否かを判定し、利用者によって通話を終了する指示が入力部160から入力されれば通信制御手段111がセッション切断メッセージを通話相手先に送信して通信を終了する。或いは通話相手先からのセッション切断メッセージを受信した場合にも、通信制御手段111が通信の切断処理を行い、通話は終了する。   In step S503, the communication control unit 111 determines whether or not the call has ended. If an instruction to end the call is input from the input unit 160 by the user, the communication control unit 111 sends a session disconnect message to the call partner. Send to end communication. Alternatively, even when a session disconnect message is received from the call partner, the communication control unit 111 performs communication disconnection processing, and the call ends.

ステップS504において、通話モード制御手段115は、映像判定手段116の出力に基づいて利用者の存在の有無の判定、つまり離席判定を行う。映像判定手段116が、カメラ140によって撮影されたカメラ映像に人の顔が含まれていることを検出した場合、利用者が離席していないと判定しステップS503の処理に戻り、通話の終了判定が行われる。   In step S504, the call mode control unit 115 determines the presence / absence of the user, that is, the absence determination based on the output of the video determination unit 116. When the video determination unit 116 detects that a human face is included in the camera video captured by the camera 140, the video determination unit 116 determines that the user is not away and returns to the process of step S503 to end the call. A determination is made.

ステップS504において、映像判定手段116が、カメラ140によって撮影されたカメラ映像に人の顔が含まれなくなったことを検出した場合、利用者が離席したと判定し、ステップS505に進む。   In step S504, when the video determination unit 116 detects that the human face is no longer included in the camera video captured by the camera 140, it is determined that the user has left, and the process proceeds to step S505.

ステップS505において、通話モード制御手段115は、マイク120から入力された音声、カメラ140によって撮影された映像を通話先相手に送信しない保留モードに切替え制御する。これは、通話モード制御手段115が所定の指示を音声信号制御手段112に出力することによって、マイク120から入力された音声信号をディジタル変換・音声圧縮を行わないようにし、また、通信制御手段111に出力しないようにすることによって行われる。   In step S505, the call mode control means 115 controls to switch to a hold mode in which the audio input from the microphone 120 and the video imaged by the camera 140 are not transmitted to the call partner. This is because the call mode control means 115 outputs a predetermined instruction to the voice signal control means 112 so that the voice signal input from the microphone 120 is not subjected to digital conversion / sound compression, and the communication control means 111. This is done by avoiding output.

また、保留モード中には、カメラ140による撮影は継続して行われるが、これは顔判定を行うためであって、撮影された映像は圧縮されず、かつ通信制御手段111に出力もされないので、通話相手先に送信されることはない。   In the hold mode, shooting by the camera 140 is continuously performed. This is to perform face determination, and the shot video is not compressed and is not output to the communication control unit 111. , Never sent to the other party.

ステップS506では、通話モード制御手段115が、テレビ電話装置100Cの入力部160からの入力操作を受付けないようにロックする。具体的には、入力部160を誰かが操作する際に入力部160は操作信号を出力するが、それらの操作信号がテレビ電話装置100において無視されるようにする。   In step S506, the call mode control means 115 locks so as not to accept an input operation from the input unit 160 of the videophone device 100C. Specifically, when someone operates the input unit 160, the input unit 160 outputs an operation signal, but the operation signal is ignored in the videophone device 100.

保留モード中にロック機能が働くので、保留モード中に別の人がやって来てテレビ電話装置100Cを操作したとしても、操作することができないので、電話帳や着信履歴、メール等の個人情報を盗み見ることはできなくなる。   Since the lock function works during the hold mode, even if another person comes and operates the videophone device 100C during the hold mode, it cannot be operated. I can't do that.

さらにステップS507では、通話モード制御手段115がメモリ180の保留メッセージ記憶部181から保留メッセージを抽出し、通信制御手段111に出力することにより、保留モード中に通話相手先に所定の保留メッセージが送信されるようにする。保留メッセージは、それぞれ複数の音声メッセージ、映像メッセージ、画像メッセージから利用者によって選択されたものである。   In step S507, the call mode control unit 115 extracts the hold message from the hold message storage unit 181 of the memory 180 and outputs the hold message to the communication control unit 111, whereby a predetermined hold message is transmitted to the call partner during the hold mode. To be. Each hold message is selected by the user from a plurality of voice messages, video messages, and image messages.

保留メッセージは、音声と映像の両者が停止されている場合には音声メッセージと映像メッセージ又は画像メッセージとが組合わされて通話相手先に送信される。   When both voice and video are stopped, the hold message is transmitted to the call partner by combining the voice message with the video message or the image message.

ステップS508において、映像判定手段116は、カメラ140で撮影している映像に人の顔が含まれているか否かを検出し(顔検出)、顔が含まれていない場合には、ステップS507に戻って保留モードを継続する。   In step S508, the video determination unit 116 detects whether or not a human face is included in the video captured by the camera 140 (face detection). If no face is included, the process proceeds to step S507. Return and continue hold mode.

ステップS508において、映像判定手段116は、カメラ140で撮影している映像に人の顔が含まれていると判断した場合、ステップS509に進む。映像判定手段116は、メモリ180の利用者登録画像記憶部182に登録された顔がカメラ140によって撮影された映像に含まれる顔と同一であるかを判定し、同一でない場合には、同一の利用者ではないとみなしてステップS507の処理に戻って保留モードを継続する。   In step S508, if the video determination unit 116 determines that the video captured by the camera 140 includes a human face, the process proceeds to step S509. The video determination unit 116 determines whether the face registered in the user registration image storage unit 182 of the memory 180 is the same as the face included in the video captured by the camera 140. Assuming that the user is not a user, the process returns to step S507 to continue the hold mode.

メモリ180の利用者登録画像記憶部182に登録された顔とカメラ140によって撮影された映像に含まれる顔とが同一であると判断した場合、同一の利用者であるとみなし、通話モード制御手段115は保留モードを終了して通話モードに切替え制御する。   When it is determined that the face registered in the user registration image storage unit 182 of the memory 180 and the face included in the video taken by the camera 140 are the same, the user is regarded as the same user, and the call mode control means 115 terminates the hold mode and controls to switch to the call mode.

ステップS510において、通話モード制御手段115がメモリ180の保留メッセージ記憶部181から抽出された保留メッセージを通信制御手段111に出力して通話相手先に送信するのを停止させる。   In step S510, the call mode control means 115 stops outputting the hold message extracted from the hold message storage unit 181 of the memory 180 to the communication control means 111 and transmitting it to the call partner.

ステップS511において、通話モード制御手段115が、テレビ電話装置100Cの入力部160からの入力操作を受付けるようにロックを解除する。具体的には、入力部160を操作する際に入力部160に入力される操作信号を制御部110が取得し、それに基づいて各部の動作を行うことができるようにされる。   In step S511, the call mode control unit 115 releases the lock so as to accept an input operation from the input unit 160 of the videophone device 100C. Specifically, the control unit 110 acquires an operation signal input to the input unit 160 when operating the input unit 160, and the operation of each unit can be performed based on the operation signal.

ステップS512において、所定の指示を音声信号制御手段112に出力することによって、マイク120から入力された音声信号をディジタル変換・音声圧縮して通信制御手段111に出力させることによって通話を再開する。また、通話モード制御手段115が所定の指示を画像・映像信号処理手段113に出力することによって、カメラ140において撮影された映像を圧縮し、圧縮されたデータを通信制御手段111に出力させる。通話が再開されると、ステップS503に戻り、通話終了の判定を行う。   In step S 512, a predetermined instruction is output to the audio signal control unit 112, and the audio signal input from the microphone 120 is digitally converted / compressed and output to the communication control unit 111, so that the call is resumed. Further, the call mode control unit 115 outputs a predetermined instruction to the image / video signal processing unit 113, thereby compressing the video captured by the camera 140 and causing the communication control unit 111 to output the compressed data. When the call is resumed, the process returns to step S503, and the end of the call is determined.

以上、説明したように、上記実施例1〜3のテレビ電話装置においては、本発明の人体検出手段として人感センサ170、或いはカメラ140と映像判定手段116を採用し、これらの人体検出手段によって利用者の存在の有無、つまり離席、在席を検出する。そして、通話中に在席していた状態から離席した状態になった場合には、通話モード制御手段115が通話モードから保留モードに切替え制御し、保留モード中に離席した状態から在席した状態に変わった場合には保留モードから通話モードに切替え制御する。   As described above, in the videophone devices according to the first to third embodiments, the human sensor 170 or the camera 140 and the image determination unit 116 are employed as the human body detection unit of the present invention. The presence / absence of a user, that is, absence or presence is detected. Then, when the user is away from the seated state during the call, the call mode control means 115 controls to switch from the call mode to the hold mode, and stays in the seated state from the state in which the user is away during the hold mode. When the state is changed to the switched state, the control is switched from the hold mode to the call mode.

こうすることで利用者が保留ボタン等の入力部160を操作することなく自動的に通話モードと保留モードの切替えを行うことが可能となる。また、通話モードから保留モードへの切替えを行うために、カメラを覆うといった何らかの意図的な動作等を必要とすることはなくなる。   In this way, the user can automatically switch between the call mode and the hold mode without operating the input unit 160 such as the hold button. In addition, in order to switch from the call mode to the hold mode, any intentional operation such as covering the camera is not required.

さらに、実施例3のテレビ電話装置では、保留モードから通話モードへの復帰は、保留モードに切替わる前に通話していた利用者が戻ってきてはじめて行われるようになるから、他の者によって装置が勝手に操作されるという危険を回避することが可能となる。   Furthermore, in the videophone device according to the third embodiment, the return from the hold mode to the call mode is performed only after the user who has made a call before switching to the hold mode returns. It is possible to avoid the danger that the device is operated without permission.

100A、100B、100C テレビ電話装置
110 制御部
111 通信制御手段
112 音声信号制御手段
113 画像・映像信号処理手段
114 表示制御手段
115 通話モード制御手段
116 映像判定手段
120 マイク
130 スピーカ
140 カメラ
150 表示部
160 入力部
170 人感センサ
180 メモリ
181 保留メッセージ記憶部
182 利用者登録画像記憶部
100A, 100B, 100C Videophone device 110 Control unit 111 Communication control unit 112 Audio signal control unit 113 Image / video signal processing unit 114 Display control unit 115 Call mode control unit 116 Video determination unit 120 Microphone 130 Speaker 140 Camera 150 Display unit 160 Input unit 170 Human sensor 180 Memory 181 On-hold message storage unit 182 User registration image storage unit

Claims (7)

マイクから入力された音声とカメラによって撮影された映像を通信制御手段によって通話相手先に送信するテレビ電話装置であって、
前記テレビ電話装置は、
通信中に利用者の存在を検出する人体検出手段と、
前記人体検出手段によって利用者の存在の有無の変化を検出した際に、前記音声と前記映像を前記通話相手先に送信する通話モードと、前記音声と前記映像を前記通話相手先に送信しない保留モードと、を切替え制御する通話モード制御手段と、を備えることを特徴とするテレビ電話装置。
A videophone device that transmits audio input from a microphone and video captured by a camera to a communication partner by communication control means,
The videophone device includes:
Human body detection means for detecting the presence of a user during communication;
A call mode for transmitting the audio and the video to the call partner when the human body detecting means detects a change in the presence or absence of a user, and a hold for not transmitting the audio and the video to the call partner And a telephone mode control means for switching and controlling the mode.
前記通話モードの間に、前記人体検出手段が利用者の不在を検出すると、前記通話モード制御手段が前記通話モードから前記保留モードに切替え制御し、
前記保留モードの間に、前記人体検出手段が利用者の存在を検出すると、前記通話モード制御手段が前記保留モードから前記通話モードに切替え制御することを特徴とする請求項1に記載のテレビ電話装置。
When the human body detecting means detects the absence of a user during the call mode, the call mode control means controls the switching from the call mode to the hold mode,
2. The videophone according to claim 1, wherein, when the human body detection unit detects the presence of a user during the hold mode, the call mode control unit performs switching control from the hold mode to the call mode. apparatus.
前記通話モード制御手段が、前記保留モードの間に、前記マイクから入力された音声に代えて所定の保留メッセージと、前記カメラによって撮影された映像に代えて所定の保留映像又は保留画像の少なくとも一つを前記通信制御手段によって前記通話相手先に送信させることを特徴とする請求項2に記載のテレビ電話装置。   In the call mode control means, during the hold mode, at least one of a predetermined hold message instead of the voice input from the microphone and a predetermined hold video or hold image instead of the video photographed by the camera. 3. The videophone apparatus according to claim 2, wherein the communication control means transmits the message to the other party. 前記テレビ電話装置は前記カメラによって撮影された映像に人物の顔が含まれているか否かを判定する映像判定手段を備え、前記人体検出手段が、前記カメラと前記映像判定手段によって構成され、前記映像判定手段が前記カメラによって撮影された映像に人物の顔が含まれていると判定した場合に利用者の存在を検出し、人物の顔が含まれていないと判定した場合に利用者の不在を検出することを特徴とする請求項1〜3のいずれか1項に記載のテレビ電話装置。   The videophone device includes a video determination unit that determines whether or not a human face is included in a video shot by the camera, and the human body detection unit includes the camera and the video determination unit, The presence of the user is detected when the video determination means determines that the image taken by the camera includes a human face, and the absence of the user when it is determined that the human face is not included The videophone device according to claim 1, wherein the videophone device is detected. 前記テレビ電話装置は記憶部を備え、前記映像判定手段は前記通話モードの間に前記カメラによって撮影された映像から利用者の顔の情報を取得して前記記憶部に登録し、前記保留モードの間に前記映像判定手段が前記カメラによって撮影された映像に人物の顔が含まれていると判定した場合には、前記保留モードの間に撮影された映像に含まれる顔の情報と、前記記憶部に登録された顔の情報とを比較することによって同一の利用者か否かを判定し、同一の利用者の場合には、前記通話モード制御手段が保留モードから通話モードに切替え制御することを特徴とする請求項4に記載のテレビ電話装置。   The videophone device includes a storage unit, and the video determination unit acquires information on a user's face from video captured by the camera during the call mode, registers the information on the storage unit, and stores the information in the hold mode. If the video determination means determines that a human face is included in the video shot by the camera, information on the face included in the video shot during the hold mode and the storage It is determined whether or not the user is the same user by comparing the face information registered in the section, and in the case of the same user, the call mode control means controls switching from the hold mode to the call mode. The videophone apparatus according to claim 4. 前記テレビ電話装置は入力部を備えており、通話モード制御手段は前記保留モードの間に前記入力部の操作を受付けないようにすることを特徴とする請求項5に記載のテレビ電話装置。   6. The videophone apparatus according to claim 5, wherein the videophone apparatus includes an input unit, and the call mode control unit is configured not to accept an operation of the input unit during the hold mode. 前記人体検出手段が人感センサであることを特徴とする請求項1〜3のいずれか1項に記載のテレビ電話装置。   The videophone device according to claim 1, wherein the human body detecting means is a human sensor.
JP2011039166A 2011-02-25 2011-02-25 Video telephone apparatus Pending JP2012178621A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011039166A JP2012178621A (en) 2011-02-25 2011-02-25 Video telephone apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011039166A JP2012178621A (en) 2011-02-25 2011-02-25 Video telephone apparatus

Publications (1)

Publication Number Publication Date
JP2012178621A true JP2012178621A (en) 2012-09-13

Family

ID=46980200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011039166A Pending JP2012178621A (en) 2011-02-25 2011-02-25 Video telephone apparatus

Country Status (1)

Country Link
JP (1) JP2012178621A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015142193A (en) * 2014-01-28 2015-08-03 株式会社リコー transmission terminal and program
JP2016082455A (en) * 2014-10-17 2016-05-16 株式会社リコー Transmission system, transmission terminal, transmission method and transmission program
US9848166B2 (en) 2014-03-28 2017-12-19 Daiwa House Industry Co., Ltd. Communication unit
JP2018152810A (en) * 2017-03-15 2018-09-27 株式会社日立製作所 Communication system and communication control device
CN109413361A (en) * 2017-08-17 2019-03-01 深圳市鹏创软件有限公司 A kind of control method of terminal operating status, system and terminal device
WO2022031088A1 (en) * 2020-08-07 2022-02-10 삼성전자(주) Electronic device and control method therefor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001178958A (en) * 1999-12-24 2001-07-03 Sankyo Kk Player collation and confirmation system
JP2003004863A (en) * 2001-04-18 2003-01-08 Nippon Telegr & Teleph Corp <Ntt> Presence data transmission apparatus and presence data transmission method
JP2003101663A (en) * 2001-09-21 2003-04-04 Sharp Corp Image communication terminal
US6570606B1 (en) * 1998-05-29 2003-05-27 3Com Corporation Method and apparatus for controlling transmission of media signals over a data network in response to triggering events at participating stations
JP2005033790A (en) * 2003-07-04 2005-02-03 Lg Electronics Inc Apparatus and method for automatically controlling image transmission of mobile terminal
JP2010081352A (en) * 2008-09-26 2010-04-08 Panasonic Corp Communication terminal device and communication method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570606B1 (en) * 1998-05-29 2003-05-27 3Com Corporation Method and apparatus for controlling transmission of media signals over a data network in response to triggering events at participating stations
JP2001178958A (en) * 1999-12-24 2001-07-03 Sankyo Kk Player collation and confirmation system
JP2003004863A (en) * 2001-04-18 2003-01-08 Nippon Telegr & Teleph Corp <Ntt> Presence data transmission apparatus and presence data transmission method
JP2003101663A (en) * 2001-09-21 2003-04-04 Sharp Corp Image communication terminal
JP2005033790A (en) * 2003-07-04 2005-02-03 Lg Electronics Inc Apparatus and method for automatically controlling image transmission of mobile terminal
JP2010081352A (en) * 2008-09-26 2010-04-08 Panasonic Corp Communication terminal device and communication method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015142193A (en) * 2014-01-28 2015-08-03 株式会社リコー transmission terminal and program
US9848166B2 (en) 2014-03-28 2017-12-19 Daiwa House Industry Co., Ltd. Communication unit
JP2016082455A (en) * 2014-10-17 2016-05-16 株式会社リコー Transmission system, transmission terminal, transmission method and transmission program
US10129303B2 (en) 2014-10-17 2018-11-13 Ricoh Company, Ltd. Transmission system, transmission terminal, and transmission method
JP2018152810A (en) * 2017-03-15 2018-09-27 株式会社日立製作所 Communication system and communication control device
CN109413361A (en) * 2017-08-17 2019-03-01 深圳市鹏创软件有限公司 A kind of control method of terminal operating status, system and terminal device
CN109413361B (en) * 2017-08-17 2020-11-06 深圳市鹏创软件有限公司 Method and system for controlling working state of terminal and terminal equipment
WO2022031088A1 (en) * 2020-08-07 2022-02-10 삼성전자(주) Electronic device and control method therefor

Similar Documents

Publication Publication Date Title
JP4203246B2 (en) Portable communication device
KR101714534B1 (en) Method and apparatus for providing privacy protecting function in mobile terminal
JP2012178621A (en) Video telephone apparatus
EP2482612A1 (en) Method, application server and system for privacy protection in video call
KR100624690B1 (en) apparatus and method for processing call in video communication network
JP2007006209A (en) Intercom system equipped with image sensing function, and sound terminal, video terminal, home gateway device, and intercom adapter constituting the system
KR100332596B1 (en) Method for communicating using mobile phone
JP2009225221A (en) System for interlocking door intercom apparatus and ip type cellular phone
JP2003009104A (en) Telephone set with video telephone function
JP2008271038A (en) Visual communication system and its master device
JP2007173935A (en) Automatic response method of ip telephone
JP5481693B2 (en) Video call system, calling terminal, receiving terminal, program
JP3143731U (en) Videophone terminal and videophone system
JP4469265B2 (en) TV door phone device
JP2009065620A (en) Videophone apparatus and call arrival response method of videophone apparatus
KR100677314B1 (en) Call notification method for video phone device
JP5605836B2 (en) Telephone terminal function setting method, telephone terminal and telephone terminal function setting program
CN106657533B (en) Call handling method and device
JP2007067639A (en) Voip telephone system, voip telephone device and server
JP2013143752A (en) Image transmission control device, method, and program
JP2006140596A (en) Communication terminal
JP2009094728A (en) Video intercom system
JP2004072441A (en) Ip camera telephone device with image display function
JP2004112820A (en) Mobile videophone terminal
JP2004260299A (en) Mobile videophone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20140128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150414