JP2001016564A - Information processor - Google Patents
Information processorInfo
- Publication number
- JP2001016564A JP2001016564A JP2000150690A JP2000150690A JP2001016564A JP 2001016564 A JP2001016564 A JP 2001016564A JP 2000150690 A JP2000150690 A JP 2000150690A JP 2000150690 A JP2000150690 A JP 2000150690A JP 2001016564 A JP2001016564 A JP 2001016564A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image data
- information processing
- processing apparatus
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、伝送路を使用し
て、カメラとマイクロフォンを具備した情報処理装置間
で、各情報処理装置の使用者の画像データと音声データ
を授受する情報処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information processing apparatus for transmitting and receiving image data and voice data of a user of each information processing apparatus between information processing apparatuses having a camera and a microphone using a transmission path. .
【０００２】[0002]
【従来の技術】従来、テレビ電話や、コンピュータによ
る通信等、カメラとマイクロフォンを具備する情報処理
装置を端末として、画像データと音声データを通信回線
を通してやりとりする情報処理装置が知られている。こ
れらの情報処理装置は、音声のみでなく、通話の当事者
が互いに相手の表情を見ながら話しをすることができ、
さらに、文字や写真などの画像も送ることができるた
め、音声だけの場合に比べてはるかに多い情報量を授受
でき、密度が濃く、深遠な会話が可能であった。2. Description of the Related Art Conventionally, there has been known an information processing apparatus for exchanging image data and audio data through a communication line using an information processing apparatus having a camera and a microphone as a terminal, such as a videophone or a computer communication. These information processing devices allow not only the voice but also the parties of the call to talk while seeing each other's expressions,
Furthermore, since images such as characters and photographs can be sent, a much larger amount of information can be exchanged than in the case of only voice, and a dense and deep conversation was possible.
【０００３】[0003]
【従来技術の問題点】これらの情報処理装置では、通信
の当事者の意向に係わらず、双方の画像データが送信さ
れるものであった。そのため、通信の当事者同士が互い
に通信を行う前に容姿を整えたり、周囲を整理するな
ど、通信に不必要な作業を要する事態がしばしば発生し
ていた。2. Description of the Related Art In these information processing apparatuses, both image data are transmitted irrespective of a communication party's intention. For this reason, situations in which communication parties need to perform unnecessary work, such as adjusting their appearance and organizing their surroundings, before communicating with each other, have often occurred.
【０００４】それゆえに、通信の簡易性が損なわれてい
た。また、会話をする目的を予めもっている送信者に比
べ、受信者は会話をする準備が不十分となるため、受信
者のプライバシー保護の観点が欠けていた。すなわち、
従来の音声と画像による情報通信においては、使用者の
状態を画像データとしてそのまま相手に伝えてしまうた
め、通信の受信者の意向に反して通信を行わなければな
らない場合においては、通信の受信者に精神的な苦痛を
与えていた。[0004] Therefore, simplicity of communication has been impaired. Further, compared with a sender who has a purpose of having a conversation in advance, the receiver is not sufficiently prepared to have a conversation, and thus lacks a viewpoint of protecting the privacy of the receiver. That is,
In conventional information communication using voice and images, since the state of the user is directly transmitted to the other party as image data, when communication must be performed contrary to the intention of the receiver of the communication, the receiver of the communication Was giving mental pain.
【０００５】たとえば、朝起きたばかりの状態で、カメ
ラとマイクロフォンを具備した情報処理装置による通話
の必要に迫られた場合など、衣服や髪形、化粧、周囲等
が乱れていたり、相手に対して失礼な出で立ちであった
りした場合、あるいは極度に疲労して表情が暗くなりが
ちな場合など、カメラで撮影される自分の姿の画像デー
タを相手に送ることを拒み、画像データの送信を拒絶し
なければならなくなってしまった。そのため、通信の受
信者の最小限のプライバシーを保護するためには、画像
データの送信を停止して音声データのみの通信を行うこ
とになり、画像と音声による情報通信によるサービスは
十分に有効利用されなくなることがあった。[0005] For example, when the user has just got up in the morning and needs to make a call using an information processing device equipped with a camera and a microphone, clothes, hairstyles, makeup, surroundings, etc. are disturbed or the other party is rude. You must refuse to send image data of yourself taken by the camera to the other party, such as when you stand out or when you are extremely tired and your facial expression tends to be dark, and you must refuse to send image data Has become no longer. Therefore, in order to protect the minimum privacy of communication recipients, transmission of image data will be stopped and communication of only audio data will be performed, and services using image and voice information communication will be fully utilized Was no longer possible.
【０００６】また、送信者においても、急に情報伝達の
必要に迫られたときなど、相手に対して失礼にならない
程度のみなりを整え、周囲を整頓してからでないと、画
像を伴った通話を行うことは控えたいと判断し、結局、
音声のみの通常の電話やファクシミリで要件を片づける
といったことになりやすかった。[0006] In addition, even when the sender suddenly needs to transmit information, it is necessary to arrange only a degree that is not rude to the other party, and unless the surroundings are tied up, a call with an image is made. Decided to refrain from doing
It was easy to get rid of the requirements with a normal voice-only phone or facsimile.
【０００７】[0007]
【発明が解決しようとする課題】本発明は、カメラとマ
イクロフォンを具備する情報処理装置を用いて、画像デ
ータと音声データを授受するに際し、送信者が望まない
画像データを送信せず、かつ画像と音声による会話を可
能とする情報処理装置を提供することを目的とする。SUMMARY OF THE INVENTION According to the present invention, when transmitting and receiving image data and audio data using an information processing apparatus having a camera and a microphone, the sender does not transmit undesired image data, and It is an object of the present invention to provide an information processing apparatus that enables conversation by voice with a computer.
【０００８】[0008]
【課題を解決するための手段】上記課題を解決するため
に、本明細書で開示する主要な発明の内の一つは、伝送
路を使用して、情報処理装置間で該情報処理装置の各使
用者の画像データと音声データを送受信するカメラとマ
イクロフォンを具備する情報処理装置において、前記カ
メラによって得られた、前記使用者およびその周囲の画
像データのうち、前記使用者の顔以外の部分を、前記画
像データと異なるように画像処理を行い、該画像処理に
より得られた画像データを、他の情報処理装置に送信す
ることを特徴とする情報処理装置である。上記構成にお
いて、顔以外の部分とは、背景、服装、髪形、首から下
の部分などをいう。Means for Solving the Problems In order to solve the above problems, one of the main inventions disclosed in the present specification is to use a transmission line to exchange information processing apparatuses between the information processing apparatuses. In an information processing apparatus including a camera and a microphone for transmitting and receiving image data and audio data of each user, a portion other than the user's face of the user and surrounding image data obtained by the camera An image processing apparatus performs image processing differently from the image data, and transmits image data obtained by the image processing to another information processing apparatus. In the above configuration, the portion other than the face refers to a background, clothes, a hairstyle, a portion below the neck, and the like.
【０００９】また、本明細書で開示する主要な構成の内
の一つは、伝送路を使用して、情報処理装置間で該情報
処理装置の各使用者の画像データと音声データを送受信
するカメラとマイクロフォンを具備する情報処理装置に
おいて、前記カメラによって得られた、前記使用者の顔
の表情の画像データを他の情報処理装置に対して送信す
る際に、他の画像データに切り換える、または他の画像
データと合成することを特徴とする情報処理装置であ
る。[0009] One of the main components disclosed in this specification transmits and receives image data and audio data of each user of the information processing device between the information processing devices using a transmission path. In an information processing device including a camera and a microphone, when image data of the facial expression of the user obtained by the camera is transmitted to another information processing device, the image data is switched to another image data, or An information processing apparatus characterized by combining with other image data.
【００１０】また、本明細書で開示する主要な構成の内
の一つは、伝送路を使用して、情報処理装置間で該情報
処理装置の各使用者の画像データと音声データを送受信
するカメラとマイクロフォンを具備する情報処理装置に
おいて、前記カメラによって得られた、前記使用者の口
の動きと、前もって記録した前記使用者の表情の画像デ
ータとを合成した画像データを、他の情報処理装置に送
信することを特徴とする情報処理装置である。One of the main components disclosed in this specification is to transmit and receive image data and audio data of each user of the information processing device between the information processing devices using a transmission line. In an information processing apparatus including a camera and a microphone, image data obtained by combining the movement of the mouth of the user obtained by the camera and the image data of the expression of the user recorded in advance is processed by another information processing apparatus. An information processing apparatus characterized by transmitting the information to an apparatus.
【００１１】また、本明細書で開示する主要な構成の内
の一つは、伝送路を使用して、情報処理装置間で該情報
処理装置の各使用者の画像データと音声データを送受信
するカメラとマイクロフォンを具備する情報処理装置に
おいて、前記カメラによって得られた、前記使用者の顔
の表情の画像データに対し、画像処理を施して前記使用
者の疲労度を検出し、前記疲労度に応じて、他の情報処
理装置に対して送信する前記使用者の表情の画像データ
を、前記カメラによって得られた、前記使用者の口の動
きと、前もって記録した前記使用者の表情の画像データ
とを合成した画像データに切り換えることを特徴とする
情報処理装置である。One of the main components disclosed in the present specification transmits and receives image data and audio data of each user of the information processing device between the information processing devices using a transmission line. In an information processing apparatus including a camera and a microphone, the image data of the facial expression of the user obtained by the camera is subjected to image processing to detect the degree of fatigue of the user, and the degree of fatigue is determined. In response, the image data of the expression of the user to be transmitted to another information processing apparatus, the movement of the mouth of the user, obtained by the camera, and the image data of the expression of the user recorded in advance The information processing apparatus is characterized by switching to image data obtained by combining
【００１２】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者の顔の
表情の画像データに対し、画像処理を施して前記使用者
の疲労度を検出し、前記使用者に応じて、他の情報処理
装置に対して送信する前記使用者の表情の画像データ
を、前記カメラによって得られた、前記使用者の口の動
きと、前もって記録した前記使用者の表情の画像データ
とを合成した画像データに切り換える情報処理装置であ
って、前記使用者の表情の画像データより、前記使用者
の単位時間当たりの瞬きの回数を測定して、該瞬きの回
数と、事前に測定した前記使用者の単位時間当たりの瞬
きの基準回数との比率により、前記使用者の疲労度を求
めることを特徴とする情報処理装置である。One of the main constitutions disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing apparatus between the information processing apparatuses using a transmission line. And an information processing device including a microphone, the image data of the facial expression of the user obtained by the camera is subjected to image processing to detect the degree of fatigue of the user, The image data of the expression of the user to be transmitted to another information processing apparatus, the movement of the mouth of the user, obtained by the camera, and the image data of the expression of the expression of the user recorded in advance. Is an information processing device that switches to image data obtained by combining the image data, wherein the number of blinks per unit time of the user is measured from the image data of the expression of the user, and the number of blinks is measured in advance. The ratio of the reference number of blinks per unit of time said user, an information processing apparatus characterized by determining the degree of fatigue of the user.
【００１３】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者の顔の
表情の画像データに対し、画像処理を施して前記使用者
の疲労度を検出し、前記使用者に応じて、他の情報処理
装置に対して送信する前記使用者の表情の画像データ
を、前記カメラによって得られた、前記使用者の口の動
きと、前もって記録した前記使用者の表情の画像データ
とを合成した画像データに切り換える情報処理装置であ
って、前記使用者の表情の画像データより、前記使用者
の単位時間当たりの瞬き回数の測定と、前記使用者の識
別とを行い、該識別に基づいて、事前に測定した使用者
の単位時間当たりの瞬きの基準回数を参照し、前記使用
者の単位時間当たりの瞬きの回数と、前記瞬きの基準回
数との比率により、前記使用者の疲労度を求めることを
特徴とする情報処理装置である。One of the main constitutions disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing apparatus between the information processing apparatuses using a transmission line. And an information processing device including a microphone, the image data of the facial expression of the user obtained by the camera is subjected to image processing to detect the degree of fatigue of the user, The image data of the expression of the user to be transmitted to another information processing apparatus, the movement of the mouth of the user, obtained by the camera, and the image data of the expression of the expression of the user recorded in advance. An information processing apparatus that switches to image data obtained by combining the image data, the image data of the expression of the user, the number of blinks per unit time of the user is measured, and the user is identified. Based on the reference number of blinks per unit time of the user measured in advance based on the ratio of the number of blinks per unit time of the user and the reference number of blinks, the fatigue of the user An information processing apparatus for determining a degree.
【００１４】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者の顔の
表情の画像データに対し、画像処理を施して前記使用者
の疲労度を検出し、前記使用者に応じて、他の情報処理
装置に対して送信する前記使用者の表情の画像データ
を、前記カメラによって得られた、前記使用者の口の動
きと、前もって記録した前記使用者の表情の画像データ
とを合成した画像データに切り換える情報処理装置であ
って、前記使用者の表情の画像データより、使用者の単
位時間当たりの瞬き回数を測定し、ＩＤ番号の入力によ
り前記使用者を識別し、該識別に基づいて、事前に測定
した使用者の単位時間当たりの瞬きの基準回数を参照
し、前記使用者の単位時間当たりの瞬きの回数と、前記
瞬きの基準回数との比率により、前記使用者の疲労度を
求めることを特徴とする情報処理装置である。One of the main constitutions disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing apparatus between the information processing apparatuses using a transmission line. And an information processing device including a microphone, the image data of the facial expression of the user obtained by the camera is subjected to image processing to detect the degree of fatigue of the user, The image data of the expression of the user to be transmitted to another information processing apparatus, the movement of the mouth of the user, obtained by the camera, and the image data of the expression of the expression of the user recorded in advance. Is an information processing apparatus for switching to image data obtained by combining the image data, wherein the number of blinks per unit time of the user is measured from the image data of the expression of the user, and the user is identified by inputting an ID number. Based on the identification, refer to the reference number of blinks per unit time of the user measured in advance, by the ratio of the number of blinks per unit time of the user and the reference number of blinks, An information processing apparatus for determining a user's degree of fatigue.
【００１５】すなわち、本明細書で開示する主要な発明
の内１つは、カメラとマイクロフォンを具備する情報処
理装置（伝送路に接続したパーソナルコンピュータ、テ
レビ電話）において、使用者の瞬きの回数をカメラから
取り込んだ画像データから求め、内部のタイマ回路から
単位時間当たりの瞬きの回数を計算することにより使用
者の疲労度を推定し、ある一定の値を越えた場合には使
用者の送信する画像データは実際のものではなく、予め
撮影、記録された画像データに使用者の口の動きを合成
したものを送信することを特徴とする情報処理装置であ
る。[0015] That is, one of the main inventions disclosed in this specification is that an information processing apparatus (a personal computer or a videophone connected to a transmission path) having a camera and a microphone determines the number of times a user blinks. The degree of user fatigue is estimated by calculating from the image data captured from the camera and calculating the number of blinks per unit time from an internal timer circuit, and when the value exceeds a certain value, the user transmits. The image data is not an actual one, but is an information processing apparatus characterized by transmitting a synthesized image of a user's mouth with previously captured and recorded image data.
【００１６】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者の顔の
表情の画像データに対し、画像処理を施して前記使用者
の疲労度を検出し、前記使用者に応じて、他の情報処理
装置に対して送信する前記使用者の表情の画像データ
を、前記カメラによって得られた、前記使用者の口の動
きと、前もって記録した前記使用者の表情の画像データ
とを合成した画像データに切り換える情報処理装置であ
って、前記使用者の疲労度は、前記使用者の表情の画像
データより、前記使用者の眼球の充血の度合いを測定す
ることにより求めることを特徴とする情報処理装置であ
る。One of the main constitutions disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing apparatus between the information processing apparatuses using a transmission line. And an information processing device including a microphone, the image data of the facial expression of the user obtained by the camera is subjected to image processing to detect the degree of fatigue of the user, The image data of the expression of the user to be transmitted to another information processing apparatus, the movement of the mouth of the user, obtained by the camera, and the image data of the expression of the expression of the user recorded in advance. Wherein the user's fatigue level is determined by measuring the degree of hyperemia of the user's eyeballs from the image data of the user's facial expression. Preparative an information processing apparatus according to claim.
【００１７】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者の顔の
表情の画像データに対し、画像処理を施して前記使用者
の疲労度を検出し、前記使用者に応じて、他の情報処理
装置に対して送信する前記使用者の表情の画像データ
を、前記カメラによって得られた、前記使用者の口の動
きと、前もって記録した前記使用者の表情の画像データ
とを合成した画像データに切り換える情報処理装置であ
って、前記使用者の表情の画像データより、前記使用者
の眼球の充血の度合いの測定と、前記使用者の識別とを
行い、該識別に基づいて、充血の度合いの比較のための
基準となる画像データを参照し、前記使用者の眼球の充
血の度合いと、基準となる充血の度合いとの比較によ
り、前記使用者の疲労度を求めることを特徴とする情報
処理装置である。One of the main constitutions disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing apparatus between the information processing apparatuses using a transmission line. And an information processing device including a microphone, the image data of the facial expression of the user obtained by the camera is subjected to image processing to detect the degree of fatigue of the user, The image data of the expression of the user to be transmitted to another information processing apparatus, the movement of the mouth of the user, obtained by the camera, and the image data of the expression of the expression of the user recorded in advance. An information processing apparatus that switches to image data obtained by combining the image data of the user with the image data of the user's facial expression, measuring the degree of hyperemia of the user's eyeballs, and identifying the user, based on the identification. Zu Determining the degree of fatigue of the user by comparing the degree of hyperemia of the eyeball of the user and the degree of hyperemia as a reference with reference to image data serving as a reference for comparison of the degree of hyperemia. An information processing apparatus characterized by the following.
【００１８】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者の顔の
表情の画像データに対し、画像処理を施して前記使用者
の疲労度を検出し、前記使用者に応じて、他の情報処理
装置に対して送信する前記使用者の表情の画像データ
を、前記カメラによって得られた、前記使用者の口の動
きと、前もって記録した前記使用者の表情の画像データ
とを合成した画像データに切り換える情報処理装置であ
って、前記使用者の表情の画像データより、前記使用者
の眼球の充血の度合いを測定し、ＩＤ番号の入力により
前記使用者を識別し、該識別に基づいて、充血の度合い
の比較のための基準となる画像データを参照し、前記使
用者の眼球の充血の度合いと、基準となる充血の度合い
との比較により、前記使用者の疲労度を求めること、を
特徴とする情報処理装置である。One of the main constitutions disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing apparatus between the information processing apparatuses using a transmission line. And an information processing device including a microphone, the image data of the facial expression of the user obtained by the camera is subjected to image processing to detect the degree of fatigue of the user, The image data of the expression of the user to be transmitted to another information processing apparatus, the movement of the mouth of the user, obtained by the camera, and the image data of the expression of the expression of the user recorded in advance. An information processing apparatus that switches to image data obtained by combining the image data, wherein the degree of hyperemia of the user's eyeball is measured from the image data of the expression of the user, and the user is identified by inputting an ID number. Based on the identification, reference is made to image data serving as a reference for comparison of the degree of hyperemia, and by comparing the degree of hyperemia of the eyeball of the user with the degree of hyperemia as a reference, fatigue of the user is obtained. An information processing apparatus characterized in that a degree is obtained.
【００１９】すなわち、本明細書で開示する主要な発明
の内１つは、カメラとマイクロフォンを具備する情報処
理装置において、使用者の眼球の充血の度合いをカメラ
から取り込んだ画像データから求めることにより使用者
の疲労度を推定し、ある一定の値を越えた場合には使用
者の送信する画像データは実際のものではなく、予め撮
影、記録された画像データに使用者の口の動きを合成し
たものを送信することを特徴とする情報処理装置であ
る。That is, one of the main inventions disclosed in the present specification is that an information processing apparatus having a camera and a microphone obtains the degree of hyperemia of a user's eyeball from image data captured from the camera. The user's fatigue level is estimated, and if it exceeds a certain value, the image data transmitted by the user is not the actual one, but the mouth movement of the user is synthesized with the image data shot and recorded in advance An information processing apparatus characterized in that the transmitted information is transmitted.
【００２０】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者および
その周囲の画像データのうち、前記使用者の背景を、画
像処理により任意の背景に変更し、該画像処理により得
られた画像データを、他の情報処理装置に送信すること
を特徴とする情報処理装置である。One of the main constitutions disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing apparatus between the information processing apparatuses using a transmission line. And an information processing device including a microphone, of the image data of the user and its surroundings obtained by the camera, changing the background of the user to an arbitrary background by image processing. An information processing apparatus characterized by transmitting obtained image data to another information processing apparatus.
【００２１】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者および
その周囲の画像データのうち、前記使用者の顔に対し、
画像処理により化粧の装飾を施し、該画像処理により得
られた画像データを他の情報処理装置に送信することを
特徴とする情報処理装置である。One of the main components disclosed in the present invention is a camera that transmits and receives image data and audio data of each user of the information processing device between the information processing devices using a transmission line. And an information processing apparatus comprising a microphone, obtained by the camera, of the user and the surrounding image data, for the face of the user,
An information processing apparatus characterized by applying makeup decoration by image processing and transmitting image data obtained by the image processing to another information processing apparatus.
【００２２】また、本発明で開示する主要な構成の内の
一つは、伝送路を使用して、情報処理装置間で該情報処
理装置の各使用者の画像データと音声データを送受信す
るカメラとマイクロフォンを具備する情報処理装置にお
いて、前記カメラによって得られた、前記使用者および
その周囲の画像データのうち、画像処理により、前記使
用者の顔に対し化粧の装飾を施しかつ背景を前記使用者
の任意の背景に変更し、該画像処理により得られた画像
データを他の情報処理装置に送信することを特徴とする
情報処理装置である。One of the main components disclosed in the present invention is a camera for transmitting and receiving image data and audio data of each user of the information processing device between the information processing devices using a transmission line. And an information processing apparatus including a microphone, wherein, of the image data of the user and the surroundings obtained by the camera, the face of the user is subjected to makeup decoration by image processing and the background is used by the user. The information processing apparatus changes the background to an arbitrary background of the user and transmits image data obtained by the image processing to another information processing apparatus.
【００２３】すなわち、本明細書で開示する主要な発明
の内もう１つは、カメラとマイクロフォンを具備する情
報処理装置において、使用者の選択により任意の背景に
変更し、他の情報処理装置に対して画像データを転送、
送信する前記使用者の背景の画像データを切り換えるこ
とを特徴とする情報処理装置である。That is, another one of the main inventions disclosed in this specification is that an information processing apparatus having a camera and a microphone is changed to an arbitrary background by a user's selection, and is changed to another information processing apparatus. Transfer image data to
An information processing apparatus for switching image data of a background of the user to be transmitted.
【００２４】[0024]
【実施例】図１に本実施例におけるブロック図を示す。
これは、ＣＣＤカメラとマイクロフォンを装着したＰＣ
（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）またはＷＳ（Ｗ
ｏｒｋｓｔａｔｉｏｎ）の例である。ＭＰＵ（Ｍｉｃｒ
ｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（１０１）は、
メモリコントローラ（１０３）や回線ＬＳＩ（１１０）
の制御を行う。主記憶装置（１０２）は、ＣＣＤカメラ
（１０７）から取り込まれた画像データを展開し、主記
憶装置（１０２）上で使用者の表情より疲労度を検出す
るための画像処理を行う。FIG. 1 shows a block diagram of the present embodiment.
This is a PC with a CCD camera and microphone
(PersonalComputer) or WS (W
(or station). MPU (Micr
o Processing Unit) (101)
Memory controller (103) and line LSI (110)
Control. The main storage device (102) develops image data captured from the CCD camera (107) and performs image processing on the main storage device (102) to detect the degree of fatigue from the user's facial expression.
【００２５】メモリコントローラ（１０３）は、ＶＲＡ
Ｍ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍ
ｏｒｙ）（１０４）のリフレッシュ動作及びＲｅａｄ／
Ｗｒｉｔｅの制御を行い、ＶＲＡＭ（１０４）のデータ
をＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓ
ｓ）転送により主記憶装置（１０２）上に転送する。Ｃ
ＣＤカメラ（１０７）から使用者の画像を取り込み、取
り込んだビデオ信号をＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇ
ｎａｌ Ｐｒｏｃｅｓｓｏｒ）（１０６）で画像データ
の２値化を行い、ＶＲＡＭ（１０４）上に保持させる。The memory controller (103)
M (Video Random Access Mem)
ory) (104) refresh operation and Read /
Write is controlled, and the data in the VRAM (104) is transferred to the DMA (Direct Memory Accesses).
s) Transfer to main memory (102) by transfer. C
An image of the user is captured from the CD camera (107), and the captured video signal is converted to a DSP (Digital Sig).
The image data is binarized by a nal processor (106) and stored in the VRAM (104).
【００２６】マイクロフォン（１０９）は、使用者の音
声を取り込み、Ａ／Ｄコンバータ（１０８）で音声信号
のディジタル化を行い、ＶＲＡＭ（１０４）上に保持さ
せる。回線ＬＳＩ（１１０）は、外部の回線とインタフ
ェースをとり、主記憶装置（１０２）上の画像データと
音声データをＤＭＡ転送により、外部の回線のプロトコ
ルで定義されるパケット形式にして通信相手に送信す
る。本実施例では、ＰＣやＷＳのバスに接続するインテ
リジェント型のオプションボードでも、ダム型のオプシ
ョンボードでも、ＰＣやＷＳのＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で周辺回路を直接
制御しても構わない。The microphone (109) captures the voice of the user, digitizes the voice signal with the A / D converter (108), and stores it on the VRAM (104). The line LSI (110) interfaces with an external line, and transmits image data and audio data in the main storage device (102) to a communication partner in a packet format defined by an external line protocol by DMA transfer. I do. In the present embodiment, an intelligent option board connected to a PC or WS bus, a dumb option board, or a CPU (Central) of a PC or WS.
Peripheral circuits may be directly controlled by a processing unit.
【００２７】実際の動作について以下に説明する。ＣＣ
Ｄカメラ（１０７）で使用者の画像を取り込み、ＤＳＰ
（１０６）でビデオ信号を２値化して、ＶＲＡＭ（１０
４）上に記録する。また、同時にマイクロフォン（１０
９）で使用者の音声を取り込み、Ａ／Ｄコンバータ（１
０８）でアナログ信号をディジタル化して、ＶＲＡＭ
（１０４）上に記録する。この時、ＭＰＵ（１０１）で
ＶＲＡＭ（１０４）上の取り込んだ画像データを主記憶
装置（１０２）で画像処理を施すことにより、一定時間
あたりの使用者の瞬きの回数を計算する。そして、瞬き
の回数が一定値以上である場合には、予めハードディス
ク又はフラッシュメモリ上に保存された使用者の画像を
採用し、取り込んだ画像の口の部分と合成して、主記憶
装置（１０２）に保持して、回線ＬＳＩ（１１０）によ
ってＤＭＡ転送を行い、回線に画像データを送信するこ
とにより、あたかも使用者が予め記録された服装と背景
で話しているかのように、画像データを送信することが
可能になる。合成は、口のみでなく、目や皮膚の動き、
顔全体において行ってもよい。さらに疲労した表情では
なく、健康時の明るい表情に現在の口の動きやその他目
や皮膚の動きなどの表情を合成して相手に送信すること
もでき、通信相手に好感を与えることができる。The actual operation will be described below. CC
The image of the user is captured by the D camera (107), and the
In (106), the video signal is binarized and the VRAM (10
4) Record above. At the same time, the microphone (10
At 9), the user's voice is captured, and the A / D converter (1)
08), the analog signal is digitized and VRAM
(104). At this time, the MPU (101) performs image processing on the fetched image data on the VRAM (104) in the main storage device (102), thereby calculating the number of blinks of the user per fixed time. If the number of blinks is equal to or more than a certain value, the image of the user stored in advance on the hard disk or flash memory is adopted, combined with the mouth portion of the captured image, and ), A DMA transfer is performed by the line LSI (110), and the image data is transmitted to the line, so that the image data is transmitted as if the user is talking with clothes recorded in advance in the background. It becomes possible to do. Synthesis involves not only the mouth, but also the movement of the eyes and skin
It may be performed on the entire face. Furthermore, instead of a tired expression, a bright expression at the time of health can be combined with a current expression of the mouth movement and other expressions such as eye and skin movements and transmitted to the other party, and the communication partner can be given a favorable feeling.
【００２８】尚、使用者の識別は、取り込んだ画像と保
存された画像を比較して識別してもよいし、使用者にユ
ーザＩＤを与えておいて、それを入力させてもよい。以
上のようにして、使用者の状況に応じて使用者の送信す
る画像をカメラから取り込んだ画像と、予め使用者が本
装置を利用して取り込んだ画像を切り替え、合成するこ
とで、使用者の望まない映像は送信せず、かつ使用者の
表情を明瞭に相手に送信することが実現できる。これに
よりプライバシーを保護し、また、相手に失礼のない映
像を送信できる。The user may be identified by comparing the captured image with the stored image, or the user may be given a user ID and input it. As described above, the image captured by the user is transmitted from the camera according to the user's situation, and the image captured by the user in advance by using the present apparatus is switched and synthesized. Can be realized without transmitting undesired images and clearly transmitting the expression of the user to the other party. As a result, privacy can be protected, and a video without rudeness can be transmitted to the other party.
【００２９】図３に、本実施例で用いた端末の情報処理
装置の構成例を示す。図３に示す情報処理装置は、キー
ボード（２００）、マウス等のポインティングデバイス
（２０１）、モニター（２０２）、スピーカー（２０
３）、ＣＣＤカメラ（２０４）、マイクロフォン（２０
５）によって構成される。この情報処理装置は、ＣＣＤ
カメラ（２０４）で使用者を撮影し、マイクロフォン
（２０５）により音声データを得る。他方、モニター
（２０２）には、主に他の情報処理装置から送られてき
た通信相手の画像データが出力され、またスピーカー
（２０３）より、主に通信相手の音声が再生される。こ
のような情報処理装置において、ＣＣＤカメラ（２０
４）で取り込んだ画像データを、上記のように加工し
て、他の情報処理装置に送信する。FIG. 3 shows a configuration example of a terminal information processing apparatus used in this embodiment. The information processing apparatus shown in FIG. 3 includes a keyboard (200), a pointing device (201) such as a mouse, a monitor (202), a speaker (20).
3), CCD camera (204), microphone (20
5). This information processing device is a CCD
The user is photographed by the camera (204), and voice data is obtained by the microphone (205). On the other hand, the monitor (202) mainly outputs the image data of the communication partner sent from another information processing device, and the speaker (203) mainly reproduces the voice of the communication partner. In such an information processing apparatus, a CCD camera (20
The image data captured in 4) is processed as described above and transmitted to another information processing device.
【００３０】ここで、画像処理の基本的な手法について
説明をする。画像処理装置では、入力画像を２値化して
２値画像に変換している。２値化は明るさが一定の値
（しきい値）以上を１、それ以外を０とする。しきい値
の決め方には次の方法がある。Here, a basic method of image processing will be described. The image processing apparatus binarizes an input image and converts it into a binary image. In the binarization, the brightness is set to 1 when the brightness is equal to or more than a predetermined value (threshold), and set to 0 otherwise. There are the following methods for determining the threshold value.
【００３１】・固定しきい値 予めしきい値を与えておく。対象の変化が少なくコント
ラストが十分にある場合に使える。Fixed threshold value A threshold value is given in advance. This can be used when there is little change in the object and there is sufficient contrast.
【００３２】・ｐタイル法 画像内で１となる部分の割合が既知の場合に有効であ
る。通常は、明るさのヒストグラムをとり、累積分布が
ｐパーセントとなる明るさをしきい値とする。予めヒス
トグラムをとらなくても、適当なしきい値で２値化し
て、１の割合を調べることを繰り返すことにより、ほぼ
ｐパーセントとなるしきい値を得ることができる。The p-tile method is effective when the ratio of the portion which becomes 1 in the image is known. Normally, a brightness histogram is obtained, and the brightness at which the cumulative distribution is p percent is set as the threshold. Even if a histogram is not taken in advance, a threshold value that is approximately p percent can be obtained by repeating binarization with an appropriate threshold value and checking the ratio of 1.
【００３３】・モード法 明るさのヒストグラムが双峰性であれば、その谷の明る
さの値をしきい値とする。画面全体に一定のしきい値を
適用するのではなく、画面を分割し、分割された領域に
対してモード法によってしきい値を決める変動しきい値
法もある。Mode Method If the brightness histogram is bimodal, the brightness value of the valley is used as the threshold value. Instead of applying a fixed threshold value to the entire screen, there is also a variable threshold method in which the screen is divided and a threshold value is determined for the divided area by a mode method.
【００３４】・浮動２値化、移動平均しきい値 明るさの信号の振幅を減衰させ、遅らせた信号をしきい
値とすれば、急変する明るさの変化を検出することもで
きる。類似な方法であるが、明るさの一定期間の平均を
しきい値とする移動平均法も用いられる。Floating Binarization, Moving Average Threshold If the amplitude of a brightness signal is attenuated and the delayed signal is used as a threshold, a sudden change in brightness can be detected. Although a similar method is used, a moving average method using an average of a certain period of brightness as a threshold is also used.
【００３５】特定のパターンがどこにあるかを知るパタ
ーンマッチングの原理を図２に示す。対象画像は２値画
像とし、求める領域が１とする。その領域を画像の適当
な位置に設定して、対象画像との重なりを調べる。いく
つかの位置に対して調べ、その重なりが最大でそのとき
の不一致が小さければ、パターンの位置がわかる。もし
どこでも不一致が小さくならなければ、そのようなパタ
ーンはないものとみなす。FIG. 2 shows the principle of pattern matching for knowing where a specific pattern is. The target image is a binary image, and the area to be obtained is 1. The region is set at an appropriate position in the image, and the overlap with the target image is checked. The position of the pattern can be known if the overlap is maximum and the mismatch at that time is small at several positions. If the discrepancy is not small anywhere, it is assumed that there is no such pattern.
【００３６】対象物体の２次元パターンが一定でなけれ
ば、単純なパターンマッチングだけでは十分でない。画
像から種々の特徴を抽出し、それを組み合わせて判断を
下さなければならない。画像の一部分から得られる特徴
は局所特徴と呼ばれ、これに基づいて以後の処理を行う
ことが多い。If the two-dimensional pattern of the target object is not constant, simple pattern matching is not enough. Various features must be extracted from the image and combined to make a decision. Features obtained from a part of the image are called local features, and subsequent processing is often performed based on these features.
【００３７】画像が何を表しているか知るためには、画
像から特徴を抽出して対象の記述を作り、それを予め与
えておいたモデルと照合することが必要である。特徴と
しては、点や線、領域といくつかのレベルがある。すな
わち特徴が小さな局所領域だけから抽出できるか、より
大きい領域の状態を反映しているかである。また、点を
つないで線にしたり、線で囲まれた領域を求めたりする
ように、特徴は階層的に表される。そのいずれも特徴
で、どのレベルが適当であるかは目的によって異なる。In order to know what the image represents, it is necessary to extract a feature from the image, create a description of the object, and compare it with a previously given model. Features include points, lines, regions and several levels. That is, whether the feature can be extracted only from a small local area or reflects the state of a larger area. In addition, the features are represented in a hierarchical manner such that a point is connected to form a line or an area surrounded by the line is obtained. Each of them is characteristic, and the appropriate level depends on the purpose.
【００３８】明るさの異なる２つの領域の境界の一部で
ある縁や濃淡画像から拙出するためには、空間微分が用
いられることが多い。ある点の明るさの差とその方向を
求めるためには、明るさｆ（ｘ，ｙ）の勾配を計算すれ
ばよい。もしｆ（ｘ，ｙ）が連続画像であれば、勾配ｇ
ｒａｄ〔ｆ（ｘ，ｙ）〕は数１で表される２次元ベクト
ルとなる。Spatial differentiation is often used in order to extract from an edge or a grayscale image which is a part of the boundary between two regions having different brightness. In order to find the difference in brightness at a certain point and its direction, the gradient of the brightness f (x, y) may be calculated. If f (x, y) is a continuous image, the gradient g
rad [f (x, y)] is a two-dimensional vector represented by Expression 1.
【００３９】[0039]
【数１】 (Equation 1)
【００４０】この絶対値が大きければ、そこには縁が存
在し、その勾配に直角方向とする。一方、線の幅がある
程度大きければ、方向が反対の２組の勾配があれば、こ
れが線の境界であるとすることができる。また、線の幅
が小さければ、数２のラプラシアンを使うことができ
る。If the absolute value is large, an edge exists there and the direction is set to be perpendicular to the gradient. On the other hand, if the width of the line is large to some extent, if there are two sets of gradients in opposite directions, this can be regarded as the boundary of the line. If the width of the line is small, the Laplacian of Formula 2 can be used.
【００４１】[0041]
【数２】 (Equation 2)
【００４２】ラプラシアンの値が大きければ、そこが他
より暗く、負であれば他より明るい。If the value of Laplacian is large, it is darker than others, and if negative, it is brighter than others.
【００４３】縁や線要素をつないで１つの線を抽出する
には、線要素を求め、画像を４×４の画素の小領域に分
割し、各小領域内にある縁点（縁要素）の中から微分値
が最大のものを残して他を消去する。それぞれの縁点に
ついて、近傍の明るさを調べることによって縁の方向を
求めておく。次に隣接する小領域内にある縁の方向がほ
ぼ等しければ、その２つの縁点を連結する。どこにも連
結されない点はノイズとみなして除去する。この手続の
各過程では、画像の近傍だけを用いていて、しかも各点
における処理は、他の点における処理と独立である。こ
のような処理は局所処理と呼ばれ、各点の処理を並列に
行うこともできる。In order to extract one line by connecting edges and line elements, a line element is obtained, the image is divided into small areas of 4 × 4 pixels, and edge points (edge elements) in each small area are obtained. The others except the one with the largest differential value are deleted. For each edge point, the direction of the edge is determined by examining the brightness in the vicinity. Next, if the directions of the edges in the adjacent small areas are substantially equal, the two edge points are connected. Points that are not connected anywhere are regarded as noise and removed. In each step of this procedure, only the neighborhood of the image is used, and processing at each point is independent of processing at other points. Such processing is called local processing, and processing of each point can be performed in parallel.
【００４４】局所処理を何回も行って線を検出するため
に、次に述べるような確率を用いる方法もある。はじめ
に縁点検出によって、縁点の強さ（微分の絶対値）と方
向が求められているとする。各縁点が線の上にある確率
の初期値を、縁点の強さに基づいて決めておく。次に各
縁点の確率を、近傍の縁点の強さや方向によって変更し
ていく。例えば、ある縁点とその近傍にある別の縁点が
同じ方向であればその縁点の確率を増加させ、大きく異
なった方向であれば減少させる。このような修正を何回
も繰り返すと、次第にノイズは消え、線上の縁点の確率
は１に近づく。以上の手法は、弛緩法と呼ばれている。In order to detect the line by performing the local processing many times, there is a method using the following probability. First, it is assumed that the strength (the absolute value of the differential) and the direction of the edge point are obtained by the edge point detection. An initial value of the probability that each edge is on the line is determined based on the strength of the edge. Next, the probability of each edge point is changed according to the strength and direction of a nearby edge point. For example, if an edge point and another edge point near the edge point are in the same direction, the probability of the edge point is increased, and if the edge point is significantly different, the probability is decreased. If such correction is repeated many times, the noise gradually disappears, and the probability of the edge on the line approaches 1. The above method is called a relaxation method.
【００４５】パラメータ空間法は、直線をｘｃｏｓθ＋
ｙｓｉｎθ＝ρで表し、得られた境界点の座標（ｘi ，
ｙi ）２をθ−ρ平面に変換すれば、この平面では、ρ
＝ｘ i ｃｏｓθ＋ｙi ｓｉｎθで表される曲線となる。
シーン内のすべての境界点を変換すれば、同一直線上の
点はすべてθ−ρ平面の１点を通る。従って多数の曲線
が通っている点（θ0 ，ρ0 ）を求めれば、直線の方程
式が得られる。境界点の方向がわかっていれば、ρに関
するヒストグラムから直線が決定される。パラメータ法
は未知パラメータの数だけの次元をもった空間内のヒス
トグラムを作る必要があるため曲線には適用が困難であ
る。しかし曲線の方程式に含まれるパラメータに一定の
拘束があって、パラメータ空間の次元を２以下に下げら
れる場合には有効である。In the parameter space method, a straight line is defined as xcos θ +
ysin θ = ρ, and the coordinates (xi,
yi) 2 is converted to the θ-ρ plane, then, in this plane, ρ
= X icos θ + yiIt becomes a curve represented by sin θ.
By converting all the boundary points in the scene,
All points pass through one point on the θ-ρ plane. So many curves
Passes through (θ0, Ρ0) Is the straight line
An expression is obtained. If the direction of the boundary point is known,
A straight line is determined from the histogram. Parameter method
Is hiss in a space with dimensions equal to the number of unknown parameters.
Curve is difficult to apply
You. However, certain parameters in the curve equation
Constrained, reduce the dimension of parameter space to 2 or less
It is effective when it is done.
【００４６】一般的な曲線を得るためには、追跡法が適
している。追跡は、隣接している縁点をつないで線を作
る手法である。追跡を行うためには次のような手続が必
要である。 ・追跡をはじめる点を検出する。 ・隣接する縁点の位置、および場合によってはその方向
を予測する。 ・予測に基づいて縁点を検出する。 ・さらに追跡を続けるか、あるいは追跡を終了するか決
定する。 追跡は、局所処理と異なり、直列処理を行う。従って１
つの縁点を見つける場合にも、その処理はそれ以前の処
理の結果に依存する。つまり得られる結果は、画像のど
こから処理をはじめるかによって異なることがある。し
かし直列処理では、以前に得られた情報を有効に用いる
ことによって、処理を効果的にする可能性をもってい
る。In order to obtain a general curve, a tracking method is suitable. Tracking is a method of creating a line by connecting adjacent edge points. The following procedures are required for tracking.・ Detect the point where tracking starts. Predict the location and possibly the direction of adjacent edges. Detect edge points based on prediction. • Decide whether to continue tracking or end tracking. Tracking performs serial processing, unlike local processing. Therefore 1
Even if one edge is found, the processing depends on the result of the previous processing. In other words, the obtained result may differ depending on where in the image to start processing. However, serial processing has the potential to make the processing more effective by effectively using the information obtained previously.
【００４７】均一な領域を抽出する方法は、領域法と呼
ばれ、次の２つの処理手順がある。 ・併合による領域法 はじめに小さな領域をたくさん作っておき、類似の領域
を併合していく。 ・分割による領域法 はじめは１つの領域で、異なる性質の領域に分割してい
く。The method of extracting a uniform area is called an area method, and has the following two processing procedures.・ Area method by merging First, many small areas are created and similar areas are merged. -Area method by division First, one area is divided into areas of different properties.
【００４８】併合による領域法は、はじめに基本領域と
呼ばれる明るさがほぼ等しい小領域を求めておく。次に
隣接する２つの領域の明るさの差、境界の長さ、領域の
形などに基づいて、領域を順次併合していく。この過程
は、もう併合できる領域がなくなるまで繰り返す。In the area method based on merging, first, a small area called a basic area having substantially the same brightness is obtained. Next, the regions are sequentially merged based on the difference in brightness between two adjacent regions, the length of the boundary, the shape of the regions, and the like. This process is repeated until there are no more mergeable areas.
【００４９】分割による領域法は、何に基づいて画像を
分割していけばよいかが重要な問題点となる。例えば、
カラー画像を各種の特性のヒストグラムに基づいて分割
する場合は次のようにする。はじめに画像の各画素の
赤、緑、青、明るさ、色相、彩度、カラーテレビ信号の
Ｙ、Ｉ、Ｑを求めておく。この９種類のヒストグラムを
作り、その中から顕著なピークと谷を形成するものを選
び、谷を境にして左右を分割する。画素がどちらの特性
をもっているかによって画像を分割する。つぎに、分割
された領域に対してそれぞれのヒストグラムを作ってさ
らに細かく分割する。この過程を繰り返し、もう分割で
きなくなるまで続ける。分割による領域法は、単なる明
るさだけではなく、この例のように比較的多くの情報を
利用できる場合に有効である。しかし必ずしもこのよう
に９種類もの特性を用いなくてもよい。In the area method based on the division, an important problem is to determine on what basis the image should be divided. For example,
When dividing a color image based on histograms of various characteristics, the following is performed. First, red, green, blue, brightness, hue, saturation, and Y, I, and Q of a color television signal of each pixel of an image are obtained. These nine types of histograms are created, and those which form remarkable peaks and valleys are selected from the histograms, and left and right are divided at the valley boundaries. The image is divided according to which characteristic the pixel has. Next, a histogram is created for each of the divided areas to further divide the area. Repeat this process until it can no longer be split. The area method based on the division is effective when not only the brightness but also a relatively large amount of information can be used as in this example. However, it is not always necessary to use as many as nine types of characteristics.
【００５０】上記のような手法を採り、使用者の画像デ
ータを取り込んだ後、使用者が瞬きをしたか否かを判断
したり、使用者の眼球の充血の度合いを計算することが
可能になる。また、本実施例では、ＣＣＤカメラで使用
者の眼球を観測したが、ゴーグルタイプのヘッドアップ
ディスプレイで眼球の視線の向きや瞳孔の反応を観察し
てもよい。After taking the image data of the user by employing the above-described method, it is possible to determine whether the user has blinked or to calculate the degree of redness of the user's eyeball. Become. In this embodiment, the eyeball of the user is observed with the CCD camera, but the gaze type head-up display may be used to observe the direction of the line of sight of the eyeball and the reaction of the pupil.
【００５１】なお、本実施例では服装や背景を変化させ
る例を示したが、例えば、疲労が激しいと判断された場
合、使用者の表情そのものを画像処理により変化させ、
健康状態のよい時の明るい元気な顔と合成した画像デー
タを、他の情報処理装置に送ってもよい。またその時
に、音声も微妙に音質や音程を制御して、例えば疲労が
激しく、声が低くなりがちのときに、明るい声になるよ
うにすることも有効である。In this embodiment, an example in which clothes and background are changed has been described. However, for example, when it is determined that fatigue is severe, the facial expression of the user is changed by image processing.
The image data combined with the bright cheerful face when the state of health is good may be sent to another information processing device. At that time, it is also effective to delicately control the sound quality and the pitch of the voice so that, for example, when the fatigue is severe and the voice tends to be low, the voice becomes bright.
【００５２】[0052]
【発明の効果】以上に示したように、カメラとマイクロ
フォンを備えた情報処理装置において、カメラから取り
込んだ画像データから判断するか、通信の送信者の意志
により、取り込んだ画像データを、予め取り込み、記録
していた画像データと合成して、服装、髪形、背景、化
粧等を、実際の物と異ならせて、通信相手に送信するこ
とにより、画像データを伴うデータ通信を行う際の、通
信の当事者のプライバシーを保護することができた。As described above, in an information processing apparatus provided with a camera and a microphone, the image data taken in from the camera can be determined in advance, or the taken image data can be taken in advance according to the communication sender's will. Combining with the recorded image data, the clothing, hairstyle, background, makeup, etc. are made different from the actual thing and transmitted to the communication partner, so that communication when performing data communication with image data Was able to protect the privacy of the parties.
【図１】 画像処理を行うカメラとマイクロフォンを備
えた情報処理装置のブロック図を示す。FIG. 1 is a block diagram illustrating an information processing apparatus including a camera and a microphone that perform image processing.
【図２】 画像処理のパターンマッチングの原理を示
す。FIG. 2 shows the principle of pattern matching in image processing.
【図３】 情報処理装置の構成の例を示す。FIG. 3 illustrates an example of a configuration of an information processing device.
１０１ ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ） １０２ 主記憶装置 １０３ メモリコントローラ １０４ ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃ
ｅｓｓ Ｍｅｍｏｒｙ） １０５ ＭＵＸ（Ｍｕｌｔｉｐｌｅｘｅｒ） １０６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒ
ｏｃｅｓｓｏｒ） １０７ ＣＣＤカメラ １０８ Ａ／Ｄコンバータ １０９ マイクロフォン １１０ 回線ＬＳＩ ２００ キーボード ２０１ ポインティングデバイス ２０２ モニター ２０３ スピーカー ２０４ ＣＣＤカメラ ２０５ マイクロフォン101 MPU (Micro Processing)
(Unit) 102 Main storage device 103 Memory controller 104 VRAM (Video Random Acc)
ess Memory) 105 MUX (Multiplexer) 106 DSP (Digital Signal Pr)
107) CCD camera 108 A / D converter 109 Microphone 110 Line LSI 200 Keyboard 201 Pointing device 202 Monitor 203 Speaker 204 CCD camera 205 Microphone
─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１２年７月３１日（２０００．７．３
１）[Submission date] July 31, 2000 (2007.3.
1)
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】特許請求の範囲[Correction target item name] Claims
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【特許請求の範囲】[Claims]
フロントページの続き (72)発明者 山崎 舜平 神奈川県厚木市長谷398番地 株式会社半 導体エネルギー研究所内Continuing from the front page (72) Inventor Shunpei Yamazaki 398 Hase, Atsugi-shi, Kanagawa Pref.
Claims (9)
おいて、 前記カメラにより得られた使用者の画像データを２値化
する手段と、 前記２値化された画像データを記憶する手段と、 前記２値化された画像データに基づいて前記使用者の疲
労度値を求める手段と前記２値化された画像データを画
像処理する手段と、 前記画像処理された画像データを出力する手段とを有す
ることを特徴とする情報処理装置。1. An information processing apparatus having a camera and a monitor, wherein: means for binarizing image data of a user obtained by the camera; means for storing the binarized image data; Means for calculating the user's fatigue level based on the digitized image data, means for performing image processing on the binarized image data, and means for outputting the image-processed image data An information processing apparatus characterized by the above-mentioned.
メラであることを特徴とする情報処理装置。2. An information processing apparatus according to claim 1, wherein said camera is a CCD camera.
を２値化する際にディジタル信号プロセッサーを用いる
ことを特徴とする情報処理装置。3. The information processing apparatus according to claim 1, wherein a digital signal processor is used for binarizing the image data.
前記情報処理装置はマイクロフォンを有することを特徴
とする情報処理装置。4. The method according to claim 1, wherein
The information processing apparatus according to claim 1, wherein the information processing apparatus includes a microphone.
前記疲労度値は前記使用者の瞬きの回数に基づいて求め
られることを特徴とする情報処理装置。5. The method according to claim 1, wherein
The information processing apparatus according to claim 1, wherein the fatigue value is obtained based on the number of blinks of the user.
前記疲労度値は前記使用者の眼球の充血度に基づいて求
められることを特徴とする情報処理装置。6. The method according to claim 1, wherein
The information processing apparatus according to claim 1, wherein the fatigue level value is obtained based on a degree of redness of an eyeball of the user.
前記情報処理装置はテレビ電話であることを特徴とする
情報処理装置。7. The method according to claim 1, wherein
The information processing device is a videophone.
前記情報処理装置はパーソナルコンピュータであること
を特徴とする情報処理装置。8. The method according to claim 1, wherein
The information processing apparatus is a personal computer.
前記情報処理装置は通信システムであることを特徴とす
る情報処理装置。9. The method according to claim 1, wherein
The information processing device is a communication system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000150690A JP3434264B2 (en) | 1994-07-28 | 2000-05-22 | Information processing device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19804494A JP3167865B2 (en) | 1994-07-28 | 1994-07-28 | Information processing device |
| JP2000150690A JP3434264B2 (en) | 1994-07-28 | 2000-05-22 | Information processing device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19804494A Division JP3167865B2 (en) | 1994-07-28 | 1994-07-28 | Information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016564A true JP2001016564A (en) | 2001-01-19 |
| JP3434264B2 JP3434264B2 (en) | 2003-08-04 |
Family
ID=27767141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000150690A Expired - Fee Related JP3434264B2 (en) | 1994-07-28 | 2000-05-22 | Information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3434264B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018148369A (en) * | 2017-03-03 | 2018-09-20 | キヤノン株式会社 | Image processing device and control method of same |
| JP2021159235A (en) * | 2020-03-31 | 2021-10-11 | 株式会社ニデック | Health information management device, health information management system and health information management program |
-
2000
- 2000-05-22 JP JP2000150690A patent/JP3434264B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018148369A (en) * | 2017-03-03 | 2018-09-20 | キヤノン株式会社 | Image processing device and control method of same |
| JP7002846B2 (en) | 2017-03-03 | 2022-01-20 | キヤノン株式会社 | Image processing device and its control method |
| JP2021159235A (en) * | 2020-03-31 | 2021-10-11 | 株式会社ニデック | Health information management device, health information management system and health information management program |
| JP7532851B2 (en) | 2020-03-31 | 2024-08-14 | 株式会社ニデック | Health information management device, health information management system, and health information management program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3434264B2 (en) | 2003-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3167865B2 (en) | Information processing device | |
| US8514261B2 (en) | Information processing system | |
| JP4424364B2 (en) | Image processing apparatus and image processing method | |
| EP3816932B1 (en) | Skin detection method and electronic device | |
| US6885761B2 (en) | Method and device for generating a person's portrait, method and device for communications, and computer product | |
| JP4449723B2 (en) | Image processing apparatus, image processing method, and program | |
| JP3551668B2 (en) | Portrait transmission device, portrait communication device and method | |
| WO2021218293A1 (en) | Image processing method and apparatus, electronic device and storage medium | |
| CN110276308B (en) | Image processing method and device | |
| CN107294915A (en) | Image-pickup method, system and terminal | |
| CN108289185B (en) | Video communication method, device and terminal equipment | |
| JP2010239499A (en) | Communication terminal unit, communication control unit, method of controlling communication of communication terminal unit, and communication control program | |
| JP4892071B2 (en) | Image generating apparatus, image processing method, and program | |
| CN112040202A (en) | Scene recognition method, device and storage medium | |
| CN103634557A (en) | Image processing method and apparatus for personal protection in video call | |
| KR100686076B1 (en) | Wireless Communication Terminal with Message Transmission According to Feeling of Terminal-User and Method of Message Transmission Using Same | |
| JP3434264B2 (en) | Information processing device | |
| CN110310318A (en) | A kind of effect processing method and device, storage medium and terminal | |
| KR20120037712A (en) | Imaginary beauty experience service system and method | |
| CN107292261B (en) | Photographing method and mobile terminal thereof | |
| JP2002176632A (en) | Mobile phone and image transmission method | |
| CN112766235A (en) | Face recognition method, face recognition device, face recognition equipment, storage medium and computer program product | |
| JP7075703B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP6287527B2 (en) | Information processing apparatus, method, and program | |
| CN111083345A (en) | Apparatus and method for generating a unique illumination and non-volatile computer readable medium thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130530 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130530 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |