JP2008294815A - Information terminal - Google Patents
Information terminal Download PDFInfo
- Publication number
- JP2008294815A JP2008294815A JP2007139102A JP2007139102A JP2008294815A JP 2008294815 A JP2008294815 A JP 2008294815A JP 2007139102 A JP2007139102 A JP 2007139102A JP 2007139102 A JP2007139102 A JP 2007139102A JP 2008294815 A JP2008294815 A JP 2008294815A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- received
- display
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、情報端末装置に関するものであり、本発明の情報端末装置には、画像表示機能を有する、たとえば携帯電話機やPDA(Personal Digital Assistant)に関するものである。 The present invention relates to an information terminal device, and the information terminal device of the present invention relates to, for example, a mobile phone or a PDA (Personal Digital Assistant) having an image display function.
従来、テレビ電話装置には、たとえば通信相手の受信画面内に自分の姿が送信画面に収まっているかを確認する場合、ピクチャインピクチャ方式または画面分割方式により画面の一部に自分の姿を映す方法や相手方から送られてくる受信画像と自分を撮像した送信画像を切り替えて表示する方法が適用されている。 Conventionally, when a videophone device checks whether it is within the transmission screen of the other party's reception screen, for example, it displays the image on a part of the screen using the picture-in-picture method or the screen division method. A method and a method of switching and displaying a received image sent from the other party and a transmitted image obtained by capturing the subject are applied.
また、これと別のアプローチとして、特許文献1のテレビ電話装置に開示されているように、カメラから入力された画像データから使用者の顔領域を検出し、検出した顔領域が画面の中央に表示されるようカメラの方向を制御し、使用者自身が調整する必要のないシステムが考えられてきた。
しかしながら、携帯電話機のような小型端末装置によるテレビ電話の通信を考えた場合、ピクチャインピクチャ方式または画面分割方式では元々の画面が小さいため、表示が確認しづらい等の問題があった。相手の画像と自分の画像を切り替える場合、このような問題は発生しないが、携帯電話機のように手に持って撮影することを考えると、頻繁に手ぶれ等で撮像位置がずれるにもかかわらず、切り替えている間しか表示位置を確認できない上に、操作が煩雑という問題があった。 However, when considering videophone communication by a small terminal device such as a mobile phone, the picture-in-picture method or the screen division method has a problem that it is difficult to confirm the display because the original screen is small. When switching between the partner's image and your own image, such a problem does not occur, but considering taking a picture with your hand like a mobile phone, even though the imaging position frequently shifts due to camera shake, In addition to confirming the display position only during switching, there is a problem that the operation is complicated.
これらの問題に対応する装置には、特許文献2の画像通信端末用ユーザインタフェース装置がある。この装置は、利用者の位置が撮影範囲を逸脱したとき、たとえば受信画像の変化を用いて利用者へ通知する機能を有する。しかしながら、突然の通知で利用者が驚いてしまう恐れがあるし、撮影範囲内でのずれについては確認することができないという問題があった。
As an apparatus corresponding to these problems, there is a user interface apparatus for an image communication terminal disclosed in
また、特許文献1の場合、このような問題は発生しないが、携帯電話機にカメラの方向を自動的に制御する機構は技術的に困難であるし、コスト的にも高くなることから、現実的ではなかった。
In the case of
本発明はこのような従来技術の欠点を解消し、利便性よく、撮影範囲内での顔画像の位置ずれを把握することができる情報端末装置を提供することを目的とする。 It is an object of the present invention to provide an information terminal device that can eliminate such drawbacks of the prior art and can grasp a positional deviation of a face image within a shooting range with good convenience.
本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。 In order to solve the above-described problems, the present invention provides an image capturing unit that captures an image of a user, a communication unit that transmits an image captured to a communication partner device, and receives an image from the communication partner device. An information terminal device including at least display means for displaying a received image and communicating the captured images with each other, wherein the information terminal device is a user from a reference point on the screen of the display means from the captured image. A face detection unit that calculates the amount of misalignment of the face at the face and outputs the calculated amount of misregistration as position information, and a control that shifts the received image that matches the reference point received via the communication unit based on the position information And an image control means for outputting the controlled image to the display means.
本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、通信する相手先の装置から受信した画像の表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に通信手段を介して受信した画像の基準点に対する受信した画像のずれを制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。 In order to solve the above-described problems, the present invention provides an image capturing unit that captures an image of a user, a communication unit that transmits an image captured to a communication partner device, and receives an image from the communication partner device. An information terminal device including at least display means for displaying a received image and communicating the captured images with each other, wherein the information terminal device displays a screen of a display means for an image received from a communication partner device. Calculating the amount of deviation from the reference point in the face, and outputting the calculated position deviation amount as position information, and the deviation of the received image with respect to the reference point of the image received via the communication means based on this position information And image control means for outputting the controlled image to the display means.
また、本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を通信手段に出力し、位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。 Further, in order to solve the above-described problem, the present invention transmits an image picked up to an image capturing unit for capturing an image of a user and an image of a communication partner device, and receives an image from the communication partner device. And an information terminal device that communicates the captured images with each other from the reference point on the screen of the display means. A face detection unit that calculates the amount of misalignment of the face of the user, outputs the calculated amount of misregistration as position information, and corrects and controls the amount of misregistration of the face in the image captured based on this position information. Image control means for outputting the captured image to the communication means, shifting the received image that matches the reference point received via the communication means based on the position information, and outputting the controlled image to the display means. It is characterized in.
さらに、本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、撮像した画像が含む顔の特徴データを抽出する抽出手段と、キャラクタデータを格納する手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、キャラクタデータおよび顔の特徴データを基に画像を作成する画像作成手段と、少なくとも、受信した画像を表示する表示手段とを含み、抽出手段は、撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、表示手段の画面における基準点に対する撮像した画像および受信した画像における顔画像の位置のずれ量を算出し、撮像した画像および受信した画像における顔画像の各基準サイズに対する比率を算出し、算出した利用者における顔の位置のずれ量および比率、ならびに受信した画像における顔の位置ずれ量および比率を位置情報として画像作成手段に出力し、画像作成手段は、位置情報を基に撮像した画像に対する顔の位置ずれ量および基準サイズとの比率を調整して、通信手段に出力する機能と、位置情報を基に受信した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、表示手段に出力する機能とを含み、撮像した画像を互いに通信することを特徴とする。 Furthermore, in order to solve the above-described problems, the present invention provides an imaging unit that images a user, an extraction unit that extracts facial feature data included in the captured image, a unit that stores character data, and a communication partner. A communication unit that transmits an image captured to a destination device and receives an image from a partner device to communicate with, an image creation unit that creates an image based on character data and facial feature data, and at least received Display means for displaying an image, and the extraction means sets a predetermined size for the face image in the captured image and the received image as each reference size, and receives the captured image for the reference point on the screen of the display means and the reception The amount of displacement of the face image in the captured image is calculated, and the ratio of the captured image and the received image to each reference size of the face image is calculated The calculated positional deviation amount and ratio of the face of the user and the positional deviation amount and ratio of the face in the received image are output as positional information to the image creating means, and the image creating means captures an image captured based on the positional information. Adjusting the ratio of the face displacement amount and the reference size with respect to the image, and adjusting the ratio of the function to output to the communication means and the face displacement amount and the reference size with respect to the received image based on the position information And a function of outputting to the display means, and the captured images are communicated with each other.
本発明に係る情報端末装置によれば、顔検出手段で撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力することにより、使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、確認が非常に容易で非常に利便性が高く、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。 According to the information terminal device of the present invention, the amount of misalignment of the face of the user from the reference point on the screen of the display unit is calculated from the image captured by the face detecting unit, and the calculated amount of misregistration is output as position information. Then, the image control means controls the received image that matches the reference point received via the communication means on the basis of this position information, and outputs the controlled image to the display means so that the position of the user's face Because the misalignment can be grasped by the display image displaying the face of the other party to communicate with, it is very easy to check and very convenient, and the alignment itself is reflected in the mirror Since they are equivalent, they can be provided as functions that are very intuitive, easy to understand, and easy to use.
本発明に係る情報端末装置によれば、顔検出手段で通信する相手先の装置から受信した画像の表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に通信手段を介して受信した画像の基準点に対するずれを制御し、表示手段に制御した画像を出力することにより、受信画像における通信する相手の顔画像の表示ずれを補正して表示することが可能になるため、通信する相手の顔がぶれずに表示されるようになり快適な画像通信を提供することができる。 According to the information terminal device of the present invention, the deviation amount from the reference point on the screen of the display means of the image received from the counterpart device communicating with the face detection means is calculated, and the calculated positional deviation amount is used as the position information. The image control means controls the deviation of the image received via the communication means based on this position information, and outputs the controlled image to the display means. Since it is possible to display the image with the display deviation corrected, it is possible to provide a comfortable image communication because the face of the communicating party can be displayed without blurring.
また、本発明に係る情報端末装置によれば、顔検出手段で撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を通信手段に出力し、位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力することにより、自分の撮像した画像が手ぶれで頻繁に顔位置のずれが発生しても、送信する画像は顔の位置ずれ量を算出して補正することから、通信する相手の端末装置においては、顔の位置ずれのない画像を受け取ることができる。とくに、自分が携帯電話機のように手持ちして操作する端末装置によりテレビ電話で通信する場合、通信する相手に顔位置のずれのない画像を提供し、かつ使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、良好な画像通信を実現することができる。 In addition, according to the information terminal device of the present invention, the amount of misalignment of the face of the user from the reference point on the screen of the display unit is calculated from the image captured by the face detecting unit, and the calculated amount of misregistration is used as the position information. The image control unit corrects and controls the amount of face misalignment in the image captured based on this position information by the image control unit, outputs the corrected captured image to the communication unit, and passes the communication unit based on the position information. By controlling the received image that matches the reference point to be received by shifting and outputting the controlled image to the display means, even if the image captured by the user is shaken frequently and the face position shifts frequently, the image to be transmitted Since the face displacement amount is calculated and corrected, the terminal device of the communication partner can receive an image with no face displacement. In particular, when communicating with a videophone using a terminal device that you hold and operate like a mobile phone, you can provide a communication-free image of the face position and communicate the user's face position shift. This makes it possible to grasp the face of the other party to be displayed based on the displayed image, so that good image communication can be realized.
さらに、本発明に係る情報端末装置によれば、抽出手段では、撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、表示手段の画面における基準点に対する撮像した画像および受信した画像における顔画像の位置のずれ量を算出し、撮像した画像および受信した画像における顔画像の各基準サイズに対する比率を算出し、算出した利用者における顔の位置のずれ量および比率、ならびに受信した画像における顔の位置ずれ量および比率を位置情報として画像作成手段に出力し、画像作成手段で位置情報を基に撮像した画像に対する顔の位置ずれ量および基準サイズとの比率を調整して、特徴データを通信手段に出力し、位置情報を基に受信した特徴データに対する顔の位置ずれ量および基準サイズとの比率を調整して作成した画像データを表示手段に出力することにより、選択したキャラクタで表示された顔画像と背景画像の処理を分離し、この顔画像だけに位置補正や表示倍率を補正することができる。このため実際の撮像画像の位置をずらす場合における、画像自体を移動させるために起こり得る撮像エリア外の部分の表示の問題や、拡大/縮小する場合は背景まで拡大/縮小されるための違和感の問題を発生させることなく、快適な画像通信を実現できる。 Furthermore, according to the information terminal device according to the present invention, the extraction unit sets a predetermined size for the captured image and the face image in the received image as each reference size, and images the reference point on the screen of the display unit. The amount of deviation of the position of the face image in the image and the received image is calculated, the ratio of the captured image and the size of the face image in the received image to each reference size is calculated, and the amount of deviation of the face position and the ratio in the calculated user And the position displacement amount and ratio of the face in the received image are output as position information to the image creation means, and the image creation means adjusts the ratio of the face displacement amount and the reference size with respect to the image captured based on the position information. Then, the feature data is output to the communication means, and the face displacement amount and the reference support for the feature data received based on the position information are output. By outputting the image data created by adjusting the ratio to the image to the display means, the processing of the face image and background image displayed by the selected character is separated, and position correction and display magnification are applied only to this face image. It can be corrected. For this reason, when shifting the position of the actual captured image, there may be a problem of display of a portion outside the imaging area that may occur due to movement of the image itself, or when the image is enlarged / reduced, the background is enlarged / reduced. Comfortable image communication can be realized without causing problems.
次に添付図面を参照して本発明による情報端末装置の実施例を詳細に説明する。図1を参照すると、本発明による情報端末装置の実施例は、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含み、顔検出部14で撮像した画像から表示部20の画面における基準点からの撮像した顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御部18でこの位置情報を基に通信部16を介して受信する基準点に一致する受信画像をずらして制御し、表示部20に制御した画像を出力することにより、使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、確認が非常に容易で非常に利便性が高く、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
Next, an embodiment of an information terminal device according to the present invention will be described in detail with reference to the accompanying drawings. Referring to FIG. 1, an embodiment of an information terminal device according to the present invention includes an
本実施例は、本発明の情報端末装置を携帯電話機10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
In this embodiment, the information terminal device of the present invention is applied to a
携帯電話機10は、図1に示すように、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含む。撮像部12は、光学系を介した被写界からの入射光をたとえばCCD(Charge Coupled Device)の撮像面に結像させ、CCDの受光素子で光電変換し、たとえばCCD(Charge Coupled Device)の撮像面に画像信号を得る機能を有する。撮像部12は、光電変換により生成された画像信号をディジタル化し、顔検出部14および通信部16に画像データ22を出力する。
As shown in FIG. 1, the
顔検出部14は、撮像された画像データ22から顔位置を検出し、位置ずれ情報を算出する機能を有する。顔検出部14は、撮像された画像データ22から顔の輪郭を抽出し、顔の中心位置を算出し、撮像画面の中心に対する顔の中心位置までのずれ量を位置ずれ情報として算出する。抽出した顔の輪郭の幾何については後段で詳述する。顔検出部14は、検出した位置ずれ情報24を画像制御部18に供給する。
The
通信部16は、たとえば公衆電話網、携帯電話網やインターネット網の通信網26に接続され、音声データ、画像データおよび入力データを通信先と送受信する機能を有する。通信部16は、通信相手から供給された音声データ、画像データおよび入力データである情報を受信し、受信した画像データ28を画像制御部18に出力する。
The
なお、本実施例では、図示していない音声入出力部により音声も同時に送受信することになるが、本発明には直接関係が無いので開示を省略する。 In the present embodiment, voice is simultaneously transmitted and received by a voice input / output unit (not shown), but the disclosure is omitted because it is not directly related to the present invention.
画像制御部18は、供給される画像データの表示位置を制御する機能を有する。画像制御部18は、制御された表示画像データ30を表示部20に出力する。表示部20は、たとえば液晶ディスプレイを用い、供給される表示画像データ30を表示する機能を有する。
The
次に本発明の情報端末装置を適用した携帯電話機10の動作について記述する。携帯電話機10は、お互いに顔画像を送受信するテレビ電話機能を有する。携帯電話機10は、撮像部12で使用者の顔を含む画像を撮影し、画像データ22を通信部16に送る。撮像の例を図2に示す。使用者である被写体32は、撮像部12の撮像範囲である画角34の中に入っているものと仮定する。本実施例では被写体32は撮像部12側から見て左側によって映っていることになる。
Next, the operation of the
通信部16は、画像データ22を通信する相手の通信装置に送信する。顔検出部14では、撮像部12から供給される画像データ22から顔の位置を検出し、撮像画像の基準とする座標からのずれ量を検出する。本実施例では基準座標を中心座標と設定する。
The
顔の検出方法は、たとえば顔の輪郭を色差情報および輝度差情報を活用した肌色抽出によるもの、目や口等の顔の部品抽出を活用したもの、ならびにテンプレートマッチングによるものといった様々な手法を適用することができる。特許文献1には肌色抽出による顔検出の一例が開示されている。
Various face detection methods can be used, such as those based on skin color extraction that uses color difference information and luminance difference information for face contours, those that use facial part extraction such as eyes and mouth, and those that use template matching. can do.
次に撮像した顔位置のずれ量検出について記述する。図2で撮像した画像データ22をそのまま表示部20に表示した場合を図3に示す。本実施例において表示部20の画面における横方向をx軸、縦方向をy軸と設定する。また画面の横幅をxd、縦幅をydと設定する。本実施例では、図3に示すように、原点(0,0)を左上端に設定している。したがって、画面の中心36は、(Sx,Sy)=(xd/2,yd/2)になる。顔検出部14は、顔検出技術を用いて、撮像した画像データ22における顔領域を検出し、顔領域の境界、左端x1、右端x2、上端y1、下端y2または左端xL、右端xR、上端yU、下端yDを算出する。この値から顔領域の中心38は、(Fcx,Fcy)=((x1+x2)/2,(y1+y2)/2)と求められる。したがって、顔領域の中心38と画面の中心36が一致する場合に顔位置のずれ量をゼロとすると、顔位置の位置ずれ量24は、((x1+x2)/2-xd/2,(y1+y2)/2-yd/2)=((x1+x2)/2-Sx,(y1+y2)/2-Sy)で表わされる。この位置ずれ量24をベクトルとして表示すると、図3の位置ずれ量は、ベクトル40のように表示できる。
Next, detection of the displacement amount of the captured face position will be described. FIG. 3 shows a case where the
画像制御部18は、通信の相手から通信部16を介して送られた受信画像を画像制御する。本実施例では、記述を簡略化するために、通信部16に供給される通信の相手からの画像が含む通信相手の顔の位置は、画面の中心36にあるものと設定する。この場合の受信した画像を図4に示す。この場合、((x3+x4)/2,(y3+y4)/2)=(xd/2,yd/2)=(Sx,Sy)である。画像制御部18は、相手の装置から受信した画像データ28を、顔検出部14で算出した被写体32の顔の位置ずれ量24の分だけ画像をシフト制御し、表示部20に画像を表示する。
The
ここで、一点注意を要することは、被写体32側から見て撮像部12の画面中心に対して右側にずれている場合も、撮像した画像は、図3に示したように、左側にずれて映ってしまう。顔検出部14で算出した顔の位置ずれ量24は、((x1+x2)/2-xd/2,(y1+y2)/2-yd/2)=((x1+x2)/2-Sx,(y1+y2)/2-Sy)である。しかしながら、使用者の使い勝手を考えた場合、自分の姿が映った鏡のように自分が右にずれている場合、表示部20には、右にずれて映った方が直感的にわかりやすい。したがって、画像制御部18で受信した画像に対するシフト制御量は、(-(x1+x2)/2+xd/2,(y1+y2)/2-yd/2)=(-(x1+x2)/2+Sx,(y1+y2)/2-Sy)に設定し、x軸方向を反転させる方が望ましい。この結果、表示部20には、図5に示すように、表示位置修正した後の表示画面が表示される。
Here, one point to note is that even when the screen is shifted to the right with respect to the center of the screen of the
この場合の位置ずれ量24をベクトルとして表示すると、位置ずれ量を示すベクトル42のように表示できる。図3のベクトル40と図5のベクトル42は、x=xd/2を境に、線対称の関係となっている。よって、図2のように被写体32が撮像部12に対して右側にずれている場合、図5に示すように、右側にずれて通信する相手先の画像が表示される。
If the
このように被写体32や使用者の顔の位置ずれを、通信する相手先から送られてくる受信した画像の顔位置に反映させてから表示するので、携帯電話機10の使用者は、表示する相手の画像の顔位置から自分の顔の位置ずれを把握することが可能となる。ピクチャインピクチャ方式や画面分割方式では自分を表示するための小さな画面を用意するが、携帯電話機での利用を考えた場合、画面が小さくなり過ぎて、確認が困難になる問題がある。しかしながら、本発明を適用した携帯電話機10では、通信する相手先から供給される顔画像の表示位置で自分の位置ずれを把握できるので、確認が非常に容易である。
As described above, since the position shift of the subject 32 or the user's face is reflected on the face position of the received image sent from the communication partner, the user of the
また、送信画像と受信画像を切り替えるような場合に比べると、切り替えのような煩雑な操作をすることなく、同等の確認効果を得ることが可能となる。テレビ電話機能を有する携帯電話機10を利用した場合を考えると、カメラを手に持つことになるから、撮像位置のずれが発生しやすく、常時、自分の撮像位置を確認できることが望ましい。テレビ電話機能を動作させ、相手の顔を見ながら通話するのが普通であるから、相手の顔位置から自分の撮像位置を把握できる本発明は非常に利便性が高い。さらに、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
In addition, compared with a case where the transmission image and the reception image are switched, it is possible to obtain the same confirmation effect without performing a complicated operation such as switching. Considering the case where the
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図6に示すように、通信部16で通信する相手から受信した画像データ28を、画像制御部18だけでなく、顔検出部14にも供給している点で相違している。これにより、本実施例は、通信する相手から受信した画像の顔位置も検出できるようになる。
Next, a modified example of the
次に携帯電話機10における本実施例の動作を簡単に記述する。本実施例の携帯電話機10における画面例は、図7に示すように、通信する相手から供給される顔の位置ずれがある場合を示している。この場合、画面の中心36と受信した画像における顔の位置ずれ量24は、先の実施例に同じで、((x7+x8)/2-xd/2,(y7+y8)/2-yd/2)=((x7+x8)/2-Sx,(y7+y8)/2-Sy)と算出される。したがって、携帯電話機10は、受信画像を-((x7+x8)/2-xd/2,(y7+y8)/2-yd/2)=-((x7+x8)/2-Sx,(y7+y8)/2-Sy)とシフトすれば、受信した画像における顔位置の中心38は、表示部20における画面の中心36と一致することになる。
Next, the operation of this embodiment in the
したがって、このように操作することにより図7に示すように、位置ずれがある場合の受信画面は、図4に示した位置ずれのない場合の受信画面と同等になる。この他の動作は、先の実施例と同じであるから記述を省略する。先の実施例では記載を簡略化するために、通信部16に供給される通信する相手からの画像に含まれる通信相手における顔の位置は、図4に示すように、画面の中心36にあるものと設定した。しかしながら、通信する相手も携帯電話機を利用しているような場合、手持ちであるから、通信する相手における顔位置の変動は頻繁に起こる可能性が高く、先の実施例では自分の顔位置がずれたのか、相手の顔位置がずれたのかを判断できなかった。本実施例は、通信する相手から供給される画像データ28を顔検出部14に入力することにより通信する相手の顔位置がずれても、顔の位置ずれ量を算出して補正することができる。この補正を踏まえ、先の実施例と同様に処理すると、使用者は、相手の顔位置のずれによるものでなく、表示画面の相手方の顔位置から実際に自分の顔位置のずれとして把握することが可能となる。とくに、通信する相手もカメラ機能付き携帯電話機のような、手持ちして操作する端末装置でテレビ電話機能を実行する場合に自分の顔位置のずれを把握できるという有効な効果を発揮する。
Therefore, by operating in this way, as shown in FIG. 7, the reception screen when there is a positional deviation is equivalent to the reception screen when there is no positional deviation shown in FIG. Since other operations are the same as those in the previous embodiment, description thereof is omitted. In the previous embodiment, in order to simplify the description, the face position of the communication partner included in the image from the partner of communication supplied to the
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図8に示すように、撮像部12からの画像データ22を顔検出部14に供給するだけでなく、画像制御部18にも画像データ22を供給する。画像制御部18は通信する相手に送信するデータとして画像データ44を通信部16に供給する点で相違している。
Next, a modified example of the
次に携帯電話機10における本実施例の動作を簡単に記述する。撮像部12は、顔検出部14と画像制御部18に撮像画像を送る。顔検出部14は、画像データ22を基に顔の位置ずれ量としての顔の位置ずれ情報24を算出し、画像制御部18に出力する。
Next, the operation of this embodiment in the
画像制御部18は、供給される顔の位置ずれ情報24を基に画像データ22をシフト制御し、シフト制御によって顔の位置ずれをなくした画像データ44を通信部16に送る。画像制御部18は、受信した通信する相手の画像を含む画像データ30を表示部20に出力する。これにより送信する画像は、常に、顔の位置ずれのない画像となり、快適な画像通信を行えるようになる。
The
このように本実施例では位置ずれ情報24を基に画像データ22を画像制御部18で制御することにより、たとえば自分がPC(Personal Computer)の前に座って、備え付けのUSB(Universal Serial Bus)カメラを使って、テレビ電話、すなわち画像通信するような場合、撮像した画像における顔位置の変動も少なく問題ないと考えられるが、携帯電話機10を利用する場合、手持ちにより顔の位置変動が頻繁に起こる可能性が高く、先の実施例の構成では撮像した画像の顔位置が頻繁にずれて、通信する相手は画像が非常に見づらいと考えられる。
As described above, in this embodiment, the
しかしながら、本実施例では自分の撮像した画像が手ぶれで頻繁に顔位置のずれが発生しても、送信する画像は顔の位置ずれ量を算出して補正することから、通信する相手の端末装置では、顔の位置ずれのない画像を受け取ることができる。とくに、自分が携帯電話機10のような手持ちして操作する端末装置でテレビ電話通信をする場合、通信する相手に顔位置のずれのない画像を提供して、良好な画像通信を発揮させることができる。図1の例では自分の顔位置のずれを把握するためには、相手から送られてくる画像の顔位置はずれないことが前提であったが、本実施例によって実現可能である。
However, in the present embodiment, even if a face position shift frequently occurs due to camera shake of an image captured by the user, the transmitted image calculates and corrects the amount of face position shift. Then, it is possible to receive an image with no face displacement. In particular, when videophone communication is performed with a terminal device that is held and operated by a hand such as the
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図9に示すように、通信部16は、通信する相手から受信した画像データ28を、画像制御部18だけでなく、顔検出部14にも供給している点で相違している。本実施例は、送信する画像における使用者の撮像位置ずれを補正して送信し、受信した画像における通信相手の表示ずれがある場合にも対応する。
Next, a modified example of the
次に携帯電話機10における本実施例の動作を簡単に記述する。顔検出部14は、顔領域の中心38と画面の中心36が一致した場合に顔の位置ずれ量をゼロと設定し、顔位置のずれ量((xL+xR)/2-Sx,(yU+yD)/2-Sy)を算出する。画像制御部18は送信側の動作に関しては、画像データ22における使用者の位置ずれがなくなるように撮像した画像を-((xL+xR)/2-Sx,(yU+yD)/2-Sy)=(-(xL+xR)/2+Sx,-(yU+yD)/2+Sy)シフトし、送信する画像として通信部16に送る。これにより、送信画像においては撮像時の位置ずれが補正され、使用者が真中に表示された画像が送信されることになる。
Next, the operation of this embodiment in the
次に受信側の動作を記述する。通信部16で受信した画像は、顔検出部14および画像制御部18に送られる。画像制御部18を介さず、受信画像を表示部20に供給して、表示させた場合の受信画面を図10に示す。この場合、通信相手の顔の位置ずれ量は、((xRL+xRR)/2-Sx,(yRU+yRD)/2-Sy)である。添字Rは、受信であることを示す。画像制御部18ではこの通信相手の受信した画像を、顔検出部14で算出した通信する相手における顔の位置ずれ量の分だけシフト制御し、通信相手の顔の位置が真中に来るように受信した画像28を制御する。この場合のシフト制御量は、((xRL+xRR)/2-Sx,(yRU+yRD)/2-Sy)である。
Next, the operation on the receiving side will be described. The image received by the
先の実施例と同様に自分の姿が映った鏡のように自分が右にずれている場合は表示部20には右にずれて映った方が直感的にわかりやすいことから、画像制御部18で受信した画像に対するシフト制御量はx軸方向を反転させ、(-(xL+xR)/2+Sx,(yU+yD)/2-Sy)になる。最終的に通信部16から受信した画像に加えるシフト制御量は、(-(xL+xR)/2+Sx,(yU+yD)/2-Sy)-((xRL+xRR)/2-Sx,(yRU+yRD)/2-Sy)=((-xL-xR-xRL-xRR)/2+2Sx, (yU+yD-yRU-yRD)/2)となる。
As in the previous embodiment, when the user is shifted to the right as in the mirror in which the figure is reflected, the
このように本実施例によれば、受信画像における通信する相手の顔ずれに影響を受けることなく、使用者における顔の位置ずれを通信する相手から受信した画像の顔位置に反映させるように制御して表示することから、使用者は、表示画像における通信する相手の顔位置から自分の顔位置のずれを把握することが可能になる。 As described above, according to the present embodiment, control is performed so that the face position deviation of the user is reflected in the face position of the image received from the communicating party without being affected by the face shift of the communicating party in the received image. Thus, the user can grasp the deviation of his / her face position from the face position of the other party to communicate in the display image.
さらに、使用者は撮像した画像における使用者の顔ずれを補正して、通信する相手の装置に画像を送ることから、通信する相手は、使用者の顔画像を画面中央で見ることができ、快適な画像通信することができる。 Furthermore, since the user corrects the user's face deviation in the captured image and sends the image to the device of the communicating party, the communicating party can see the user's face image in the center of the screen, Comfortable image communication can be performed.
テレビ電話のような画像通信中において、互いに通信する相手の顔を見ながら、話すのが普通であるから、通信する相手の顔位置から自分の撮像位置を把握できる点で非常に利便性の高い機能を提供することができる。また、位置合わせ自体も自分の顔を鏡に映した場合と同等に扱うことができるから、非常に直感的でわかりやすい操作を提供することができる。 During video communication such as videophone, it is normal to talk while looking at the faces of the other parties communicating with each other, so it is very convenient in that you can grasp your imaging position from the face position of the communicating party Function can be provided. In addition, since the positioning itself can be handled in the same way as when the user's face is reflected in the mirror, it is possible to provide a very intuitive and easy-to-understand operation.
次に携帯電話機10における変形例について記述する。本実施例は、最初の実施例と同じ構成要素でありながら、図11に示すように、画像制御部18に表示倍率制御機能部46を含む構成となっている。表示倍率制御機能部46は、顔検出部14で検出した顔の位置情報を基に得た顔の大きさ情報を含む検出情報240の供給により、表示する画像に対する表示倍率を制御する機能を有する。
Next, a modified example of the
使用者を適切な大きさで撮像した場合の基準撮像画面を図12、実際に撮像した場合の撮像画面を図13に示す。また、本実施例では記載を簡略化するため、受信画像は、図14に示すように、通信する相手の画像が適切な大きさで写っている基準受信画面例を想定する。 FIG. 12 shows a reference imaging screen when the user is imaged at an appropriate size, and FIG. 13 shows an imaging screen when the user is actually imaged. Further, in order to simplify the description in this embodiment, it is assumed that the received image is a reference reception screen example in which an image of a communication partner is shown in an appropriate size as shown in FIG.
まず、基準撮像画面は、図12に示すように、顔の大きさの横幅が(xSSR-xSSL)、縦幅が(ySSD-ySSU)である。ここで、位置xSSR, xSSL, ySSDおよびySSUは、基準として送信する撮像した顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。
First, as shown in FIG. 12, in the reference imaging screen, the width of the face size is (x SSR -x SSL ) and the vertical width is (y SSD -y SSU ). Here, the positions x SSR , x SSL , y SSD and y SSU indicate the right end, the left end, the lower end and the upper end of the captured face to be transmitted as a reference, and these values are calculated by the
次に実際の撮像画面は、図13に示すように、基準となる位置よりも使用者が撮像部12を近くに位置させた場合であり、結果として、顔が基準よりも大きい画像が得られる。ここで、位置xSR, xSL, ySDおよびySUは、送信する撮像した顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。このとき、顔の大きさは、顔検出部14で横幅(xSR-xSL)、縦幅(ySD-ySU)と算出される。基本的に、(xSR-xSL)/(xSSR-xSSL)=(ySD-ySU)/(ySSD-ySSU)であることから、基準撮像画像との比率を計算するに当たっては横方向または縦方向の片方の情報だけを用いればよい。本実施例では、縦方向の情報を使うものと設定する。顔検出部14は、図13の撮像した画像から、図12の基準における顔の大きさに比べて、倍率(ySD-ySU)/(ySSD-ySSU)で撮像されていることが算出される。
Next, as shown in FIG. 13, the actual imaging screen is when the user places the
表示倍率制御機能部46では、撮像倍率(ySD-ySU)/(ySSD-ySSU)の情報240を顔検出部14から受け取る。ここで、基準受信画面における位置xSRR, xSRL, ySRDおよびySRUは、基準として受信した画像における顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。基準受信画面は、図14に示すように、顔の大きさの横幅が(xSRR-xSRL)、縦幅が(ySRD-ySRU)と算出される。また、図15に示す表示画像における位置xRR, xRL, yRDおよびyRUは、表示する画像における顔の右端、左端、下端および上端を示す。
The display magnification
顔の大きさは、図15に示すように、表示する画像を、(xRR-xRL)=(xSRR-xSRL)*(ySD-ySU)/(ySSD-ySSU)、(yRD-yRU)=(ySRD-ySRU)*(ySD-ySU)/(ySSD-ySSU)になるよう拡大表示する。これにより、使用者が撮像部12に近づき過ぎて、撮像画面における顔の大きさが大きくなったとき、表示画面での通信する相手からの顔画像の大きさも大きく表示される。
As shown in FIG. 15, the size of the face is displayed as (x RR -x RL ) = (x SRR -x SRL ) * (y SD -y SU ) / (y SSD -y SSU ), Enlarge the display so that (y RD -y RU ) = (y SRD -y SRU ) * (y SD -y SU ) / (y SSD -y SSU ). As a result, when the user gets too close to the
表示画面で通信する相手からの画像における顔の大きさが使用者の撮像距離に追従して表示されることから、表示画面で通信する相手からの画像における顔の大きさにより自分が適切な距離で撮像されているかどうかを把握することが可能になる。テレビ電話のような画像通信中において、相手から供給される顔画像を見ながら通話するのが普通であるから、相手からの顔画像における大きさから自分の撮像距離が適切かどうか把握でき、非常に利便性の高い機能を提供することができる。携帯電話機10によるテレビ電話のような画面が小さいシステムの場合、とくに、有効な効果を発揮させることができる。
Since the face size in the image from the other party communicating on the display screen is displayed following the user's imaging distance, the appropriate distance depends on the face size in the image from the other party communicating on the display screen. It becomes possible to grasp whether or not the image is captured with the. During an image communication such as a videophone call, it is normal to talk while looking at the face image supplied by the other party. It is possible to provide highly convenient functions. In the case of a system with a small screen such as a videophone by the
次に開示する携帯電話機10は、図9に示した携帯電話機10の接続関係を有する。また、本実施例における画像制御部18は、図16に示すように、先の実施例にて記載した表示倍率制御機能部46を含む。通信相手から送られてくる受信画像の例を図17に示す。この例は、基準の受信画像より通信する相手の画像が小さく写っている場合である。
The
次に携帯電話機10における本実施例の動作を記載する。顔の位置ずれ補正は、先の実施例に同じである。最初に送信側の表示倍率制御について記載する。ここで、撮像した画像は図13の画像の場合に設定する。この場合、図12の基準としての撮像における画像と図13の撮像した画像における顔の大きさの比率は、(ySD-ySU)/(ySSD-ySSU)と算出される。送信画像として図13の画像を送ると、通信する相手の装置には顔が大きく写り過ぎる。
Next, the operation of this embodiment in the
このため、本実施例は、表示倍率制御機能部46で図13の画像に対して(ySD-ySU)/(ySSD-ySSU)の逆数を表示倍率として制御する。これにより、顔の縦幅は、(ySD-ySU)*(1/((ySD-ySU)/(ySSD-ySSU)))=(ySSD-ySSU)になる。したがって、送信画像における顔の大きさは、図12の基準とする撮像した画像と同じ大きさにして、送信される。
Therefore, in this embodiment, the display magnification
次に受信側から供給される画像に対する表示倍率の制御を記載する。この場合の受信した画像を、図17に示す。この受信した画像は、基準の画像における顔の大きさより小さく写っているから、基準の大きさにするよう補正する。 Next, control of display magnification for an image supplied from the receiving side will be described. The received image in this case is shown in FIG. Since the received image is smaller than the size of the face in the reference image, it is corrected to the reference size.
図17の受信画像と図14の基準とする受信画像との顔大きさの比率は、(y14-y13)/(ySRD-ySRU)と算出される。表示倍率制御機能部46では、この算出した比率の逆数を表示倍率として制御する。図17の受信画像は、(y14-y13)*(1/((y14-y13)/(ySRD-ySRU)))=(ySRD-ySRU)になる。図17の受信画像は、図14の基準とする受信画像における顔の大きさと同じ大きさに表示倍率を制御したことになる。
The ratio of the face size between the received image in FIG. 17 and the reference received image in FIG. 14 is calculated as (y14−y13) / (y SRD −y SRU ). The display magnification
さらに、携帯電話機10は、この表示倍率で制御した画像に、使用者の撮像した画像の表示倍率に制御する。基準となる顔の大きさと比べて、撮像した画像の比率は、(ySD-ySU)/(ySSD-ySSU)と算出される。このため、表示倍率制御機能部46ではこの値を受信した画像に施す。まとめると、図17の受信した画像に対する表示倍率は、((ySD-ySU)/(ySSD-ySSU))*(ySRD-ySRU)=(ySD-ySU)*(ySRD-ySRU)/(ySSD-ySSU)になる。この結果、表示画像は、受信した画像の大きさによらず、撮像した画像の比率で表示部20に表示される。
Furthermore, the
なお、表示倍率の制御は、先の実施例や本実施例に限定されるものでなく、表示倍率の制御について記載しなかった実施例にも適用できることは、言うまでもない。 Needless to say, the control of the display magnification is not limited to the previous embodiment or the present embodiment, and can be applied to an embodiment that is not described regarding the control of the display magnification.
本実施例では、使用者における顔の位置ずれを通信する相手の顔位置に反映させ、さらに、使用者の撮像した顔の大きさを通信する相手の顔の大きさに反映することが可能になることから、テレビ電話のような画像通信で通信する相手を見ながら通話して、自然に、自分の顔位置を前後左右、適切な場所に移動させることが可能になる。とくに、自分が携帯電話機のような手持ちのカメラを使用して画像通信する場合、有効な効果を発揮させることができる。 In the present embodiment, it is possible to reflect the position displacement of the face of the user in the face position of the communicating party, and further reflect the size of the face captured by the user in the size of the face of the communicating party. Therefore, it is possible to make a call while looking at the other party communicating through image communication such as a videophone, and to naturally move his / her face position forward / backward / left / right to an appropriate place. In particular, when performing image communication using a handheld camera such as a mobile phone, an effective effect can be exhibited.
最後に、本発明の情報端末装置を適用した携帯電話機10における他の実施例について記述する。これまでの実施例では撮像画像や受信画像そのものの表示位置をずらしたり、拡大・縮小させる制御により表示していた。本実施例ではこれらと異なり、送信側は撮像した画像から顔の特徴点を抽出し、抽出した特徴データを送るものであり、受信側ではこの特徴データとキャラクタデータにより表示画像を作成するシステムを対象とする。このシステムについては、たとえば特許文献4の「画像コミュニケーション機能付き情報端末装置および画像配信システム」により開示されている。
Finally, another embodiment of the
本実施例における携帯電話機10は、図18に示すように、撮像部12、通信部16および表示部20を含み、顔特徴抽出部48、表示画像作成部50およびキャラクタデータ格納部52を含む。顔特徴抽出部48は、撮像した画像から顔の特徴点を抽出する機能を有する。顔特徴抽出部48は、撮像した画像に対して抽出した顔の特徴点を表わす送信画像データ54を通信部16に供給する。また、顔特徴抽出部48は、撮像した画像から求めた顔の特徴点を基に顔の位置および顔の大きさに関する情報240を算出し、表示画像作成部50に供給する。
As shown in FIG. 18, the
表示画像作成部50は、受信側から供給される特徴データ28aとキャラクタデータ56を基に表示画像を作成する機能を有する。表示画像作成部50は、供給される情報240を基に表示位置のシフトおよび拡大・縮小の制御機能を有する。表示画像作成部50は、作成した表示画像データ30を表示部20に出力する。キャラクタデータ格納部52は、メモリであり、キャラクタデータを格納する。キャラクタデータ格納部52は、選択されたキャラクタデータ56を表示画像作成部50に供給する。
The display
次に本実施例における携帯電話機10の動作について記載する。顔特徴抽出部48は、供給される撮像した画像データ22より、たとえば眉、目、口、鼻および輪郭を顔の特徴情報として抽出する。顔特徴抽出部48は、抽出したデータの位置情報または変化情報を送信画像データ54として通信部16を経由して、通信する相手の装置に伝送する。
Next, the operation of the
表示画像作成部50は、通信部16から送られる顔の特徴情報としての受信画像データ28aと、キャラクタデータ格納部52からのキャラクタデータ56とを基に表示画像を作成する。また、表示画像作成部50は、顔特徴抽出部48から送られる顔位置情報および顔大きさ情報を含む情報240により、作成した表示画像における顔の位置および表示倍率を補正する。
The display
受信するデータとして図4に示した位置ずれのない画像の顔特徴データ28aが通信する相手の装置から送られてくるものと仮定する。使用者の顔位置を図3とすると、この場合、顔の位置ずれ量は、((x1+x2)/2-Sx,(y1+y2)/2-Sy)と算出される。ここで、使用者の利便性のため左右のずれは反転して表示する。このため、実際の表示画面での補正量は、(-(x1+x2)/2+Sx,(y1+y2)/2-Sy)となる。この場合の表示画像を図19に示す。
Assume that
表示画像作成部50は、図に示す通り、キャラクタデータ56を基に表示データを作成する。本実施例では、受信した顔画像が猫に変換されて、表示部20に表示されている。
The display
ここで、キャラクタデータとは、アニメーションに登場するキャラクタ、すなわち人物を表わすデータやたとえば動物および物を擬人化した創造されたデータである。表示画像作成部50は、キャラクタデータ56を用いて通信するユーザの表情を反映させて、会話に寄与する画像を作成している。
Here, the character data is data representing a character appearing in an animation, that is, a person, or data created by anthropomorphizing, for example, animals and objects. The display
また、本実施例で表示位置は、表示画像作成部50で((x20+x21)/2-Sx,(y20+y21)/2-Sy)=(-(x1+x2)/2+Sx,(y1+y2)/2-Sy)となるように制御されている。 In this embodiment, the display position is ((x20 + x21) / 2−S x , (y20 + y21) / 2−S y ) = (− (x1 + x2) / 2 + S x , (y1 + y2) / 2−S y ).
本実施例は、先の実施例と同様に使用者における顔の位置ずれを通信する相手における顔の位置に反映させることに加え、さらに使用者の撮像された顔の大きさを通信する相手の顔の大きさに反映することを可能にする。これにより画像通信で相手を見ながら通話して、自然に、自分の顔位置を適切な場所に移動させることができ、とくに、自分が携帯電話機10のような手持ちカメラを用いて、テレビ電話する場合に有効である。
In the present embodiment, in addition to reflecting the positional deviation of the face of the user in the face position of the other party to be communicated in the same manner as the previous embodiment, the size of the face captured by the user is further communicated. It is possible to reflect the size of the face. This makes it possible to talk while looking at the other party through image communication, and to move the position of his face naturally to an appropriate place. In particular, he makes a videophone call using a handheld camera such as the
さらに、先の実施例のように、実際の撮像画像の位置をずらす場合、画像自体を移動させるために撮像エリア外の部分の表示に問題があったり、拡大/縮小する場合は背景まで拡大/縮小されるための違和感の問題があったりする。しかしながら、本実施例では、選択したキャラクタで表示された顔画像と背景画像の処理を分離し、この顔画像だけに位置補正や表示倍率を補正することができることから、これらのような問題も発生しない。 Furthermore, as in the previous embodiment, when shifting the position of the actual captured image, there is a problem in the display of the part outside the imaging area to move the image itself, and when enlarging / reducing, it is enlarged / reduced to the background. There is a problem of uncomfortable feeling due to reduction. However, in this embodiment, the processing of the face image and the background image displayed by the selected character can be separated, and the position correction and the display magnification can be corrected only for this face image. do not do.
10 携帯電話機
12 撮像部
14 顔検出部
16 通信部
18 画像制御部
20 表示部
46 表示倍率制御機能部
48 顔特徴抽出部
50 表示画像作成部
52 キャラクタデータ格納部
10 Mobile phone
12 Imaging unit
14 Face detector
16 Communications department
18 Image controller
20 Display section
46 Display magnification control function
48 Facial feature extraction unit
50 Display image creation section
52 Character data storage
Claims (7)
前記撮像した画像から前記表示手段の画面における基準点からの前記利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記通信手段を介して受信する前記基準点に一致する受信画像をずらして制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。 Imaging means for imaging a user, communication means for transmitting an image taken to a communication partner apparatus, receiving an image from the communication partner apparatus, and display means for displaying at least the received image An information terminal device that communicates the captured images with each other, the information terminal device comprising:
A face detection unit that calculates a positional deviation amount of the face of the user from a reference point on the screen of the display unit from the captured image, and outputs the calculated positional deviation amount as positional information;
Image control means for shifting and controlling a received image matching the reference point received via the communication means based on the position information and outputting the controlled image to the display means Terminal device.
前記通信する相手先の装置から受信した画像の前記表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記通信手段を介して前記受信した画像の前記基準点に対するずれを制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。 Imaging means for imaging a user, communication means for transmitting an image taken to a communication partner apparatus, receiving an image from the communication partner apparatus, and display means for displaying at least the received image An information terminal device that communicates the captured images with each other, the information terminal device comprising:
A face detection unit that calculates a displacement amount from a reference point on the screen of the display unit of an image received from the communication partner device, and outputs the calculated displacement amount as position information;
And an image control means for controlling a shift of the received image with respect to the reference point based on the position information and outputting the controlled image to the display means. .
前記撮像した画像から前記表示手段の画面における基準点からの前記利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を前記通信手段に出力し、前記位置情報を基に前記通信手段を介して受信する前記基準点に一致する受信画像をずらして制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。 Imaging means for imaging a user, communication means for transmitting an image taken to a communication partner apparatus, receiving an image from the communication partner apparatus, and display means for displaying at least the received image An information terminal device that communicates the captured images with each other, the information terminal device comprising:
A face detection unit that calculates a positional deviation amount of the face of the user from a reference point on the screen of the display unit from the captured image, and outputs the calculated positional deviation amount as positional information;
The reference that corrects and controls the amount of misalignment of the face in the captured image based on the position information, outputs the corrected captured image to the communication unit, and receives the corrected image based on the position information via the communication unit. An information terminal device comprising: an image control unit that controls a received image that coincides with a point by shifting and outputs the controlled image to the display unit.
前記顔検出手段は、前記表示手段の画面における基準点から前記通信する相手先の装置から前記受信画像における顔の位置のずれ量を算出し、算出した前記利用者における顔の位置のずれ量および受信した画像における顔の位置ずれ量を位置情報として前記画像制御手段に出力し、
前記画像制御手段は、前記位置情報を基に前記通信手段を介して受信する前記基準点に対する前記受信画像のずれに応じて制御し、前記表示手段に制御した画像を出力することを特徴とする情報端末装置。 5. The information terminal device according to claim 4, wherein the communication unit is connected to supply the received image to the face detection unit.
The face detection unit calculates a shift amount of the face position in the received image from the communication partner apparatus from a reference point on the screen of the display unit, and calculates the calculated shift amount of the face position of the user and Output the position displacement amount of the face in the received image as position information to the image control means,
The image control means performs control according to a shift of the received image with respect to the reference point received via the communication means based on the position information, and outputs the controlled image to the display means. Information terminal device.
前記画像制御手段は、前記位置情報を基に前記撮像した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記通信手段に出力する機能と、前記位置情報を基に前記受信画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記表示手段に出力する機能とを含むことを特徴とする情報端末装置。 6. The information terminal device according to claim 5, wherein the face detection unit sets a predetermined size for the face image in the captured image and the received image as each reference size, and the captured image with respect to the reference point and A displacement amount of a face image position in the received image is calculated, a ratio of the captured image to the reference point and a ratio of the face image in the received image to each reference size is calculated, and the calculated face position of the user Output the positional deviation amount and the ratio of the face in the received image and the ratio to the image control means as position information,
The image control means adjusts the ratio of the positional displacement amount and the reference size of the face with respect to the captured image based on the position information and outputs the ratio to the communication means, and based on the position information An information terminal device comprising a function of adjusting a ratio between the amount of positional deviation of the face and a reference size with respect to a received image and outputting the adjusted ratio to the display means.
前記撮像した画像が含む顔の特徴データを抽出する抽出手段と、
キャラクタデータを格納する手段と、
通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、
前記キャラクタデータおよび前記顔の特徴データを基に画像を作成する画像作成手段と、
少なくとも、受信した画像を表示する表示手段とを含み、
前記抽出手段は、前記撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、前記表示手段の画面における基準点に対する前記撮像した画像および前記受信した画像における顔画像の位置のずれ量を算出し、前記撮像した画像および前記受信した画像における顔画像の前記各基準サイズに対する比率を算出し、算出した前記利用者における顔の位置のずれ量および前記比率、ならびに前記受信した画像における顔の位置ずれ量および前記比率を位置情報として前記画像作成手段に出力し、
前記画像作成手段は、前記位置情報を基に前記撮像した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記通信手段に出力する機能と、前記位置情報を基に前記受信した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記表示手段に出力する機能とを含み、
前記撮像した画像を互いに通信することを特徴とする情報端末装置。 Imaging means for imaging a user;
Extracting means for extracting facial feature data included in the captured image;
Means for storing character data;
A communication means for transmitting a captured image to a communication partner device and receiving an image from the communication partner device;
Image creating means for creating an image based on the character data and the feature data of the face;
And at least display means for displaying the received image,
The extraction unit sets a predetermined size for the face image in the captured image and the received image as each reference size, and the captured image with respect to a reference point on the screen of the display unit and a face image in the received image Calculating a ratio of the captured image and the received image to the respective reference sizes of the face image, calculating the calculated positional shift amount of the user and the ratio, and the ratio Output the position displacement amount and the ratio of the face in the received image as position information to the image creating means,
The image creating means adjusts the ratio of the positional displacement amount and the reference size of the face with respect to the captured image based on the position information and outputs the ratio to the communication means, and the function based on the position information. A function of adjusting the ratio of the amount of positional deviation of the face with respect to the received image and a reference size, and outputting to the display means
An information terminal device that communicates the captured images with each other.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007139102A JP2008294815A (en) | 2007-05-25 | 2007-05-25 | Information terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007139102A JP2008294815A (en) | 2007-05-25 | 2007-05-25 | Information terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008294815A true JP2008294815A (en) | 2008-12-04 |
Family
ID=40169086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007139102A Withdrawn JP2008294815A (en) | 2007-05-25 | 2007-05-25 | Information terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008294815A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011035795A (en) * | 2009-08-05 | 2011-02-17 | Hitachi Consumer Electronics Co Ltd | Image processing apparatus and image processing method |
JP2011123501A (en) * | 2010-12-28 | 2011-06-23 | Sony Ericsson Mobilecommunications Japan Inc | Display device, display control method and display control program |
CN102158680A (en) * | 2010-02-11 | 2011-08-17 | 北京华旗随身数码股份有限公司 | Telephone conference terminal with visualization function |
US8624927B2 (en) | 2009-01-27 | 2014-01-07 | Sony Corporation | Display apparatus, display control method, and display control program |
JP2014010227A (en) * | 2012-06-28 | 2014-01-20 | Nec Saitama Ltd | Portable electronic apparatus, control method therefor and program |
JP2014049797A (en) * | 2012-08-29 | 2014-03-17 | Canon Inc | Display device with camera |
JP2014212489A (en) * | 2013-04-19 | 2014-11-13 | フリュー株式会社 | Photograph seal creating device, method, and program |
JP2014220761A (en) * | 2013-05-10 | 2014-11-20 | アイキューブド研究所株式会社 | Image output device, image output method and program |
JP2014233035A (en) * | 2013-05-30 | 2014-12-11 | ソニー株式会社 | Information processor, display control method and program |
KR20200029062A (en) * | 2012-07-13 | 2020-03-17 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Video display modification for video conferencing environments |
-
2007
- 2007-05-25 JP JP2007139102A patent/JP2008294815A/en not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8624927B2 (en) | 2009-01-27 | 2014-01-07 | Sony Corporation | Display apparatus, display control method, and display control program |
JP2011035795A (en) * | 2009-08-05 | 2011-02-17 | Hitachi Consumer Electronics Co Ltd | Image processing apparatus and image processing method |
CN102158680A (en) * | 2010-02-11 | 2011-08-17 | 北京华旗随身数码股份有限公司 | Telephone conference terminal with visualization function |
JP2011123501A (en) * | 2010-12-28 | 2011-06-23 | Sony Ericsson Mobilecommunications Japan Inc | Display device, display control method and display control program |
JP2014010227A (en) * | 2012-06-28 | 2014-01-20 | Nec Saitama Ltd | Portable electronic apparatus, control method therefor and program |
KR20200029062A (en) * | 2012-07-13 | 2020-03-17 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Video display modification for video conferencing environments |
KR102201659B1 (en) * | 2012-07-13 | 2021-01-11 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Video display modification for video environments |
JP2014049797A (en) * | 2012-08-29 | 2014-03-17 | Canon Inc | Display device with camera |
JP2014212489A (en) * | 2013-04-19 | 2014-11-13 | フリュー株式会社 | Photograph seal creating device, method, and program |
JP2014220761A (en) * | 2013-05-10 | 2014-11-20 | アイキューブド研究所株式会社 | Image output device, image output method and program |
JP2014233035A (en) * | 2013-05-30 | 2014-12-11 | ソニー株式会社 | Information processor, display control method and program |
US10038874B2 (en) | 2013-05-30 | 2018-07-31 | Sony Corporation | Information processing apparatus, display control method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008294815A (en) | Information terminal | |
CN109952759B (en) | Improved method and system for video conferencing with HMD | |
JP6303270B2 (en) | Video conference terminal device, video conference system, video distortion correction method, and video distortion correction program | |
JP4144492B2 (en) | Image display device | |
WO2011007489A1 (en) | Teleconferencing device and image display processing method | |
CN106462937B (en) | Image processing apparatus and image display apparatus | |
US20170187987A1 (en) | Video conference system | |
JP2002509399A (en) | Improved imaging system with virtual camera | |
JP5720068B1 (en) | Smart glasses with self-photographing function | |
CN106664361B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
JP5294889B2 (en) | Imaging apparatus and imaging method | |
CN103430531A (en) | Video processing apparatus, video processing system, and video processing method | |
JP3585625B2 (en) | Image input device and image transmission device using the same | |
JP2016213674A (en) | Display control system, display control unit, display control method, and program | |
KR101393147B1 (en) | Mobile Terminal and Shooting method thereof | |
JP6004978B2 (en) | Subject image extraction device and subject image extraction / synthesis device | |
JP2005142765A (en) | Apparatus and method for imaging | |
JP2019068261A (en) | Distribution system and distribution method, distribution device and distribution program, and receiving device and receiving program | |
JP2005322969A (en) | Video transmission apparatus, method, and program, video reception apparatus, method, and program, video communication system and method | |
US9542720B2 (en) | Terminal device, image display method, and storage medium | |
JP2008028481A (en) | Image processor, remote image processing system and image processing method | |
JP2005117106A (en) | Mobile telephone with imaging function and control method thereof, and control program | |
JP7286838B2 (en) | Personal digital assistant | |
JP2010283550A (en) | Communication system, and communication device | |
JP2001111976A (en) | Video photographing device and communication terminal equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100803 |