JP2013201715A - Portable terminal, control method for portable terminal, program, and recording medium - Google Patents
Portable terminal, control method for portable terminal, program, and recording medium Download PDFInfo
- Publication number
- JP2013201715A JP2013201715A JP2012070173A JP2012070173A JP2013201715A JP 2013201715 A JP2013201715 A JP 2013201715A JP 2012070173 A JP2012070173 A JP 2012070173A JP 2012070173 A JP2012070173 A JP 2012070173A JP 2013201715 A JP2013201715 A JP 2013201715A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- unit
- partner
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Telephone Function (AREA)
Abstract
Description
本発明は、自端末と相手端末との間において、画像ストリームを送受信する携帯端末、携帯端末の制御方法、プログラム、および記録媒体に関する。 The present invention relates to a portable terminal that transmits and receives an image stream between a terminal and a partner terminal, a method for controlling the portable terminal, a program, and a recording medium.
近年、カメラを備える携帯端末が普及したことによって、端末が備える画像表示手段とカメラとを利用する機能が一般的になってきている。これらの端末は、一般的に二次電池の電力によって駆動されるため、消費電流もしくは消費電力を抑制するための技術がこれまでにも開発されている。 In recent years, with the widespread use of mobile terminals equipped with a camera, a function of using an image display means and a camera provided in the terminal has become common. Since these terminals are generally driven by the power of the secondary battery, techniques for suppressing current consumption or power consumption have been developed.
特許文献1には、カメラにより所定距離範囲を撮像し、所定距離範囲内に顔画像があるか否かを検出し、所定時間以上顔画像が検出できなければユーザが表示部を見ていないと判断し、表示制御部により表示部の電源をきることにより省電力制御を行う技術が記載されている。 In Patent Literature 1, a predetermined distance range is imaged by a camera, whether or not there is a face image within the predetermined distance range, and if the face image cannot be detected for a predetermined time or more, the user is not looking at the display unit. A technique for performing power saving control by determining and turning off the power of the display unit by the display control unit is described.
特許文献2には、ビデオカメラにおいて動画を記録しているか否かの情報と、顔検知機能が有効かの情報と、顔を検知しているか否かの情報とから、電力消費を抑えても支障がないと判断した場合に、電力消費をすくなくするように制御する技術が記載されている。 Japanese Patent Application Laid-Open No. 2004-151867 discloses that even if power consumption is suppressed based on information on whether or not a video is recorded in a video camera, information on whether or not a face detection function is enabled, and information on whether or not a face is detected. A technique for controlling so as to reduce power consumption when it is determined that there is no problem is described.
特許文献3には、携帯端末を用いて通話を行う際に、携帯端末が使用者の耳付近にあるかどうかを確実に判断することにより、音声通話モードとテレビ電話モードとを自動的に間違いなく切り替える技術が記載されている。 In Patent Document 3, when making a call using a portable terminal, the voice call mode and the videophone mode are automatically mistaken by reliably determining whether the portable terminal is near the user's ear. The technology to switch without any is described.
特許文献1および2に記載されている技術は、画像表示部と撮像部であるカメラとを用いる単一のシステムの省電力化を図ることを目的としている。言い換えると、電話およびテレビ電話といった通信相手が存在する状況における省電力化を図ることは考慮されていない。 The techniques described in Patent Documents 1 and 2 are intended to save power in a single system that uses an image display unit and a camera that is an imaging unit. In other words, it is not considered to save power in a situation where there is a communication partner such as a telephone and a videophone.
特許文献3に記載されている技術は、音声通話モードとテレビ電話モードとを自動的に間違いなく切り替えることを課題としており、携帯端末の省電力化を図ることは意図していない。 The technique described in Patent Document 3 has a problem of automatically switching between the voice call mode and the videophone mode without fail, and is not intended to save power of the mobile terminal.
携帯端末を用いて、テレビ電話に代表される画像表示部とカメラとを利用する双方向通信機能を実行するためには、少なくとも画像表示部、撮像部、画像エンコーダおよび画像デコーダを動作させる必要がある。したがって、画像表示部とカメラとを利用する双方向通信機能を実行するためには多くの電流(電力)が必要であり、その消費電流(消費電力)は電池端において数十〜数百mAのオーダーとなる。このような消費電流を出来るだけ削減するできる技術が、現在、求められている。 In order to execute a bidirectional communication function using an image display unit typified by a videophone and a camera using a mobile terminal, it is necessary to operate at least the image display unit, the imaging unit, the image encoder, and the image decoder. is there. Therefore, a large amount of current (power) is required to execute the bidirectional communication function using the image display unit and the camera, and the current consumption (power consumption) is several tens to several hundreds mA at the battery end. It becomes an order. A technology that can reduce such current consumption as much as possible is now required.
本発明は、上記の課題を鑑みてなされたものである。本発明の目的は、画像表示部とカメラとを利用する双方向通信機能を実行する際に、無駄な消費電流(消費電力)を抑制可能な携帯端末、および、携帯端末の制御方法を提供することである。 The present invention has been made in view of the above problems. An object of the present invention is to provide a portable terminal capable of suppressing wasteful current consumption (power consumption) and a method for controlling the portable terminal when executing a bidirectional communication function using an image display unit and a camera. That is.
本発明の一態様に係る携帯端末は、上記の課題を解決するために、画像表示手段と、上記画像表示手段が向いている方向を撮像する撮像手段と、相手端末が送信する相手画像ストリームを受信する受信手段と、上記相手画像ストリームを相手画像データに復号化する画像復号化手段と、上記相手画像データを上記画像表示手段に出力する画像出力手段と、上記撮像手段を介して自画像データを入力する画像入力手段と、上記自画像データを自画像ストリームに符号化する画像符号化手段と、上記相手端末に上記自画像ストリームを送信する送信手段と、上記相手画像データが表す相手画像に顔が含まれているか否かを判定するとともに、上記自画像データが表す自画像に顔が含まれているか否かを判定する顔認識判定手段と、上記顔認識判定手段が、上記相手画像および上記自画像の少なくとも一方に顔が含まれていないと判定した際に、上記画像表示手段、上記画像復号化手段、上記撮像手段および上記画像符号化手段のうち、少なくともいずれか1つの手段を停止する停止手段とを備えることを特徴とする。 In order to solve the above problems, a mobile terminal according to an aspect of the present invention includes an image display unit, an imaging unit that captures a direction in which the image display unit is facing, and a partner image stream transmitted by the partner terminal. Receiving means for receiving, image decoding means for decoding the counterpart image stream into counterpart image data, image output means for outputting the counterpart image data to the image display means, and self-image data via the imaging means. An image input means for inputting, an image encoding means for encoding the self-image data into a self-image stream, a transmission means for transmitting the self-image stream to the counterpart terminal, and a counterpart image represented by the counterpart image data includes a face. Face recognition determination means for determining whether or not a self-portrait represented by the self-image data includes a face, and the face recognition determination When the stage determines that at least one of the partner image and the self-portrait does not include a face, at least one of the image display unit, the image decoding unit, the imaging unit, and the image encoding unit And stop means for stopping the one means.
上記のように構成された携帯端末によれば、相手端末との間において画像ストリームを送受信することによって、互いの顔を見ながら双方向通信をすることができる。この際に、上記顔認識判定手段は、上記相手画像および上記自画像に顔が含まれているか否かを判定する。上記相手画像および上記自画像の少なくともいずれか一方に顔が含まれていないと上記顔認識判定手段が判定した場合に、当該判定結果に応じて、上記停止手段は上記画像表示手段、上記画像出力手段、上記画像復号化手段、上記撮像手段、上記画像入力手段および上記画像符号化手段のうち少なくともいずれか1つの手段を停止する。 According to the portable terminal configured as described above, bidirectional communication can be performed while looking at each other's face by transmitting and receiving an image stream to and from the partner terminal. At this time, the face recognition determining means determines whether or not a face is included in the partner image and the self-portrait. When the face recognition determination unit determines that at least one of the partner image and the self-portrait does not include a face, the stop unit is configured to display the image display unit or the image output unit according to the determination result. At least one of the image decoding unit, the imaging unit, the image input unit, and the image encoding unit is stopped.
上記携帯端末において、上記撮像手段は上記画像表示手段が向いている方向を撮像する。上記自画像に顔が含まれているならば、上記携帯端末の使用者は、上記撮像手段と対面しているということであり、すなわち上記使用者は上記画像表示手段を見ている。 In the portable terminal, the imaging unit images a direction in which the image display unit is facing. If a face is included in the self-portrait, it means that the user of the portable terminal is facing the imaging means, that is, the user is looking at the image display means.
一方、上記自画像に顔が含まれていないならば、上記使用者は上記撮像手段が撮像する範囲内にいない、または、上記撮像手段から顔を背けている。すなわち、上記使用者は上記画像表示手段を見ていない。このように上記自画像に顔が含まれていないとき、言い換えると、上記使用者が上記画像表示手段を見ていないときに、例えば上記画像出力手段および上記画像表示手段を通常通り動作させることは無意味である。 On the other hand, if the self-portrait does not include a face, the user is not within the range imaged by the imaging means, or turned away from the imaging means. That is, the user does not look at the image display means. Thus, when the self-portrait does not include a face, in other words, when the user is not looking at the image display means, for example, the image output means and the image display means are not operated as usual. Meaning.
同様に上記相手画像に顔が含まれていないならば、上記相手端末の使用者は、上記携帯端末が上記相手端末に送信する上記自画像ストリームが表す画像を見ていない。したがって、上記画像に顔が含まれていないとき、例えば上記画像符号化手段を通常通り動作させることは無意味である。 Similarly, if the partner image does not include a face, the user of the partner terminal does not see the image represented by the self-portrait stream transmitted from the mobile terminal to the partner terminal. Therefore, when the image does not include a face, for example, it is meaningless to operate the image encoding means as usual.
上記携帯端末は、上記相手画像および上記自画像の少なくともいずれか一方に顔が含まれていないときに、動作させることが無意味な手段を上記停止手段が停止する。したがって、無駄な消費電流(消費電力)を抑制可能である。 In the portable terminal, when at least one of the partner image and the self-portrait does not include a face, the stop unit stops means that is meaningless to operate. Therefore, useless current consumption (power consumption) can be suppressed.
また、本発明の一態様に係る携帯端末は、上記顔認識判定手段が、上記自画像に顔が含まれておらず、かつ、上記相手画像に顔が含まれていると判定すると、上記停止手段が上記画像表示手段を停止する構成であってもよい。 In addition, when the face recognition determination unit determines that the self-portrait does not include a face and the counterpart image includes a face, the stop unit includes the mobile terminal according to an aspect of the present invention. The structure which stops the said image display means may be sufficient.
上記の構成によれば、上記顔認識判定手段が、上記自画像に顔が含まれておらず、かつ、上記相手画像に顔が含まれていると判定すると、上記停止手段が、上記画像表示手段を停止する。上記自画像データに顔が含まれていないということは、上記携帯端末の使用者は上記撮像手段が撮像する範囲内にいない、または、上記撮像手段から顔を背けていることを意味する。すなわち、上記使用者は上記画像表示手段を見ていない。このため、上記画像表示手段を動作させることは無意味である。 According to the above configuration, when the face recognition determination unit determines that the self image does not include a face and the partner image includes a face, the stop unit displays the image display unit. To stop. The fact that no face is included in the self-portrait data means that the user of the portable terminal is not within the range imaged by the imaging means or is facing away from the imaging means. That is, the user does not look at the image display means. For this reason, it is meaningless to operate the image display means.
したがって、上記停止手段が上記画像表示手段を停止することによって、上記自画像データに自分の顔が含まれておらず、かつ、上記相手画像データに相手の顔が含まれている際の無駄な消費電流(消費電力)を抑制可能である。 Therefore, when the stop means stops the image display means, the self-image data does not include its own face, and the other-person image data includes a face of the other party. Current (power consumption) can be suppressed.
なお、上記復号化手段が動作していることによって、上記相手画像に顔が含まれているか否かを、上記顔認識判定手段は判定し続ける。したがって、上記相手画像に顔が検出されなくなった際に、上記停止手段は上記携帯端末の状態が遷移したことを検知することができる。 Note that the face recognition determining means continues to determine whether or not a face is included in the counterpart image due to the operation of the decoding means. Therefore, when the face is no longer detected in the partner image, the stopping means can detect that the state of the mobile terminal has transitioned.
また、本発明の一態様に係る携帯端末は、上記停止手段が、上記画像表示手段に加えて上記画像復号化手段を停止する構成であってもよい。 The mobile terminal according to an aspect of the present invention may be configured such that the stop unit stops the image decoding unit in addition to the image display unit.
上記の構成によれば、上記顔認識判定手段が、上記自画像に顔が含まれておらず、かつ、上記相手画像に相手の顔が含まれていると判定すると、上記停止手段は、上記画像表示手段に加えて上記画像復号化手段を停止する。上記自画像に顔が含まれていないということは、上記携帯端末の使用者が上記画像表示手段を見ていない状況であるから、上記停止手段が上記画像復号化手段を停止しても、上記双方向通信には支障は生じない。 According to the above configuration, when the face recognition determination unit determines that no face is included in the self-portrait and the other party's face is included in the counterpart image, the stop unit includes the image In addition to the display means, the image decoding means is stopped. The fact that the self-portrait does not include a face means that the user of the portable terminal is not looking at the image display means. Therefore, even if the stop means stops the image decoding means, There is no hindrance to communication.
上記画像表示手段と上記画像復号化手段とをともに停止することによって、上記自画像データに顔が含まれておらず、かつ、上記相手画像データに顔が含まれている際の無駄な消費電流(消費電力)を、更に抑制可能である。 By stopping both the image display means and the image decoding means, a wasteful current consumption (when a face is not included in the self-image data and a face is included in the counterpart image data ( (Power consumption) can be further suppressed.
また、本発明の一態様に係る携帯端末は、上記顔認識判定手段が、上記自画像に顔が含まれており、かつ、上記相手画像に顔が含まれていないと判定すると、上記停止手段が、上記画像符号化手段を停止する構成であってもよい。 In the mobile terminal according to one aspect of the present invention, when the face recognition determination unit determines that the self-portrait includes a face and the partner image does not include a face, the stop unit includes The image encoding unit may be stopped.
上記の構成によれば、上記顔認識判定手段が、上記自画像に顔が含まれており、かつ、上記相手画像に顔が含まれていないと判定すると、上記停止手段が、上記画像符号化手段を停止する。上記相手画像に顔が含まれていない場合、上記相手端末の使用者は上記携帯端末が送信する上記自画像ストリームが表す自画像を見ていない。したがって、上記相手画像に顔が含まれていないとき、上記画像符号化手段を通常通り動作させることは無意味である。言い換えると、上記停止手段が上記画像符号化手段停止しても、上記双方向通信には支障は生じない。したがって、上記画像符号化手段を停止することによって、上記自画像データに顔が含まれており、かつ、上記相手画像データに顔が含まれていない際の無駄な消費電流(消費電力)を抑制可能である。 According to the above configuration, when the face recognition determination unit determines that a face is included in the self-portrait and a face is not included in the counterpart image, the stop unit includes the image encoding unit. To stop. When the partner image does not include a face, the user of the partner terminal does not see the self-portrait represented by the self-portrait stream transmitted by the mobile terminal. Therefore, it is meaningless to operate the image encoding means as usual when no face is included in the counterpart image. In other words, even if the stop means stops the image encoding means, no trouble occurs in the bidirectional communication. Therefore, by stopping the image encoding means, it is possible to suppress unnecessary current consumption (power consumption) when a face is included in the self-image data and a face is not included in the counterpart image data. It is.
なお、上記自画像に顔が含まれており、かつ、上記相手画像に顔が含まれていないにおいて上記撮像手段および上記画像入力手段は動作している。すなわち、上記自画像に顔が含まれているか否かを、上記顔認識判定手段は判定し続ける。したがって、上記自画像に顔が検出されなくなった際に、上記停止手段は上記携帯端末の状態が遷移したことを検知することができる。 Note that the imaging means and the image input means operate when the self-portrait includes a face and the counterpart image does not include a face. That is, the face recognition determination means continues to determine whether or not a face is included in the self-portrait. Therefore, when a face is no longer detected in the self-portrait, the stop means can detect that the state of the mobile terminal has transitioned.
また、本発明の一態様に係る携帯端末は、上記停止手段が、上記画像符号化手段に加えて上記撮像手段を停止する構成であってもよい。 The mobile terminal according to an aspect of the present invention may be configured such that the stop unit stops the imaging unit in addition to the image encoding unit.
上記の構成によれば、上記顔認識判定手段が、上記自画像に顔が含まれており、かつ、上記相手画像に顔が含まれていないと判定すると、上記停止手段は、上記画像符号化手段に加えて上記撮像手段を停止する。上記相手画像に顔が含まれていないということは、上記相手端末の使用者が上記自画像ストリームが表す画像を見ていない状況であるから、上記停止手段が上記撮像手段を停止しても、上記双方向通信には支障は生じない。 According to the above configuration, when the face recognition determination unit determines that the self-portrait includes a face and the partner image does not include a face, the stop unit includes the image encoding unit. In addition, the imaging means is stopped. The fact that no face is included in the counterpart image is a situation in which the user of the counterpart terminal does not see the image represented by the self-portrait stream, so even if the stop means stops the imaging means, There is no problem with bidirectional communication.
上記画像符号化手段と上記撮像手段とをともに停止することによって、上記自画像に顔が含まれており、かつ、上記相手画像に顔が含まれていない際の無駄な消費電流(消費電力)を、更に抑制可能である。 By stopping both the image encoding means and the imaging means, a wasteful current consumption (power consumption) when the face is included in the self-image and the face is not included in the counterpart image is obtained. Further suppression is possible.
また、本発明の一態様に係る携帯端末は、上記顔認識判定手段が、上記自画像に顔が含まれておらず、かつ、上記相手画像に顔が含まれていないと判定すると、上記停止手段が、上記画像符号化手段を停止する構成であってもよい。 In addition, when the face recognition determination unit determines that the face does not include a face in the self-portrait and the face in the partner image does not include the face, However, the structure which stops the said image coding means may be sufficient.
上記の構成によれば、上記顔認識判定手段が、上記自画像に顔が含まれておらず、かつ、上記相手画像に顔が含まれていないと判定すると、上記停止手段が、上記画像符号化手段を停止する。上記自画像データおよび上記相手画像データの双方に顔が含まれていないということは、上記携帯端末の使用者は上記撮像手段が撮像する範囲内にいない、または、上記撮像手段から顔を背けており、さらに、相手端末の使用者は相手端末が備える撮像手段が撮像する範囲内にいない、または、相手端末が備える撮像手段から顔を背けている状況である。このため、上記停止手段が上記画像符号化手段を停止しても上記双方向通信には支障は生じない。 According to the above configuration, when the face recognition determination unit determines that the self-portrait does not include a face and the partner image does not include a face, the stop unit performs the image encoding. Stop means. The fact that both the self-portrait data and the counterpart image data do not include a face means that the user of the portable terminal is not within the imaging range of the imaging means, or is facing away from the imaging means. Furthermore, the user of the counterpart terminal is in a situation where the imaging means provided in the counterpart terminal is not within the imaging range or the face is turned away from the imaging means provided in the counterpart terminal. For this reason, even if the stop means stops the image encoding means, the bidirectional communication is not hindered.
上記画像符号化手段を停止することによって、上記自画像に顔が含まれておらず、かつ、上記相手画像に顔が含まれていない際の無駄な消費電流(消費電力)を抑制可能である。 By stopping the image encoding means, it is possible to suppress useless current consumption (power consumption) when no face is included in the self-portrait and no face is included in the counterpart image.
また、本発明の一態様に係る携帯端末は、上記顔認識判定手段が、上記自画像に顔が含まれておらず、かつ、上記相手画像に顔が含まれていないと判定すると、上記停止手段が、上記画像表示手段を停止する構成であってもよい。 In addition, when the face recognition determination unit determines that the face does not include a face in the self-portrait and the face in the partner image does not include the face, However, the structure which stops the said image display means may be sufficient.
上記の構成によれば、上記顔認識判定手段が、上記自画像に自分の顔が含まれておらず、かつ、上記相手画像に相手の顔が含まれていないと判定すると、上記停止手段が、上記画像表示手段を停止する。上記自画像データおよび上記相手画像データの双方に顔が含まれていないということは、携帯端末の使用者は上記撮像手段が撮像する範囲内にいない、または、上記撮像手段から顔を背けており、さらに、相手端末の使用者は相手端末が備える撮像手段が撮像する範囲内にいない、または、相手端末が備える撮像手段から顔を背けている状況である。このため、上記停止手段が上記画像表示手段を停止しても上記双方向通信には支障は生じない。 According to the above configuration, when the face recognition determination unit determines that the self-portrait does not include the user's face and the partner image does not include the partner's face, the stop unit includes The image display means is stopped. The fact that both the self-portrait data and the counterpart image data do not include a face means that the user of the mobile terminal is not within the range imaged by the imaging means, or is facing away from the imaging means, Furthermore, the user of the partner terminal is in a situation where the image capturing unit included in the partner terminal is not within the range of imaging, or the user is facing away from the image capturing unit included in the partner terminal. For this reason, even if the stop means stops the image display means, the two-way communication is not hindered.
上記画像表示手段を停止することによって、上記自画像に顔が含まれておらず、かつ、上記相手画像に顔が含まれていない際の無駄な消費電流(消費電力)を抑制可能である。 By stopping the image display means, it is possible to suppress unnecessary current consumption (power consumption) when the self-portrait does not include a face and the counterpart image does not include a face.
また、本発明の一態様に係る携帯端末は、上記受信手段が、上記相手画像ストリームを受信しないと、上記停止手段が、上記撮像手段を停止する構成であってもよい。 The mobile terminal according to an aspect of the present invention may be configured such that the stop unit stops the imaging unit when the receiving unit does not receive the partner image stream.
上記の構成によれば、上記携帯端末が備える上記受信手段が上記相手画像ストリームを受信しないと、上記停止手段が上記撮像手段を停止する。したがって、上記相手画像ストリームを受信しない際の無駄な消費電流(消費電力)を抑制可能である。 According to said structure, if the said receiving means with which the said portable terminal is provided does not receive the said other party image stream, the said stop means will stop the said imaging means. Therefore, wasteful current consumption (power consumption) when the partner image stream is not received can be suppressed.
また、本発明の一態様に係る携帯端末は、上記受信手段が、上記相手画像ストリームを受信しないと、上記停止手段が、上記画像復号化手段を停止する構成であってもよい。 The mobile terminal according to an aspect of the present invention may be configured such that the stop unit stops the image decoding unit when the receiving unit does not receive the partner image stream.
上記の構成によれば、上記携帯端末が備える上記受信手段が上記相手画像ストリームを受信しないと、上記停止手段が、上記画像復号化手段を停止する。したがって、上記相手画像ストリームを受信しない際の無駄な消費電流(消費電力)を抑制可能である。 According to said structure, if the said receiving means with which the said portable terminal is provided does not receive the said other party image stream, the said stop means will stop the said image decoding means. Therefore, wasteful current consumption (power consumption) when the partner image stream is not received can be suppressed.
また、本発明の一態様に係る携帯端末は、上記停止手段が、上記画像復号化手段に加えて上記画像表示手段を停止する構成であってもよい。 The mobile terminal according to an aspect of the present invention may be configured such that the stop unit stops the image display unit in addition to the image decoding unit.
上記の構成によれば、上記受信手段が、上記相手画像ストリームを受信しないと、上記停止手段が、上記画像復号化手段に加えて上記画像表示手段を停止する。したがって、上記相手画像ストリームを受信しない際の無駄な消費電流(消費電力)を更に抑制可能である。 According to the above configuration, when the receiving unit does not receive the partner image stream, the stopping unit stops the image display unit in addition to the image decoding unit. Therefore, wasteful current consumption (power consumption) when not receiving the partner image stream can be further suppressed.
また、本発明の一態様に係る携帯端末は、上記受信手段が相手画像ストリームを無線通信回線を介して受信し、上記送信手段が自画像ストリームを無線通信回線を介して送信する構成であってもよい。 In the mobile terminal according to one aspect of the present invention, the receiving unit may receive the partner image stream via a wireless communication line, and the transmitting unit may transmit the own image stream via a wireless communication line. Good.
上記の構成によれば、上記携帯端末と通信回線とを接続するための配線を接続しなくても、携帯端末は相手画像ストリームを受信することができる。 According to said structure, even if it does not connect the wiring for connecting the said portable terminal and a communication line, a portable terminal can receive an other party image stream.
また、本発明の一態様に係る携帯端末は、上記画像表示手段、上記画像復号化手段、上記撮像手段および上記画像符号化手段のうち少なくとも1つが停止している際に、上記顔認識判定手段が、上記自画像に新たに顔が含まれていると判定する、または、上記相手画像に新たに顔が含まれていると判定すると、復帰手段が、上記画像表示手段、上記画像復号化手段、上記撮像手段および上記画像符号化手段の全ての手段を動作させる構成であってもよい。 In addition, the portable terminal according to one aspect of the present invention provides the face recognition determination unit when at least one of the image display unit, the image decoding unit, the imaging unit, and the image encoding unit is stopped. However, when it is determined that a new face is included in the self-portrait, or when it is determined that a face is newly included in the counterpart image, a restoration unit includes the image display unit, the image decoding unit, The configuration may be such that all the imaging means and the image encoding means are operated.
上記の構成によれば、携帯端末が備える上記画像表示手段、上記画像復号化手段、上記撮像手段および上記画像符号化手段のうち少なくとも1つが停止している際に、上記顔認識判定手段が、上記自画像に新たに自分の顔が含まれていると判定する、または、上記相手画像に新たに相手の顔が含まれていると判定すると、上記停止手段は、上記画像表示手段、上記画像復号化手段、上記撮像手段および上記画像符号化手段の全ての手段を動作させる。 According to the above configuration, when at least one of the image display unit, the image decoding unit, the imaging unit, and the image encoding unit included in the mobile terminal is stopped, the face recognition determination unit is When it is determined that the face of the subject is newly included in the self-portrait, or when it is determined that the face of the other party is newly included in the counterpart image, the stop means is the image display means, the image decoding All of the converting means, the imaging means, and the image encoding means are operated.
したがって、携帯端末の使用者が特別な操作を行うことなく、携帯端末を上記画像表示手段、上記画像復号化手段、上記撮像手段および上記画像符号化手段のうち少なくとも1つが停止している状態から、全ての手段が動作している状態へ復帰させることができる。 Therefore, the user of the mobile terminal does not perform any special operation, and the mobile terminal is moved from a state where at least one of the image display unit, the image decoding unit, the imaging unit, and the image encoding unit is stopped. , All the means can be returned to the operating state.
本発明の一態様に係る携帯端末の制御方法は、画像表示工程と、上記画像表示工程において画像が表示される方向を撮像する撮像工程と、相手端末が送信する相手画像ストリームを受信する受信工程と、相手画像ストリームを相手画像データに復号化する画像復号化工程と、上記相手画像データを上記画像表示工程に出力する画像出力工程と、上記撮像工程を介して自画像データを入力する画像入力工程と、上記自画像データを自画像ストリームに符号化する画像符号化工程と、上記相手端末に上記自画像ストリームを送信する送信工程と、上記相手画像データが表す相手画像に顔が含まれているか否かを判定するとともに、上記自画像データが表す自画像に顔が含まれているか否かを判定する顔認識判定工程と、上記顔認識判定工程により、上記相手画像および上記自画像の少なくとも一方に顔が含まれていないと判定された際に、上記画像表示工程、上記画像復号化工程、上記撮像工程および上記画像符号化工程のうち、少なくともいずれかを停止する停止工程とを備えることを特徴とする。 The mobile terminal control method according to an aspect of the present invention includes an image display step, an imaging step of capturing a direction in which an image is displayed in the image display step, and a reception step of receiving a partner image stream transmitted by the partner terminal. An image decoding step of decoding the counterpart image stream into the counterpart image data, an image output step of outputting the counterpart image data to the image display step, and an image input step of inputting the self-image data through the imaging step An image encoding step of encoding the self-image data into a self-image stream, a transmission step of transmitting the self-image stream to the counterpart terminal, and whether or not a face is included in the counterpart image represented by the counterpart image data. And a face recognition determination step for determining whether or not a face is included in the self-portrait represented by the self-image data, and the face recognition determination step. When it is determined that at least one of the counterpart image and the self-image does not include a face, at least one of the image display step, the image decoding step, the imaging step, and the image encoding step is performed. And a stop step for stopping.
上記のように構成された携帯端末の制御方法によれば、携帯端末と同様の効果を奏する。 According to the control method of the mobile terminal configured as described above, the same effect as that of the mobile terminal can be obtained.
また、本発明の一態様に係る携帯端末が備えている各手段としてコンピュータを動作させるためのプログラム、および、それらのプログラムを記録したコンピュータ読み取り可能な記録媒体についても本発明の範疇に含まれる。 In addition, a program for operating a computer as each unit included in the mobile terminal according to one embodiment of the present invention and a computer-readable recording medium on which the program is recorded are also included in the scope of the present invention.
本発明の一態様に係る携帯端末によれば、画像を双方向通信する際に無駄な無駄な消費電流(消費電力)を削減することができる効果を奏する。 According to the mobile terminal of one aspect of the present invention, it is possible to reduce wasteful current consumption (power consumption) when bidirectionally communicating images.
本発明の一実施形態に係る携帯端末10について、図1〜図9を参照しながら以下に説明する。本実施形態に係る携帯端末10は、無線通信回線を介して画像音声ストリームの送受信が可能な機器であれば、その種類は限定されない。代表的な携帯端末の例としては、例えばスマートフォン、フィーチャーフォン、タブレット型端末などが挙げられる。 A mobile terminal 10 according to an embodiment of the present invention will be described below with reference to FIGS. The type of the mobile terminal 10 according to the present embodiment is not limited as long as it is a device capable of transmitting and receiving an image / audio stream via a wireless communication line. Examples of typical portable terminals include smartphones, feature phones, tablet terminals, and the like.
本実施形態において、携帯端末10のことを自端末とも表現する。携帯端末10は、自端末とは別個の端末(以下において相手端末とも表現する)と無線通信回線を介して画像音声ストリームの送受信を行う。別の言い方をすると、携帯端末10と相手端末とは双方向通信を行うことによって、自端末の使用者と相手端末の使用者とが互いの顔を画像として見ながら通信することを実現する。 In the present embodiment, the mobile terminal 10 is also expressed as its own terminal. The portable terminal 10 transmits / receives an audio / video stream to / from a terminal (hereinafter also referred to as a partner terminal) separate from the terminal itself via a wireless communication line. In other words, the mobile terminal 10 and the partner terminal perform two-way communication, thereby realizing that the user of the own terminal and the user of the partner terminal communicate while looking at each other's face as an image.
自端末の使用者と相手端末の使用者とが互いに顔を画像として見ながら行う通信の用途として、たとえばテレビ電話などが挙げられる。本実施形態において、以下ではテレビ電話を例として説明する。しかし、携帯端末10は、少なくとも画像ストリームの送受信による双方向通信を行えればよい。言い換えると、携帯端末10において音声ストリームの送受信による双方向通信は、必須の構成要素ではない。 As an application of communication performed by the user of the own terminal and the user of the partner terminal while looking at each other's face as an image, for example, a video phone can be cited. In the present embodiment, a videophone will be described below as an example. However, the mobile terminal 10 only needs to perform at least bidirectional communication by transmitting and receiving an image stream. In other words, bidirectional communication by transmitting and receiving an audio stream in the mobile terminal 10 is not an essential component.
自端末と相手端末との間において送受信する画像音声ストリームとして、例えばMPEG2ストリームまたはMPEG4ストリームを用いてもよい。 For example, an MPEG2 stream or an MPEG4 stream may be used as an audio / video stream transmitted / received between the own terminal and the partner terminal.
(携帯端末10の構成)
携帯端末10の構成について、図1を参照しながら説明する。図1は、携帯端末10の構成の概略を示すブロック図である。この図に示すように携帯端末10は、無線処理部15、画像音声処理部20、液晶表示装置(LCD)31、カメラ32、スピーカ33、マイク34、顔認識判定部40、制御部50および記憶部60を備えている。
(Configuration of mobile terminal 10)
The configuration of the mobile terminal 10 will be described with reference to FIG. FIG. 1 is a block diagram showing an outline of the configuration of the mobile terminal 10. As shown in this figure, the mobile terminal 10 includes a wireless processing unit 15, an image / sound processing unit 20, a liquid crystal display (LCD) 31, a camera 32, a speaker 33, a microphone 34, a face recognition determination unit 40, a control unit 50, and a storage. Part 60 is provided.
(無線処理部15)
受信手段および送信手段である無線処理部15は、無線通信回線を介して、相手端末が出力する画像音声ストリーム(以下において、相手端末ストリームとも呼ぶ)を受信する。そして、相手端末ストリームを後述する画像音声処理部20に出力する。その一方で、無線処理部15は後述する画像音声処理部20から自端末の画像音声ストリーム(以下において、自端末ストリームとも呼ぶ)を受け取り、自端末ストリームを無線通信回線に送信する。
(Wireless processor 15)
The wireless processing unit 15 serving as a receiving unit and a transmitting unit receives an image / audio stream (hereinafter also referred to as a partner terminal stream) output from the partner terminal via a wireless communication line. Then, the partner terminal stream is output to the audio / video processing unit 20 described later. On the other hand, the wireless processing unit 15 receives an image / audio stream of its own terminal (hereinafter also referred to as its own terminal stream) from the audio / video processing unit 20 described later, and transmits the own terminal stream to the wireless communication line.
無線通信回線としては、例えば、携帯電話用通信網、無線LAN(local area network)、および、公衆無線回線などの無線インターネット接続など既存の無線通信回線を利用可能である。 As the wireless communication line, for example, an existing wireless communication line such as a cellular phone communication network, a wireless local area network (LAN), and a wireless Internet connection such as a public wireless line can be used.
(画像音声処理部20)
図1に示すように、画像音声処理部20は入力フレーム処理部21、音声デコーダ22、PCM出力部23、音声エンコーダ24、PCM入力部25、出力フレーム処理部26、画像デコーダ27、画像出力部28、画像エンコーダ29および画像入力部30を備えている。
(Image / Audio Processing Unit 20)
As shown in FIG. 1, the audio / video processing unit 20 includes an input frame processing unit 21, an audio decoder 22, a PCM output unit 23, an audio encoder 24, a PCM input unit 25, an output frame processing unit 26, an image decoder 27, and an image output unit. 28, an image encoder 29 and an image input unit 30 are provided.
携帯端末10の使用者(以下において、使用者Aとも表現する)が特定の相手端末を選択し、携帯端末10が備えるテレビ電話機能を起動することによって、以下に説明する双方向通信が実行される。また、携帯端末10のテレビ電話機能の起動は、使用者A以外の人によって起動されてもよい。例えば、携帯端末10とは別個の端末の使用者(以下において、使用者Bとも表現する)が、使用者Aが所有する携帯端末10に対してテレビ電話機能を用いての通信を要求してもよい。その場合、携帯端末10は使用者Aに対して、当該要求があることを通知する。使用者Aが上記要求を認める操作を携帯端末10に対して行えば、携帯端末10が備えるテレビ電話機能は起動する。 When the user of the mobile terminal 10 (hereinafter also referred to as user A) selects a specific partner terminal and activates the videophone function provided in the mobile terminal 10, bidirectional communication described below is executed. The In addition, activation of the videophone function of the mobile terminal 10 may be activated by a person other than the user A. For example, a user of a terminal separate from the mobile terminal 10 (hereinafter also referred to as a user B) requests communication using the videophone function from the mobile terminal 10 owned by the user A. Also good. In that case, the mobile terminal 10 notifies the user A that there is the request. When the user A performs an operation for approving the request to the mobile terminal 10, the videophone function provided in the mobile terminal 10 is activated.
(受信側処理)
入力フレーム処理部21は、無線処理部15から受け取る相手端末ストリームを、相手音声ストリームと相手画像ストリームとに分離する。その上で、相手音声ストリームを音声デコーダ22に出力し、相手画像ストリームを画像デコーダ27に出力する。
(Receiver processing)
The input frame processing unit 21 separates the partner terminal stream received from the wireless processing unit 15 into a partner voice stream and a partner image stream. After that, the partner audio stream is output to the audio decoder 22, and the partner image stream is output to the image decoder 27.
音声デコーダ22は、相手音声ストリームを相手音声データに復号化した上で、PCM出力部23に出力する。PCM出力部23は、相手音声データを電気信号に変換してスピーカ33に出力する。その結果として、使用者Aはスピーカ33を介して使用者Bの発する音声を聞くことができる。 The audio decoder 22 decodes the other party audio stream into the other party audio data, and outputs it to the PCM output unit 23. The PCM output unit 23 converts the partner voice data into an electrical signal and outputs the electrical signal to the speaker 33. As a result, the user A can hear the voice of the user B through the speaker 33.
画像デコーダ27は、相手画像ストリームを復号化する画像復号化手段である。画像デコーダ27は、相手画像ストリームを相手画像データに復号化した上で、画像出力部28、および、後述する顔認識判定部40に出力する。 The image decoder 27 is image decoding means for decoding the counterpart image stream. The image decoder 27 decodes the partner image stream into partner image data, and outputs the decoded image data to the image output unit 28 and a face recognition determination unit 40 described later.
画像出力部28は、供給される映像データに対して、映像処理を必要に応じて適宜実行しRGB信号に変換する。その上で、画像出力部28は当該RGB信号をLCD31に出力する。画像出力部28が出力する信号はRGB信号に限られず、LCD31に適した信号を出力する。例えば、LCD31がRGBYからなる4つのサブ画素を備える場合には、画像出力部28はRGBY信号をLCD31に出力する構成とすればよい。 The image output unit 28 appropriately performs video processing on the supplied video data as necessary to convert it into RGB signals. After that, the image output unit 28 outputs the RGB signal to the LCD 31. A signal output from the image output unit 28 is not limited to an RGB signal, and a signal suitable for the LCD 31 is output. For example, when the LCD 31 includes four subpixels composed of RGBY, the image output unit 28 may be configured to output RGBY signals to the LCD 31.
画像出力手段であるLCD31は、RGB信号を画像として表示する。その結果として、使用者Aは相手端末が備えるカメラが撮像する画像を見ることができる。 The LCD 31 as image output means displays the RGB signals as an image. As a result, the user A can see an image captured by the camera provided in the counterpart terminal.
このようにして、携帯端末10の使用者Aは、相手端末の音声および画像を大きな遅延なしに、すなわちリアルタイムに視聴することができる。 In this way, the user A of the mobile terminal 10 can view the voice and image of the counterpart terminal without significant delay, that is, in real time.
なお、携帯端末10が備える画像出力手段はLCDに限られない。LCD以外の画像出力手段として、例えば有機EL(electro luminescence)、または、電子インクなどを利用する画像出力手段を用いてもよい。本実施形態においては、画像出力手段がLCDであるとして説明する。 Note that the image output means included in the mobile terminal 10 is not limited to the LCD. As image output means other than the LCD, for example, image output means using organic EL (electroluminescence) or electronic ink may be used. In the present embodiment, description will be made assuming that the image output means is an LCD.
ここまでに説明した処理、すなわち相手端末ストリームを受信し、携帯端末10のLCD31およびスピーカ33から画像および音声を出力する処理を、以下においては自端末の受信側処理、または、単に受信側処理と表現する。 The process described so far, that is, the process of receiving the partner terminal stream and outputting the image and the sound from the LCD 31 and the speaker 33 of the mobile terminal 10 will be referred to as the reception side process of the own terminal or simply the reception side process in the following Express.
(送信側処理)
上述の受信側処理に加えて、携帯端末10は自端末の送信側処理(以下において、単に送信側処理とも呼ぶ)を行う。以下に、図1を参照しながら送信側処理について説明する。
(Sender processing)
In addition to the above-described reception-side processing, the mobile terminal 10 performs transmission-side processing (hereinafter also simply referred to as “transmission-side processing”) of its own terminal. Hereinafter, the transmission side process will be described with reference to FIG.
携帯端末10は、撮像手段であるカメラ32およびマイク34を備えている。カメラ32は、撮影した画像をRGB信号として画像入力部30に出力する。 The portable terminal 10 includes a camera 32 and a microphone 34 that are imaging means. The camera 32 outputs the captured image to the image input unit 30 as an RGB signal.
画像入力部30は、供給されるRGB信号に対して、映像処理を必要に応じて適宜実行し自画像データに変換する。さらに、画像入力部30は、自画像データを画像エンコーダ29、および、後述する顔認識判定部40に出力する。 The image input unit 30 appropriately performs video processing on the supplied RGB signals as necessary to convert the RGB signals into self-image data. Further, the image input unit 30 outputs the self-portrait data to the image encoder 29 and a face recognition determination unit 40 described later.
画像符号化手段である画像エンコーダ29は、自画像データを自画像ストリームに符号化して出力フレーム処理部26に出力する。 The image encoder 29 that is an image encoding means encodes the self-image data into a self-image stream and outputs it to the output frame processing unit 26.
PCM入力部25は、マイク34を介して使用者Aが発する声を電気信号として取り込み、自音声データに変換して音声エンコーダ24に出力する。音声エンコーダ24は、自音声データを自音声ストリームに符号化する。さらに、音声エンコーダ24は、自音声ストリームを出力フレーム処理部26に出力する。 The PCM input unit 25 captures a voice uttered by the user A through the microphone 34 as an electric signal, converts it into own voice data, and outputs it to the voice encoder 24. The audio encoder 24 encodes the own audio data into the own audio stream. Further, the audio encoder 24 outputs the own audio stream to the output frame processing unit 26.
出力フレーム処理部26は、自画像ストリームおよび自音声ストリームを結合することによって1つの自端末ストリームを生成し無線処理部15に出力する。 The output frame processing unit 26 generates one self-terminal stream by combining the self-image stream and the self-audio stream, and outputs the stream to the wireless processing unit 15.
無線処理部15は、自端末ストリームを無線通信回線に送信する。無線通信回線を介して、自端末ストリームを相手端末が受信することによって、使用者Bは使用者Aの音声および映像をリアルタイムで視聴することができる。 The wireless processing unit 15 transmits the terminal stream to the wireless communication line. When the partner terminal receives the own terminal stream via the wireless communication line, the user B can view the voice and video of the user A in real time.
携帯端末10が、上述の受信側処理および送信側処理を実行することによって、携帯端末10が備える携帯電話機能が実現される。 When the mobile terminal 10 executes the above-described reception-side processing and transmission-side processing, the mobile phone function included in the mobile terminal 10 is realized.
(画像に含まれる顔)
音声のみの通信と比較した場合に、テレビ電話の大きなメリットは相手の表情および身振りといった画像情報を取得しながら通信が可能な点にある。したがって、相手画像データが表す相手画像には少なくとも相手端末の使用者いずれかの顔が含まれていることが好ましい。同様に、自画像データが表す自画像には少なくとも携帯端末10の使用者の顔が含まれていることが好ましい。以下において、相手画像データが表す相手画像を単に相手画像とも表現し、自画像データが表す自画像を単に自画像とも表現する。
(Face included in image)
Compared to voice-only communication, the major advantage of videophone is that communication is possible while acquiring image information such as the other party's facial expression and gestures. Therefore, it is preferable that the partner image represented by the partner image data includes at least the face of any user of the partner terminal. Similarly, the self-portrait represented by the self-image data preferably includes at least the face of the user of the mobile terminal 10. In the following, the partner image represented by the partner image data is also simply expressed as the partner image, and the host image represented by the host image data is also simply expressed as the host image.
ここで、テレビ電話における通信の形態は、必ずしも一人対一人に限られない。すなわち、通信の形態として一人対複数人、もしくは、複数人対複数人である可能性がある。したがって、相手画像に含まれる使用者の顔は、必ずしも使用者Bの顔でなくてもよいし、必ずしも一人の使用者の顔でなくてもよい。例えば、使用者Bとは別の使用者(ここでは使用者Cと呼ぶ)が同席している可能性がある。この際、相手画像に使用者Bの顔をのみが含まれていることもあるし、使用者Cの顔のみが含まれていることもあるし、使用者BおよびCの顔が含まれていることもある。言い換えると、相手画像データには相手端末の近傍にいる使用者のうち、少なくともいずれか一人の顔が含まれていることが好ましく、複数の使用者の顔が含まれていてもよい。 Here, the form of communication in the videophone is not necessarily limited to one person. That is, there is a possibility that the communication form is one-to-multiple or multiple-to-multiple. Therefore, the face of the user included in the partner image is not necessarily the face of the user B, and may not necessarily be the face of one user. For example, there is a possibility that a user other than the user B (herein referred to as a user C) is present. At this time, only the face of the user B may be included in the partner image, or only the face of the user C may be included, or the faces of the users B and C may be included. Sometimes. In other words, the partner image data preferably includes at least one of the faces of the users near the partner terminal, and may include a plurality of user faces.
自画像に含まれる顔についても相手画像に含まれる顔と同様である。携帯端末10の近傍に複数の使用者がいることも想定される。したがって、自画像には携帯端末10の近傍にいる使用者のうち、少なくともいずれか一人の顔が含まれていることが好ましく、複数の使用者の顔が含まれていてもよい。 The face included in the self-portrait is the same as the face included in the partner image. It is assumed that there are a plurality of users in the vicinity of the mobile terminal 10. Therefore, the self-portrait preferably includes at least one of the faces of the users in the vicinity of the mobile terminal 10, and may include a plurality of user faces.
なお、本実施形態においては説明を簡単にするために、特に断りのある場合を除いて携帯端末10の使用者は使用者Aであり、相手端末の使用者は使用者Bであるとして説明する。 In the present embodiment, for simplicity of explanation, it is assumed that the user of the mobile terminal 10 is the user A and the user of the other terminal is the user B unless otherwise specified. .
(画像データに顔が含まれない場合)
上述のように、テレビ電話を用いる通信の形態において、相手画像および自画像のいずれにも使用者の顔が含まれることが好ましい。しかし、テレビ電話を用いる通信の最中に、自画像および相手画像のいずれか一方、または、両方に使用者の顔が含まれない可能性もある。
(When face is not included in image data)
As described above, in the form of communication using a videophone, it is preferable that the face of the user is included in both the partner image and the self-portrait. However, during the communication using the videophone, there is a possibility that the user's face is not included in one or both of the self-portrait and the other-party image.
たとえば、使用者Bが相手端末の前面から異なる場所に移動すると、相手画像には使用者Bの顔が含まれなくなる。また、使用者Bが相手端末の前面にいる場合でも、相手端末が備えるカメラから顔を背けることによって、相手画像には使用者Bの顔が含まれなくなる。 For example, when the user B moves from the front surface of the counterpart terminal to a different location, the counterpart image does not include the face of the user B. Even when the user B is in front of the partner terminal, the face of the user B is not included in the partner image by turning away from the camera of the partner terminal.
同様に使用者Aが、携帯端末10の前面から異なる場所に移動すると、自画像には使用者Aの顔が含まれなくなる。また、使用者Aが携帯端末10の前面にいる場合でも、カメラ32から顔を背けることによって、自画像には使用者Aの顔が含まれなくなる。 Similarly, when the user A moves from the front surface of the mobile terminal 10 to a different place, the self-portrait does not include the face of the user A. Even when the user A is in front of the mobile terminal 10, the face of the user A is not included in the self-portrait by turning away from the camera 32.
ここで、テレビ電話機能を実行する際の消費電流(消費電力)について説明する。テレビ電話機能を実行するためには、音声のみの電話と比較してより多くの手段を動作させることが携帯端末10に求められる。具体的には、携帯端末10は自画像ストリームを相手端末に送信し、かつ、相手端末が送信する相手画像ストリームを受信する。そのために携帯端末10は、画像デコーダ27、画像出力部28、画像エンコーダ29、画像入力部30、LCD31およびカメラ32の各ブロックを動作させる。 Here, the current consumption (power consumption) when the videophone function is executed will be described. In order to execute the videophone function, the mobile terminal 10 is required to operate more means than a voice-only telephone. Specifically, the mobile terminal 10 transmits the self-image stream to the counterpart terminal and receives the counterpart image stream transmitted by the counterpart terminal. For this purpose, the portable terminal 10 operates each block of the image decoder 27, the image output unit 28, the image encoder 29, the image input unit 30, the LCD 31, and the camera 32.
自画像データおよび相手画像データのいずれか一方、または両方に使用者の顔が含まれないにも関わらず、携帯端末10において上記各ブロックを全て動作させることは無駄な消費電流(消費電力)を増加させることを意味する。 Even if the user's face is not included in one or both of the self-image data and the partner image data, operating all the blocks in the mobile terminal 10 increases useless current consumption (power consumption). It means that
携帯端末10は無駄な消費電流(消費電力)をなるべく抑制するために、自画像および相手画像のいずれか一方、または、両方に使用者の顔が含まれていない際には、上記各ブロックのうち意味無く動作するブロックを停止する。すなわち、自画像および相手画像のいずれか一方、または、両方に使用者の顔が含まれていないことが停止要因となる。 In order to suppress wasteful current consumption (power consumption) as much as possible, the mobile terminal 10 includes one of the above blocks when the user's face is not included in one or both of the self-portrait and the partner image. Stop blocks that do not make sense. That is, the stop factor is that the user's face is not included in one or both of the self image and the partner image.
(停止するブロック)
本実施形態において、画像デコーダ27、画像出力部28、画像エンコーダ29、画像入力部30、LCD31およびカメラ32のうち、画像出力部28およびLCD31を1つのブロック単位とみなす。同様に、画像入力部30およびカメラ32を1つのブロック単位とみなす。
(Block to stop)
In the present embodiment, among the image decoder 27, the image output unit 28, the image encoder 29, the image input unit 30, the LCD 31, and the camera 32, the image output unit 28 and the LCD 31 are regarded as one block unit. Similarly, the image input unit 30 and the camera 32 are regarded as one block unit.
画像出力部28はLCD31にRGB信号を供給する手段である。したがって、LCD31が動作している場合は画像出力部28も動作していることが好ましく、LCD31を停止する場合は画像出力部28を動作させないことが好ましい。 The image output unit 28 is means for supplying RGB signals to the LCD 31. Therefore, it is preferable that the image output unit 28 is operating when the LCD 31 is operating, and it is preferable that the image output unit 28 is not operated when the LCD 31 is stopped.
画像入力部30は、カメラ32から供給されるRGB信号を自画像データに変換する手段である。したがって、カメラ32が動作している場合は画像入力部30も動作していることが好ましく、カメラ32を停止する場合は画像入力部30を動作させないことが好ましい。 The image input unit 30 is means for converting RGB signals supplied from the camera 32 into self-image data. Therefore, it is preferable that the image input unit 30 is also operating when the camera 32 is operating, and it is preferable that the image input unit 30 is not operated when the camera 32 is stopped.
したがって、本実施形態において停止させ得るブロックは以下の通りである。
(a)画像出力部28およびLCD31
(b)画像デコーダ27
(c)画像エンコーダ29
(d)画像入力部30およびカメラ32
自画像および相手画像のいずれか一方、または、両方に使用者の顔が含まれていない際、すなわちなんらかの停止要因が存在する際、これら(a)〜(d)のうちいずれか1つ、または、複数を停止することによって、携帯端末10は無駄な消費電流(消費電力)を抑制する。
Therefore, the blocks that can be stopped in this embodiment are as follows.
(A) Image output unit 28 and LCD 31
(B) Image decoder 27
(C) Image encoder 29
(D) Image input unit 30 and camera 32
When the user's face is not included in one or both of the self-portrait and the partner image, that is, when any stop factor exists, any one of these (a) to (d), or By stopping the plurality, the mobile terminal 10 suppresses unnecessary current consumption (power consumption).
(a)〜(d)のうち複数を選択して停止させる際、制御部50が復帰要因を受け取って携帯端末10が標準状態に復帰可能な組み合わせであれば、(a)〜(d)をどのように組み合わせるかは設計段階において設計者が任意に設計できる。なお、復帰要因については後述する。 When a plurality of (a) to (d) are selected and stopped, if the control unit 50 receives a return factor and the portable terminal 10 can return to the standard state, (a) to (d) The designer can arbitrarily design how to combine them at the design stage. The return factor will be described later.
(顔認識判定部40)
顔認識判定手段として機能する顔認識判定部40は、画像入力部30から受け取る自画像データが表す自画像に、使用者Aの顔が含まれているか否かを顔認識処理を行うことによって判定する。顔認識判定部40において行われる顔認識処理の方法としては、既に知られている顔認識処理の方法を用いればよい。
(Face recognition determination unit 40)
The face recognition determination unit 40 that functions as a face recognition determination unit determines whether or not the face of the user A is included in the self-image represented by the self-image data received from the image input unit 30 by performing face recognition processing. As a face recognition processing method performed in the face recognition determination unit 40, a known face recognition processing method may be used.
顔認識判定部40は顔認識処理の結果、すなわち自画像内に「顔を認識している」、または、「顔を認識していない」のいずれかの情報を制御部50に供給する。 The face recognition determination unit 40 supplies the control unit 50 with information of the result of the face recognition process, that is, “the face is recognized” or “the face is not recognized” in the self-portrait.
同様に顔認識判定部40は、画像デコーダ27から受け取る相手画像データが表す相手画像に、使用者Bの顔が含まれているか否かを顔認識処理を行うことによって判定する。顔認識判定部40は顔認識処理の結果、すなわち相手画像内に「顔を認識している」、または、「顔を認識していない」のいずれかの情報を制御部50に供給する。 Similarly, the face recognition determination unit 40 determines whether or not the face of the user B is included in the partner image represented by the partner image data received from the image decoder 27 by performing face recognition processing. The face recognition determination unit 40 supplies the control unit 50 with information on the result of the face recognition process, that is, “the face is recognized” or “the face is not recognized” in the partner image.
なお、以下において、「画像内に顔を認識している」ことを、単に「画像内に顔がある」とも表現する。同様に、「画像内に顔を認識していない」ことを、単に「画像内に顔がない」とも表現する。 In the following, “recognizing a face in the image” is simply expressed as “a face is in the image”. Similarly, “the face is not recognized in the image” is simply expressed as “the face is not in the image”.
(制御部50)
停止手段および復帰手段である制御部50は、自画像データおよび相手画像データについて、顔認識処理の結果を顔認識判定部40から受け取る。制御部50は、識判定部40から受け取る顔認識処理の結果に基づいて、画像音声処理部20が備える各ブロックを制御する。
(Control unit 50)
The control unit 50 serving as a stop unit and a return unit receives the result of face recognition processing from the face recognition determination unit 40 for the self-image data and the partner image data. The control unit 50 controls each block included in the audio / video processing unit 20 based on the result of the face recognition process received from the knowledge determination unit 40.
具体的には、自画像および相手画像のいずれか一方、または、両方に顔がないときに、制御部50は、画像デコーダ27、画像出力部28、画像エンコーダ29、画像入力部30、LCD31およびカメラ32の各ブロックのうちいずれか1つ、または、複数のブロックを停止させる。すなわち、停止要因を検知することによって、制御部50は停止手段として機能する。この際、制御部50がどのブロックを停止させるのかについては後述する。 Specifically, when either one or both of the self image and the partner image does not have a face, the control unit 50 controls the image decoder 27, the image output unit 28, the image encoder 29, the image input unit 30, the LCD 31 and the camera. Any one or more of the 32 blocks are stopped. That is, the control unit 50 functions as a stopping unit by detecting a stop factor. At this time, which block the control unit 50 stops is described later.
なお、各ブロックのうちいずれか1つ、または、複数のブロックを停止している状態を、以下においては停止状態と呼ぶ。 Note that a state in which any one or a plurality of blocks of each block is stopped is hereinafter referred to as a stopped state.
例えば、自画像に使用者Aの顔が含まれていないとき、使用者Aは携帯端末10の前面にいない、または、カメラ32顔を背けている可能性がある。制御部50は、自画像に顔がないことを停止要因として検知し、画像デコーダ27、画像出力部28、画像エンコーダ29、画像入力部30、LCD31およびカメラ32の各ブロックのうちいずれか1つ、または、複数のブロックを停止させる。 For example, when the face of the user A is not included in the self-portrait, the user A may not be in front of the mobile terminal 10 or may be turning away from the camera 32 face. The control unit 50 detects that there is no face in the self-image as a stop factor, and any one of the blocks of the image decoder 27, the image output unit 28, the image encoder 29, the image input unit 30, the LCD 31 and the camera 32, Alternatively, a plurality of blocks are stopped.
この停止状態において、カメラ32および画像入力部30は通常処理を行っているので、顔認識判定部40は自画像データに基づいて顔認識処理を続ける。顔認識判定部40が自画像内に顔を認識しない期間において、顔認識判定部40は「自画像内に顔がない」との判定を制御部50に出力し続ける。すなわち、停止状態は維持される。 In this stop state, since the camera 32 and the image input unit 30 are performing normal processing, the face recognition determination unit 40 continues the face recognition processing based on the self-image data. In a period in which the face recognition determination unit 40 does not recognize a face in the self-portrait, the face recognition determination unit 40 continues to output to the control unit 50 a determination that “the face is not in the self-portrait”. That is, the stopped state is maintained.
使用者Aが携帯端末10の前面に戻ってくる、または、カメラ32の方向を向くと、それまで自画像内に顔を認識していなかった顔認識判定部40は、自画像内に顔を認識する。その結果つぉいて、顔認識判定部40は「自画像内に顔がある」と判定する。このように、顔認識判定部40が、それまで顔を認識していなかった画像内に顔を認識することを、「新たに顔を認識する」または「新たに顔が含まれていると判定する」とも表現する。また、それまで顔認識判定部40において顔が認識されていなかった自画像または相手画像に、新たに顔が認識されることを復帰要因と呼ぶ。 When the user A returns to the front surface of the mobile terminal 10 or faces the camera 32, the face recognition determination unit 40 that has not recognized the face in the self-image until then recognizes the face in the self-image. . As a result, the face recognition determination unit 40 determines that “the face is in the self-portrait”. In this way, the face recognition determination unit 40 determines that a face is recognized in an image that has not previously recognized a face as “a new face is recognized” or “a new face is included. It also expresses. In addition, when a face is newly recognized in the self-portrait or the partner image whose face has not been recognized by the face recognition determination unit 40 until then, this is called a return factor.
顔認識判定部40が新たに顔を認識すると、制御部50は顔認識判定部40から「顔を認識している」との判定を復帰要因として受け取る。制御部50は復帰要因を受け取ると、画像デコーダ27、画像出力部28、画像エンコーダ29、画像入力部30、LCD31およびカメラ32の全ブロックを動作させる。このように上記各ブロックの全てが動作している状態を、以下においては通常状態とも呼ぶ。 When the face recognition determination unit 40 newly recognizes a face, the control unit 50 receives from the face recognition determination unit 40 a determination that “the face is recognized” as a return factor. Upon receiving the return factor, the control unit 50 operates all the blocks of the image decoder 27, the image output unit 28, the image encoder 29, the image input unit 30, the LCD 31, and the camera 32. The state in which all the blocks are operating as described above is also referred to as a normal state below.
なお、制御部50が停止要因を検知してから、各ブロックを停止する(停止状態へ移行する)までの間に、所定の遅延時間が設けられていてもよい。当該遅延時間は、製造者が設計段階において任意の長さに設定してもよい。また、使用者の好みに応じて使い勝手のよいように、使用者が当該遅延時間を任意の時間に設定可能な構成であってもよい。 A predetermined delay time may be provided between the time when the control unit 50 detects the stop factor and the time when each block is stopped (shifted to the stop state). The manufacturer may set the delay time to an arbitrary length in the design stage. Moreover, the structure which the user can set the said delay time to arbitrary time may be sufficient so that it may be convenient according to a user's liking.
なお、制御部50は、携帯端末10が備える各ブロックをソフトウェア的に実現するためのCPU(Central Processing Unit)を備えていてもよい。CPUは、携帯端末10の各ブロックの機能を実現するためのプログラムを実行する。 The control unit 50 may include a CPU (Central Processing Unit) for realizing each block included in the mobile terminal 10 as software. The CPU executes a program for realizing the function of each block of the mobile terminal 10.
(記憶部60)
携帯端末10は、上記プログラムを格納するためのROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、および、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)を備えていてもよい。本実施形態においては、上述のROM、RAM、および、記憶装置(記録媒体)を総称して記憶部60と記載している。
(Storage unit 60)
The portable terminal 10 includes a ROM (Read Only Memory) for storing the program, a RAM (Random Access Memory) for expanding the program, and a storage device (recording medium) such as a memory for storing the program and various data. May be provided. In the present embodiment, the ROM, RAM, and storage device (recording medium) described above are collectively referred to as a storage unit 60.
(処理の対応表)
図2を参照しながら、制御部50が停止させるブロックについて説明する。図2は、携帯端末10において制御部50が行う停止処理の対応表を示す図である。
(Processing correspondence table)
The blocks that the control unit 50 stops will be described with reference to FIG. FIG. 2 is a diagram illustrating a correspondence table of stop processing performed by the control unit 50 in the mobile terminal 10.
自端末である携帯端末10を用いて相手端末とのテレビ電話機能を用いる場合、自画像に顔がある場合およびない場合と、相手画像に顔がある場合およびない場合とが想定される。図2において、「顔がある場合」を「顔有」と表記し、「顔がない場合」を「顔無」と表記している。 When the videophone function with the other party terminal is used by using the mobile terminal 10 that is the own terminal, there are cases where the own image has a face and no face and when the other image has a face and no face. In FIG. 2, “when there is a face” is described as “face is present”, and “when there is no face” is described as “no face”.
また、詳しくは後述するが、相手端末が本発明に一態様に係る携帯端末である場合、相手端末が相手画像ストリームを出力しない場合がある。この場合を、以下において「相手画像データ無」と表記する。 As will be described in detail later, when the counterpart terminal is a mobile terminal according to an aspect of the present invention, the counterpart terminal may not output the counterpart image stream. This case will be referred to as “no partner image data” below.
したがって、図2に示す対応表には6つの場合の処理が記載されている。6つの場合とは、自端末について「顔有」および「顔無」の2つの場合と、相手端末について「顔有」、「顔無」および「相手画像データ無」の3つの場合との組み合わせからなる6つの場合である。 Therefore, the correspondence table shown in FIG. 2 describes the processing for six cases. The six cases are a combination of the two cases of “having a face” and “no face” for the own terminal and the three cases of “having a face”, “no face” and “no other image data” for the other terminal. There are six cases.
上記6つ場合の処理が記載されている各セルにおいて、上段のサブセルは自端末の送信側処理について記載しており、下段のサブセルは自端末の受信側処理について記載している。 In each cell in which processing in the above six cases is described, the upper subcell describes the transmission side processing of the own terminal, and the lower subcell describes the reception side processing of the own terminal.
携帯端末10における処理について、まず、図3に示すフローチャートを参照しながら処理の流れを説明する。次に、図4〜9に示すブロック図を参照しながら、6つの各処理において停止させるブロックを説明する。 Regarding the processing in the portable terminal 10, the processing flow will be described first with reference to the flowchart shown in FIG. Next, blocks to be stopped in each of the six processes will be described with reference to the block diagrams shown in FIGS.
(処理の流れ)
携帯端末10における処理の流れを、図3のフローチャートに示す。図3に示すフローチャートは、相手端末が常に相手画像ストリームを出力している、すなわち、常に相手画像データがある場合を想定している。また、図3に示すフローチャートは、図2に示す対応表に記載の処理のうち、次に示す停止処理を行う際のフローチャートである。
・自画像において「顔有」、かつ、相手画像において「顔無」の場合の送信側処理として、「画像エンコーダ&カメラ停止」を行う。
・自画像において「顔無」、かつ、相手画像において「顔有」の場合の受信側処理として、「LCD&画像デコーダ停止」を行う。
(Process flow)
The flow of processing in the portable terminal 10 is shown in the flowchart of FIG. The flowchart shown in FIG. 3 assumes that the counterpart terminal always outputs the counterpart image stream, that is, there is always counterpart image data. Also, the flowchart shown in FIG. 3 is a flowchart when performing the following stop process among the processes described in the correspondence table shown in FIG.
“Image encoder & camera stop” is performed as a transmission side process in the case where “the face is present” in the own image and “the face is absent” in the partner image.
“LCD & image decoder stop” is performed as a receiving side process when “no face” in the own image and “face present” in the partner image.
画像音声処理部20における処理は、必ずしも図3のフローチャートに示される順番通りに処理される必要はなく、一部処理の順番が入れ替わってもよい。図3に示すフローチャートは、画像音声処理部20における処理の流れの一例を示すものである。 The processing in the image / sound processor 20 does not necessarily have to be performed in the order shown in the flowchart of FIG. 3, and the order of some processes may be changed. The flowchart shown in FIG. 3 shows an example of the flow of processing in the audio / video processing unit 20.
顔認識判定部40は、カメラ32が撮像した画像を画像入力部30を介して自画像データとして取得する(S100)。 The face recognition determination unit 40 acquires an image captured by the camera 32 as self-portrait data via the image input unit 30 (S100).
顔認識判定部40は、画像デコーダ27から相手画像データを取得する(S102)。顔認識判定部40は、自画像データが表す自画像に対して顔認識処理を行い、自画像に顔があるか否かを判定する。そして、自画像について「顔有」または「顔無」の判定結果を制御部50に出力する(S104)。S104の判定結果が「顔有」すなわちYESであればS106に進み、「顔無」すなわちNOであればS108へ進む。 The face recognition determination unit 40 acquires partner image data from the image decoder 27 (S102). The face recognition determination unit 40 performs face recognition processing on the self-image represented by the self-image data, and determines whether or not the self-image has a face. Then, the determination result of “face present” or “face absent” is output to the control unit 50 (S104). If the determination result in S104 is “face present”, ie, YES, the process proceeds to S106, and if “no face”, ie, NO, the process proceeds to S108.
S106において顔認識判定部40は、相手画像データが表す相手画像について「顔有」または「顔無」の判定結果を制御部50に出力する。S106における判定結果が「顔有」すなわちYESであればS110へ進み、「顔無」すなわちNOであればS120へ進む。 In S <b> 106, the face recognition determination unit 40 outputs the determination result of “face present” or “no face” to the control unit 50 for the partner image represented by the partner image data. If the determination result in S106 is “face present”, ie, YES, the process proceeds to S110, and if “no face”, ie, NO, the process proceeds to S120.
S108において顔認識判定部40は、相手映像データが表す相手画像について「顔有」または「顔無」の判定結果を制御部50に出力する。S108における判定結果が「顔有」すなわちYESであればS130へ進み、「顔無」すなわちNOであればS140へ進む。 In S <b> 108, the face recognition determination unit 40 outputs to the control unit 50 the determination result of “face present” or “no face” for the partner image represented by the partner video data. If the determination result in S108 is “face present”, ie, YES, the process proceeds to S130, and if “no face”, ie, NO, the process proceeds to S140.
(自画像:顔有、相手画像:顔有の場合)
以上のように、S110に進むのは自画像において「顔有」、かつ、相手画像において「顔有」であるときである。したがって、S110〜S116の処理は、図2における「自端末が顔有」かつ「相手端末が顔有」の処理に対応している。言い換えると、S110〜S116の処理は、携帯端末10が通常状態である際の処理である。
(Self-portrait: with face, partner image: with face)
As described above, the process proceeds to S <b> 110 when the subject image is “faced” and the partner image is “faced”. Therefore, the processing of S110 to S116 corresponds to the processing of “Own terminal has face” and “Opposite terminal has face” in FIG. In other words, the processing of S110 to S116 is processing when the mobile terminal 10 is in a normal state.
制御部50は、カメラエンコードを行うように画像音声処理部20を制御する。より具体的には、制御部50は、画像エンコーダ29を動作させるための制御信号を画像エンコーダ29に出力する(S110)。なお、カメラエンコードを行うとは、カメラ32が撮像した画像のデータである自画像データを自画像ストリームに符号化することを意味する。 The control unit 50 controls the audio / video processing unit 20 to perform camera encoding. More specifically, the control unit 50 outputs a control signal for operating the image encoder 29 to the image encoder 29 (S110). Note that performing camera encoding means encoding self-portrait data, which is image data captured by the camera 32, into a self-image stream.
次に制御部50は、カメラ処理を行うように画像音声処理部20を制御する。より具体的には、制御部50は、カメラ32および画像入力部30を動作させるための制御信号を、カメラ32および画像入力部30に出力する(S112)。なお、カメラ処理を行うとは、カメラ32が撮像した画像のRGB信号を画像入力部30に入力し、画像入力部30は当該RGB信号を自画像データに変換する処理を意味する。 Next, the control unit 50 controls the audio / video processing unit 20 to perform camera processing. More specifically, the control unit 50 outputs a control signal for operating the camera 32 and the image input unit 30 to the camera 32 and the image input unit 30 (S112). Note that performing the camera process means a process of inputting an RGB signal of an image captured by the camera 32 to the image input unit 30, and the image input unit 30 converts the RGB signal into self-image data.
S110およびS112は、図2における「自端末が顔有」かつ「相手端末が顔有」の送信側処理に対応している。また、S110およびS112の処理結果として、画像エンコーダ29、画像入力部30およびカメラ32が動作する。この状態を、図2では通常処理と記載している。 S110 and S112 correspond to the transmission-side processing of “Own terminal has face” and “Opposite terminal has face” in FIG. Further, the image encoder 29, the image input unit 30, and the camera 32 operate as processing results of S110 and S112. This state is described as normal processing in FIG.
次に制御部50は、画面表示を行うように画像音声処理部20を制御する。より具体的には、制御部50は、画像出力部28およびLCD31を動作させるための制御信号を、画像出力部28およびLCD31に出力する(S114)。なお、画像表示を行うとは、画像出力部28が、相手画像データをRGB信号に変換したうえでLCD31に出力し、LCD31は当該RGB信号を表示することを意味する。 Next, the control unit 50 controls the audio / video processing unit 20 to perform screen display. More specifically, the control unit 50 outputs a control signal for operating the image output unit 28 and the LCD 31 to the image output unit 28 and the LCD 31 (S114). Note that displaying an image means that the image output unit 28 converts the partner image data into an RGB signal and then outputs the RGB signal to the LCD 31, and the LCD 31 displays the RGB signal.
さらに制御部50は、相手画像デコードを行うように画像音声処理部20を制御する。より具体的には、制御部50は、画像デコーダ27を動作させるための制御信号を画像デコーダ27に出力する(S116)。なお、相手画像デコードを行うとは、画像デコーダ27が、相手画像ストリームを相手画像データに復号化することを意味する。 Further, the control unit 50 controls the audio / video processing unit 20 to perform the partner image decoding. More specifically, the control unit 50 outputs a control signal for operating the image decoder 27 to the image decoder 27 (S116). Note that performing partner image decoding means that the image decoder 27 decodes the partner image stream into partner image data.
S114およびS116は、図2における「自端末が顔有」かつ「相手端末が顔有」の受信側処理に対応している。また、S114およびS116の処理結果として、画像デコーダ27、画像出力部28およびLCD31が動作する。この状態を、図2では通常表示と記載している。 S114 and S116 correspond to the processing on the receiving side in FIG. 2 that “Own terminal has face” and “Opposite terminal has face”. Further, the image decoder 27, the image output unit 28, and the LCD 31 operate as the processing results of S114 and S116. This state is described as normal display in FIG.
以上のように、自画像において「顔有」、かつ、相手画像において「顔有」であるとき、送信側処理を担う画像エンコーダ29、画像入力部30およびカメラ32と、受信側処理を担う画像デコーダ27、画像出力部28およびLCD31とは全て動作している。したがって、この状態が携帯端末10における通常状態である。 As described above, the image encoder 29, the image input unit 30, the camera 32, which is responsible for the transmission side processing, and the image decoder, which is responsible for the reception side processing, when “face is present” in the own image and “face is present” in the counterpart image 27, the image output unit 28 and the LCD 31 are all in operation. Therefore, this state is a normal state in the mobile terminal 10.
(自画像:顔有、相手画像:顔無の場合)
自画像において「顔有」、かつ、相手画像において「顔無」であると、処理ステップはS120へ進む。したがって、S120〜S126の処理は、図2における「自端末が顔有」かつ「相手端末が顔無」の処理に対応している。
(Self-portrait: with face, partner image: no face)
If the self-portrait is “face present” and the partner image is “no face”, the processing step proceeds to S120. Therefore, the processing of S120 to S126 corresponds to the processing of “Own terminal has face” and “Other party terminal has no face” in FIG.
相手画像において「顔無」ということは、使用者Bが相手端末の前から席を外している、または、使用者Bは相手端末が備えるカメラ顔を背けているなどの状況にある可能性が高い。また、このような状況においては、使用者Bは相手端末が備える画像表示部(たとえばLCD)を見ていない可能性が高い。 “No face” in the partner image may indicate that the user B is out of the front of the partner terminal or the user B is facing away from the camera face of the partner terminal. high. In such a situation, it is highly likely that the user B is not looking at the image display unit (for example, LCD) provided in the counterpart terminal.
したがって、自画像ストリームを相手端末に出力する必要はなく、端末装置10は画像エンコーダ29を停止する、または、画像エンコーダ29、画像入力部30およびカメラ32を停止する。 Therefore, there is no need to output the self-image stream to the counterpart terminal, and the terminal device 10 stops the image encoder 29 or stops the image encoder 29, the image input unit 30, and the camera 32.
このように、送信側処理を担うブロックの一部または全部を停止することによって、使用者Bが自画像データを見ていない可能性が高い状況において、無駄な消費電流(消費電力)を抑制可能である。ここでは、S120〜S126として画像エンコーダ29、画像入力部30およびカメラ32を停止する処理を説明する。 In this way, by stopping some or all of the blocks responsible for the transmission side processing, it is possible to suppress useless current consumption (power consumption) in a situation where the possibility that the user B does not see the self-portrait data is high. is there. Here, a process of stopping the image encoder 29, the image input unit 30, and the camera 32 will be described as S120 to S126.
制御部50は、カメラエンコードを停止するように画像音声処理部20を制御する。より具体的には、制御部50は、画像エンコーダ29を停止させるための制御信号を、画像エンコーダ29に出力する(S120)。次に、制御部50は、カメラ入力を停止するように画像音声処理部20を制御する。より具体的には、制御部50は、画像入力部30およびカメラ32を停止させるための制御信号を、画像入力部30およびカメラ32に出力する(S122)。制御部50は、S114と同様に画面表示を行うように画像音声処理部20を制御する(S124)。また、制御部50は、S116と同様に相手画像デコードを行うように画像音声処理部20を制御する(S126)。 The control unit 50 controls the audio / video processing unit 20 to stop camera encoding. More specifically, the control unit 50 outputs a control signal for stopping the image encoder 29 to the image encoder 29 (S120). Next, the control unit 50 controls the audio / video processing unit 20 to stop the camera input. More specifically, the control unit 50 outputs a control signal for stopping the image input unit 30 and the camera 32 to the image input unit 30 and the camera 32 (S122). The control unit 50 controls the audio / video processing unit 20 to perform screen display in the same manner as S114 (S124). Further, the control unit 50 controls the audio / video processing unit 20 so as to perform the partner image decoding similarly to S116 (S126).
(自画像:顔無、相手画像:顔有の場合)
自画像において「顔無」、かつ、相手画像において「顔有」であると、処理ステップはS130へ進む。したがって、S130〜S136の処理は、図2における「自端末が顔無」かつ「相手端末が顔有」の処理に対応している。
(Self-portrait: no face, partner image: face present)
If “no face” in the self-portrait and “face is present” in the counterpart image, the processing step proceeds to S130. Therefore, the processing of S130 to S136 corresponds to the processing of “the terminal is faceless” and “the partner terminal is faced” in FIG.
自画像において「顔無」ということは、使用者Aが携帯端末10の前から席を外している、または、使用者Aは携帯端末10が備えるカメラ32から顔を背けているなどの状況にある可能性が高い。また、このような状況においては、使用者AはLCD31を見ていない可能性が高い。したがって、LCD31に相手画像を表示する必要はなく、端末装置10は画像出力部28およびLCD31を停止する、または、画像出力部28、LCD31および画像デコーダ27を停止する。 In the self-portrait, “no face” means that the user A is out of the seat from the front of the mobile terminal 10 or the user A is facing away from the camera 32 included in the mobile terminal 10. Probability is high. In such a situation, the user A is highly likely not to look at the LCD 31. Therefore, it is not necessary to display the partner image on the LCD 31, and the terminal device 10 stops the image output unit 28 and the LCD 31, or stops the image output unit 28, the LCD 31, and the image decoder 27.
このように、受信側処理を担うブロックの一部または全部を停止することによって、使用者Aが相手画像データを見ていないと可能性が高い状況において、無駄な消費電流(消費電力)を抑制可能である。ここでは、S130〜S136として画像デコーダ27、画像出力部28およびLCD31を停止する処理を説明する。 In this way, by suspending some or all of the blocks responsible for receiving-side processing, wasteful current consumption (power consumption) is suppressed in situations where it is highly probable that user A is not viewing the partner image data. Is possible. Here, a process of stopping the image decoder 27, the image output unit 28, and the LCD 31 will be described as S130 to S136.
制御部50は、S110と同様にカメラエンコードを行うように画像音声処理部20を制御する(S130)。また、制御部50は、S112と同様にカメラ処理を行うように画像音声処理部20を制御する(S132)。さらに制御部50は、画面表示を停止するように画像音声処理部20を制御する。より具体的には、制御部50は、画像出力部28およびLCD31を停止させるための制御信号を、画像出力部28およびLCD31に出力する(S134)。次に制御部50は、相手画像デコードを停止するように画像音声処理部20を制御する。より具体的には、制御部50は、画像デコーダ27を停止させるための制御信号を画像デコーダ27に出力する(S136)。 The control unit 50 controls the audio / video processing unit 20 to perform camera encoding as in S110 (S130). In addition, the control unit 50 controls the audio / video processing unit 20 so as to perform camera processing in the same manner as in S112 (S132). Further, the control unit 50 controls the audio / video processing unit 20 to stop the screen display. More specifically, the control unit 50 outputs a control signal for stopping the image output unit 28 and the LCD 31 to the image output unit 28 and the LCD 31 (S134). Next, the control unit 50 controls the image / sound processing unit 20 to stop the counterpart image decoding. More specifically, the control unit 50 outputs a control signal for stopping the image decoder 27 to the image decoder 27 (S136).
(自画像:顔無、相手画像:顔無の場合)
自画像において「顔無」、かつ、相手画像において「顔無」であると、処理ステップはS140へ進む。したがって、S140〜S146の処理は、図2における「自端末が顔無」かつ「相手端末が顔無」の処理に対応している。
(Self-portrait: no face, partner image: no face)
If “no face” in the self-portrait and “no face” in the partner image, the processing step proceeds to S140. Therefore, the processing of S140 to S146 corresponds to the processing of “the terminal is faceless” and “the partner terminal is faceless” in FIG.
自画像において「顔無」ということは、上述のように使用者AはLCD31を見ていない、すなわち相手画像を見ていないと可能性が高い。また、相手画像において「顔無」ということは、使用者Bも相手端末が備える画像表示部を見ていない、すなわち自画像を見ていないと可能性が高い。 In the self-portrait, “faceless” is highly likely that the user A is not looking at the LCD 31 as described above, that is, not looking at the partner image. Also, “faceless” in the partner image is highly likely that the user B has not seen the image display unit provided in the partner terminal, that is, has not seen the self-portrait.
したがって、携帯端末10は自画像ストリームを相手端末に送信しなくてもよく、画像エンコーダ29を停止する。加えてLCD31に相手画像データを表示しなくてもよいので、携帯端末10は画像出力部28およびLCD31を停止する。 Therefore, the portable terminal 10 does not need to transmit the self-portrait stream to the counterpart terminal, and stops the image encoder 29. In addition, since it is not necessary to display the partner image data on the LCD 31, the mobile terminal 10 stops the image output unit 28 and the LCD 31.
このように送信側処理の一部、および、受信側処理の一部を停止することによって、使用者Bが自画像を見ておらず、かつ、使用者Aが相手画像を見ていない可能性が高い状況において、無駄な消費電流(消費電力)を抑制可能である。 Thus, by stopping a part of the transmission side process and a part of the reception side process, there is a possibility that the user B does not see the self-portrait and the user A does not see the partner image. In a high situation, useless current consumption (power consumption) can be suppressed.
なお、送信側処理において画像入力部30およびカメラ32は停止させないことが好ましい。画像入力部30およびカメラ32を停止させることによって、顔認識判定部40は自画像データを得ることができなくなる。このことは、顔認識判定部40が自画像における顔認識処理を行えないことを意味する。言い換えると、使用者Aが携帯端末10の前に戻ってきた、または、使用者Aがカメラ32の方向を向いたとしても、顔認識判定部40は復帰要因として使用者Aの顔を認識できないことを意味する。 Note that it is preferable not to stop the image input unit 30 and the camera 32 in the transmission-side processing. By stopping the image input unit 30 and the camera 32, the face recognition determination unit 40 cannot obtain self-portrait data. This means that the face recognition determination unit 40 cannot perform face recognition processing on the self-portrait. In other words, even if the user A returns to the front of the portable terminal 10 or the user A faces the camera 32, the face recognition determination unit 40 cannot recognize the face of the user A as a return factor. Means that.
同様に、受信側処理において画像デコーダ27を停止させないことが好ましい。画像デコーダ27を停止させることによって、顔認識判定部40は相手画像データを得ることができなくなる。このことは、顔認識判定部40が相手画像における顔認識処理を行えないことを意味する。言い換えると、使用者Bが相手端末の前に戻ってきた、または、使用者Bが相手端末が備えるカメラの方向を向いたとしても、顔認識判定部40は復帰要因として使用者Bの顔を認識できないことを意味する。 Similarly, it is preferable not to stop the image decoder 27 in the reception side processing. By stopping the image decoder 27, the face recognition determination unit 40 cannot obtain partner image data. This means that the face recognition determination unit 40 cannot perform face recognition processing on the partner image. In other words, even if the user B returns to the front of the partner terminal or the user B faces the camera of the partner terminal, the face recognition determination unit 40 uses the face of the user B as a return factor. It means that it cannot be recognized.
仮に、自画像データにおいて「顔無」、かつ、相手画像データのおいて「顔無」の場合に、制御部50が画像出力部28、LCD31および画像エンコーダ29に加えて、画像デコーダ27、画像入力部30およびカメラ32を停止させるとする。この場合、制御部50は復帰要因を全く検知することができない。したがって、携帯端末10は停止状態から通常状態へ復帰することができなくなる。 If the self-image data is “no face” and the partner image data is “no face”, the control unit 50 adds the image decoder 27, the image input in addition to the image output unit 28, the LCD 31 and the image encoder 29. Assume that the unit 30 and the camera 32 are stopped. In this case, the control unit 50 cannot detect the return factor at all. Therefore, the mobile terminal 10 cannot return from the stopped state to the normal state.
以上の理由から、制御部50はS140〜S146の処理として、画像出力部28、画像エンコーダ29およびLCD31を停止する。この処理について、以下に説明する。 For the above reasons, the control unit 50 stops the image output unit 28, the image encoder 29, and the LCD 31 as the processing of S140 to S146. This process will be described below.
制御部50は、カメラエンコード(画像エンコーダ29)を停止するように画像音声処理部20を制御する(S140)。次に制御部50は、S112と同様にカメラ処理を行うように画像音声処理部20を制御する(S142)。さらに制御部50は、S134と同様に画面表示(画像出力部28およびLCD31)を停止するように画像音声処理部20を制御する(S144)。ついで制御部50は、S116と同様にS116と同様に相手画像デコードを行うように画像音声処理部20を制御する(S146)。 The control unit 50 controls the audio / video processing unit 20 to stop the camera encoding (image encoder 29) (S140). Next, the control unit 50 controls the audio / video processing unit 20 so as to perform camera processing in the same manner as in S112 (S142). Further, the control unit 50 controls the audio / video processing unit 20 to stop the screen display (the image output unit 28 and the LCD 31), similarly to S134 (S144). Next, the control unit 50 controls the audio / video processing unit 20 to perform the partner image decoding in the same manner as in S116 as in S116 (S146).
(制御部50が停止するブロック)
次に、図4〜9に示すブロック図を参照しながら、図2に示す6つの各処理において停止させるブロックを説明する。図4〜9に示すブロック図自体は図1に示すブロック図と同様であるが、制御部50が停止するブロックに斜線を付している。
(Block where the control unit 50 stops)
Next, blocks to be stopped in each of the six processes shown in FIG. 2 will be described with reference to the block diagrams shown in FIGS. The block diagrams shown in FIGS. 4 to 9 are the same as the block diagram shown in FIG. 1, but the blocks where the control unit 50 stops are hatched.
図2の対応表において、「自端末が顔無」かつ「相手端末が顔有」の際に停止させるブロックを、図4および図5に示す。図2の対応表において、「自端末が顔有」かつ「相手端末が顔無」の際に停止させるブロックを、図6および図7に示す。図2の対応表において、「自端末が顔無」かつ「相手端末が顔無」の際に停止させるブロックを図8に示す。以上は、すでに説明したとおり相手端末ストリームが相手画像ストリームを含んでいる場合、言い換えると相手画像データがある場合に、制御部50が行いえる停止処理である。 In the correspondence table of FIG. 2, blocks that are stopped when “the terminal is faceless” and “the partner terminal is faced” are shown in FIGS. 4 and 5. In the correspondence table of FIG. 2, the blocks to be stopped when “Own terminal has face” and “Other party terminal has no face” are shown in FIGS. In the correspondence table of FIG. 2, FIG. 8 shows blocks to be stopped when “the terminal is faceless” and “the partner terminal is faceless”. The above is the stop process that can be performed by the control unit 50 when the partner terminal stream includes the partner image stream as described above, in other words, when there is partner image data.
これらの停止処理とは対照的に、相手端末ストリームが相手画像ストリームを含んでいない場合、言い換えると相手画像データがない場合について、制御部50が停止させるブロックを図9に示す。 In contrast to these stop processes, FIG. 9 shows a block that the control unit 50 stops when the partner terminal stream does not include the partner image stream, in other words, when there is no partner image data.
(自画像:顔無、相手画像:顔有の場合)
顔認識判定部40による判定結果が、自画像において「顔無」、かつ、相手画像において「顔有」である場合について図4および図5を参照して説明する。
(Self-portrait: no face, partner image: face present)
A case where the determination result by the face recognition determination unit 40 is “no face” in the self-portrait and “face present” in the counterpart image will be described with reference to FIGS. 4 and 5.
この場合、制御部50は送信側処理として通常処理を行う。一方、制御部50は、受信側処理としてLCD停止を実行する(図4参照)。ここでいうLCD停止とは、画像出力部28およびLCD31を停止することを意味する。 In this case, the control unit 50 performs normal processing as the transmission side processing. On the other hand, the control part 50 performs LCD stop as a receiving side process (refer FIG. 4). LCD stop here means stopping the image output unit 28 and the LCD 31.
図4において画像デコーダ27を停止させないことのメリットは、相手画像内に顔が検出されなくなった時に、自画像において「顔無」、かつ、相手画像データにおいて「顔無」の停止状態に遷移可能なことである。 The merit of not stopping the image decoder 27 in FIG. 4 is that when no face is detected in the partner image, it is possible to transition to a stop state of “no face” in the subject image and “no face” in the partner image data. That is.
次に、制御部50が、受信側処理としてLCDおよび画像デコーダ停止を実行する場合を図5に示す。上述した画像出力部28およびLCD31に加えて、画像デコーダ27も停止する。停止するブロックが1つ増えることによって、停止状態における消費電流(消費電力)を図4に示す場合と比較してより抑制可能である。 Next, FIG. 5 shows a case where the control unit 50 executes LCD and image decoder stop as the receiving side processing. In addition to the image output unit 28 and the LCD 31 described above, the image decoder 27 is also stopped. By increasing the number of blocks to be stopped, the current consumption (power consumption) in the stopped state can be further suppressed as compared to the case shown in FIG.
なお、画像デコーダ27を停止する場合、画像デコーダ27を停止した時点で顔認識判定部40は相手画像データを得ることができなくなる。したがって、顔認識判定部40が相手画像内に顔を認識するか否かに関わらず、制御部50は復帰要因を検知するまで、自画像データにおいて「顔無」かつ相手画像データにおいて「顔有」に対応する停止状態を保つ。 When the image decoder 27 is stopped, the face recognition determination unit 40 cannot obtain the partner image data when the image decoder 27 is stopped. Therefore, regardless of whether or not the face recognition determination unit 40 recognizes a face in the partner image, the control unit 50 determines “no face” in the self-portrait data and “face presence” in the partner image data until detecting the return factor. Keep the stop state corresponding to.
停止処理としてLCD停止を実行する場合と、LCDおよび画像デコーダ停止を実行する場合との双方において、復帰要因は自画像データ内に顔を検出することである。この復帰要因を検知するために、送信側処理は通常処理を行っている。 In both the case where the LCD stop is executed as the stop processing and the case where the LCD and the image decoder are stopped, the return factor is to detect a face in the self-image data. In order to detect this return factor, the transmission side process performs a normal process.
(自画像:顔有、相手画像:顔無の場合)
顔認識判定部40による判定結果が、自画像において「顔有」、かつ、相手画像において「顔無」である場合について図6および図7を参照して説明する。
(Self-portrait: with face, partner image: no face)
A case where the determination result by the face recognition determination unit 40 is “face present” in the self-portrait and “face-free” in the partner image will be described with reference to FIGS. 6 and 7.
この場合、制御部50は受信側処理として通常表示を行う。一方、制御部50は、送信側処理として画像エンコーダ29を停止させる(図6参照)。画像エンコーダ29を停止することによって、相手画像に顔が認識されない際の消費電流(消費電力)を抑制可能である。 In this case, the control unit 50 performs normal display as a reception-side process. On the other hand, the control part 50 stops the image encoder 29 as a transmission side process (refer FIG. 6). By stopping the image encoder 29, current consumption (power consumption) when a face is not recognized in the partner image can be suppressed.
なお、送信側処理において画像入力部30およびカメラ32は動作している。したがって、顔認識判定部40は自画像データを取得でき、自画像に顔があるか否かを判定可能である。仮に自画像データから顔が検出できなくなった際には、自画像データにおいて「顔無」かつ相手画像データにおいて「顔無」の停止状態に遷移可能である。 Note that the image input unit 30 and the camera 32 are operating in the transmission-side processing. Therefore, the face recognition determination unit 40 can acquire the self-image data and can determine whether or not the self-image has a face. If a face cannot be detected from the self-image data, it is possible to transition to a stop state of “no face” in the self-image data and “no face” in the partner image data.
一方、図7に示すブロック図は、画像エンコーダ29に加えて画像入力部30およびカメラ32も停止させている状態を示している。送信側処理に係るブロックを全て停止させることによって、図6に示す停止状態と比較して、停止状態における消費電流(消費電力)をより抑制可能である。 On the other hand, the block diagram shown in FIG. 7 shows a state where the image input unit 30 and the camera 32 are stopped in addition to the image encoder 29. By stopping all the blocks related to the transmission side processing, it is possible to further suppress the current consumption (power consumption) in the stop state as compared with the stop state shown in FIG.
なお、図7に示す停止状態においては、顔認識判定部40は自画像データを取得できない。したがって、制御部50は復帰要因を検知するまで、自画像データにおいて「顔有」かつ相手画像データにおいて「顔無」に対応する停止状態を保つ。 In the stop state illustrated in FIG. 7, the face recognition determination unit 40 cannot acquire self-portrait data. Therefore, the control unit 50 maintains a stop state corresponding to “face present” in the self-image data and “face-free” in the partner image data until the return factor is detected.
停止状態として画像エンコーダ29を停止する場合と、画像エンコーダ29、画像入力部30およびカメラ32を停止する場合との双方において、復帰要因は相手画像内に顔を検出することである。この復帰要因を検知するために、受信側処理は通常表示を行っている。 In both the case where the image encoder 29 is stopped as the stop state and the case where the image encoder 29, the image input unit 30 and the camera 32 are stopped, the return factor is to detect a face in the counterpart image. In order to detect this return factor, the receiving side process normally displays.
(自画像:顔無、相手画像:顔無の場合)
顔認識判定部40による判定結果が、自画像データにおいて「顔無」、かつ、相手画像データにおいて「顔無」である場合について図8を参照して説明する。
(Self-portrait: no face, partner image: no face)
A case where the determination result by the face recognition determination unit 40 is “no face” in the self-image data and “no face” in the partner image data will be described with reference to FIG.
この場合、制御部50は受信側処理を担う各ブロックのうち画像出力部28およびLCD31を停止させる。さらに制御部50は、送信側処理を担う各ブロックのうち画像エンコーダ29を停止させる。 In this case, the control unit 50 stops the image output unit 28 and the LCD 31 among the blocks responsible for the reception side processing. Furthermore, the control part 50 stops the image encoder 29 among each block which bears a transmission side process.
このように画像出力部28、画像エンコーダ29およびLCD31を停止させることによって、停止状態における消費電流(消費電力)を抑制可能である。 Thus, by stopping the image output unit 28, the image encoder 29, and the LCD 31, it is possible to suppress current consumption (power consumption) in the stopped state.
その一方、受信側処理を担う各ブロックのうち画像デコーダ27が動作していることによって、顔認識判定部40は相手画像における顔認識処理を実行可能である。同様に、送信側処理を担う各ブロックのうち画像入力部30およびカメラ32が動作していることによって、顔認識判定部40は自画像における顔認識処理を実行可能である。 On the other hand, the face recognition determination unit 40 can execute the face recognition process on the partner image by operating the image decoder 27 among the blocks responsible for the reception side process. Similarly, the face recognition determination unit 40 can execute the face recognition process in the self-image by operating the image input unit 30 and the camera 32 among the blocks responsible for the transmission side processing.
したがって、顔認識判定部40は、相手画像および自画像のいずれかにおいて新たに顔を認識した際に、当該顔を認識したことを復帰要因として制御部50に出力する。すなわち、相手画像および自画像のいずれかにおいて顔認識判定部40が新たに顔を検知した際に、携帯端末10は通常状態に復帰する。 Therefore, when the face recognition determination unit 40 newly recognizes a face in either the partner image or the self-portrait, the face recognition determination unit 40 outputs the recognition of the face to the control unit 50 as a return factor. That is, when the face recognition determination unit 40 newly detects a face in either the partner image or the self image, the mobile terminal 10 returns to the normal state.
(相手画像データ無の場合)
図4〜8に係る停止状態については、相手端末が常に相手画像ストリームを送信してくることを前提として説明をしてきた。しかし、相手画像ストリームが送信されない場合もあり得る。例えば、相手端末が自端末と同じく携帯端末10である場合、すなわち携帯端末10同士によるテレビ電話の場合に、相手端末が画像エンコーダを停止する場合がそうです。言い換えると、相手端末が相手画像ストリームを送信しない場合である。以下に、相手端末ストリームに相手画像ストリームが含まれていない際の停止状態について説明する。
(When there is no partner image data)
The stop states according to FIGS. 4 to 8 have been described on the assumption that the partner terminal always transmits the partner image stream. However, there may be a case where the partner image stream is not transmitted. For example, when the other terminal is the mobile terminal 10 as well as the own terminal, that is, when the other terminal stops the image encoder in the case of a videophone call between the mobile terminals 10. In other words, this is a case where the partner terminal does not transmit the partner image stream. The stop state when the partner image stream is not included in the partner terminal stream will be described below.
無線処理部15を介して相手端末ストリームを供給される入力フレーム処理部21は、相手端末ストリームを相手音声ストリームと相手画像ストリームとに分離する。この際、入力フレーム処理部21は、相手画像ストリームがあるか否かを検知する。入力フレーム処理部21が相手画像ストリームがないことを検知すると、入力フレーム処理部21は当該検知結果を制御部50に出力する。 The input frame processing unit 21 to which the partner terminal stream is supplied via the wireless processing unit 15 separates the partner terminal stream into a partner voice stream and a partner image stream. At this time, the input frame processing unit 21 detects whether there is a partner image stream. When the input frame processing unit 21 detects that there is no partner image stream, the input frame processing unit 21 outputs the detection result to the control unit 50.
制御部50は、当該検知結果を受けて受信側処理を担う全ブロックである画像デコーダ27、画像出力部28およびLCD31を停止するための制御信号を、上述のそれぞれのブロックに出力する。すなわち、図9に示すように、制御部50は、画像デコーダ27、画像出力部28およびLCD31を停止する。 The control unit 50 receives the detection result and outputs a control signal for stopping the image decoder 27, the image output unit 28, and the LCD 31, which are all blocks responsible for the reception-side processing, to each of the above-described blocks. That is, as shown in FIG. 9, the control unit 50 stops the image decoder 27, the image output unit 28, and the LCD 31.
さらに、制御部50は、送信側処理を担うブロックである画像エンコーダおよびカメラを停止するための制御信号を、上述のそれぞれのブロックに出力してもよい。カメラ停止とは、これまでと同様に画像入力部30およびカメラ32を停止することを意味する。すなわち、図9に示すように、制御部50は、画像エンコーダ29、画像入力部30およびカメラ32を停止する。 Further, the control unit 50 may output a control signal for stopping an image encoder and a camera, which are blocks responsible for transmission side processing, to each of the above-described blocks. Stopping the camera means stopping the image input unit 30 and the camera 32 as before. That is, as shown in FIG. 9, the control unit 50 stops the image encoder 29, the image input unit 30, and the camera 32.
このように、受信側処理を行う各ブロック、および、送信側処理を行う各ブロックの全てが停止するため、無駄な消費電流(消費電力)を抑制可能である。 In this way, since all the blocks that perform the reception-side processing and the blocks that perform the transmission-side processing are stopped, it is possible to suppress unnecessary current consumption (power consumption).
この停止状態において、画像デコーダ27が入力フレーム処理部21からの相手画像ストリームを検知すると、画像デコーダ27は動作を再開し、そして、相手画像データを顔認識判定部40に出力する。このことによって、顔認識判定部40は、相手画像データに顔があるか否かを判定することが可能となる。 In this stopped state, when the image decoder 27 detects the partner image stream from the input frame processing unit 21, the image decoder 27 resumes operation and outputs the partner image data to the face recognition determination unit 40. As a result, the face recognition determination unit 40 can determine whether or not there is a face in the partner image data.
制御部50は、顔認識判定部40の判定結果に基づいて、送信側処理および受信側処理を決定する(図2参照)。具体的には、相手画像に顔有であれば、送信側処理として通常処理を実行し、受信側処理として通常表示、LCD停止、および、LCD&画像デコーダ停止のいずれかを実行する。一方、相手画像に顔無であれば、送信側処理として画像エンコーダ停止または画像エンコーダ&カメラ停止を実行し、受信側処理として通常表示またはLCD停止を実行する。 The control unit 50 determines transmission side processing and reception side processing based on the determination result of the face recognition determination unit 40 (see FIG. 2). Specifically, if the partner image has a face, normal processing is executed as the transmission side processing, and normal display, LCD stop, and LCD & image decoder stop are executed as the reception side processing. On the other hand, if there is no face in the partner image, the image encoder stop or image encoder & camera stop is executed as the transmission side process, and the normal display or LCD stop is executed as the reception side process.
受信側処理の変形例として、画像デコーダ27のみを停止させてもよい。この場合、画像出力部28およびLCD31は動作しているので、制御部50は「no image」または「相手画像データがありません」などのメッセージを画像出力部28を介してLCD31に表示可能である。上記メッセージを表示する画像データは、あらかじめ記憶部60に記憶させておいてもよい。 As a modification of the reception side process, only the image decoder 27 may be stopped. In this case, since the image output unit 28 and the LCD 31 are operating, the control unit 50 can display a message such as “no image” or “no other party image data” on the LCD 31 via the image output unit 28. The image data for displaying the message may be stored in the storage unit 60 in advance.
また、送信処理側の変形例として、カメラ停止ではなく通常処理としてもよい。送信が処理を通常処理にすることによって、携帯端末10は自画像ストリームを含む自端末ストリームを出力する。相手端末が自画像ストリームを受信可能な状態にあれば、相手端末の画像表示手段には携帯端末10のカメラ32が撮像する画像が表示される。このように、自画像ストリームを送信することによって、携帯端末10の前に使用者がいるか否かなどの情報を相手端末の使用者に知らせること可能である。 As a modification on the transmission processing side, normal processing may be used instead of camera stop. When the transmission makes the process a normal process, the mobile terminal 10 outputs its own terminal stream including the own image stream. If the partner terminal is ready to receive the self-portrait stream, an image captured by the camera 32 of the mobile terminal 10 is displayed on the image display means of the partner terminal. In this way, by transmitting the self-portrait stream, it is possible to inform the user of the counterpart terminal of information such as whether or not there is a user in front of the mobile terminal 10.
(付記事項)
上述した携帯端末10の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
(Additional notes)
Each block of the mobile terminal 10 described above may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be realized in software using a CPU (Central Processing Unit). Also good.
後者の場合、上記装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータ読み取り可能に記録した記録媒体を、上記装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。 In the latter case, the apparatus includes a CPU that executes instructions of a program that realizes each function, a ROM (Read Only Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and various data. A storage device (recording medium) such as a memory for storing the. An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program for each device, which is software for realizing the functions described above, is recorded in a computer-readable manner. This can also be achieved by supplying to the apparatus and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。 Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, PLD (Programmable logic device), FPGA (Field Programmable Gate Array), etc. Logic circuits can be used.
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。 Further, each of the above devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited as long as it can transmit the program code. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, and the like can be used. The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even with wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by radio such as High Data Rate (NFC), Near Field Communication (NFC), Digital Living Network Alliance (DLNA), mobile phone network, satellite line, and digital terrestrial network.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
本発明は、自端末と相手端末との間において、画像ストリームを送受信する携帯端末、および、携帯端末の制御方法として利用できる。 INDUSTRIAL APPLICABILITY The present invention can be used as a portable terminal that transmits / receives an image stream between the own terminal and a partner terminal, and a method for controlling the portable terminal.
10 携帯端末
15 無線処理部(受信手段および送信手段)
20 画像音声処理部
21 入力フレーム処理部
22 音声デコーダ
23 PCM出力部
24 音声エンコーダ
25 PCM入力部
26 出力フレーム処理部
27 画像デコーダ(画像復号化手段)
28 画像出力部(画像出力手段)
29 画像エンコーダ(画像符号化手段)
30 画像入力部(画像入力手段)
31 LCD(画像表示手段)
32 カメラ(撮像手段)
33 スピーカ
34 マイク
40 顔認識判定部(顔認識判定手段)
50 制御部(停止手段および復帰手段)
60 記憶部
10 mobile terminal 15 wireless processing unit (reception means and transmission means)
20 Image / Audio Processing Unit 21 Input Frame Processing Unit 22 Audio Decoder 23 PCM Output Unit 24 Audio Encoder 25 PCM Input Unit 26 Output Frame Processing Unit 27 Image Decoder (Image Decoding Unit)
28 Image output unit (image output means)
29 Image encoder (image encoding means)
30 Image input unit (image input means)
31 LCD (image display means)
32 Camera (imaging means)
33 Speaker 34 Microphone 40 Face recognition determination unit (face recognition determination means)
50 Control unit (stopping means and returning means)
60 storage unit
Claims (15)
上記画像表示手段が向いている方向を撮像する撮像手段と、
相手端末が送信する相手画像ストリームを受信する受信手段と、
上記相手画像ストリームを相手画像データに復号化する画像復号化手段と、
上記相手画像データを上記画像表示手段に出力する画像出力手段と、
上記撮像手段を介して自画像データを入力する画像入力手段と、
上記自画像データを自画像ストリームに符号化する画像符号化手段と、
上記相手端末に上記自画像ストリームを送信する送信手段と、
上記相手画像データが表す相手画像に顔が含まれているか否かを判定するとともに、上記自画像データが表す自画像に顔が含まれているか否かを判定する顔認識判定手段と、
上記顔認識判定手段が、上記相手画像および上記自画像の少なくとも一方に顔が含まれていないと判定した際に、上記画像表示手段、上記画像復号化手段、上記撮像手段および上記画像符号化手段のうち、少なくともいずれかを停止する停止手段とを備えることを特徴とする携帯端末。 Image display means;
Imaging means for imaging the direction in which the image display means is facing;
Receiving means for receiving the partner image stream transmitted by the partner terminal;
Image decoding means for decoding the partner image stream into partner image data;
Image output means for outputting the counterpart image data to the image display means;
Image input means for inputting self-portrait data via the imaging means;
Image encoding means for encoding the self-image data into a self-image stream;
Transmitting means for transmitting the self-portrait stream to the counterpart terminal;
Face recognition determination means for determining whether or not a face is included in the partner image represented by the partner image data, and determining whether or not a face is included in the host image represented by the host image data;
When the face recognition determining means determines that at least one of the counterpart image and the self-portrait does not include a face, the image display means, the image decoding means, the imaging means, and the image encoding means A portable terminal comprising stop means for stopping at least one of them.
上記画像表示工程において画像が表示される方向を撮像する撮像工程と、
相手端末が送信する相手画像ストリームを受信する受信工程と、
相手画像ストリームを相手画像データに復号化する画像復号化工程と、
上記相手画像データを上記画像表示工程に出力する画像出力工程と、
上記撮像工程を介して自画像データを入力する画像入力工程と、
上記自画像データを自画像ストリームに符号化する画像符号化工程と、
上記相手端末に上記自画像ストリームを送信する送信工程と、
上記相手画像データが表す相手画像に顔が含まれているか否かを判定するとともに、上記自画像データが表す自画像に顔が含まれているか否かを判定する顔認識判定工程と、
上記顔認識判定工程により、上記相手画像および上記自画像の少なくとも一方に顔が含まれていないと判定された際に、上記画像表示工程、上記画像復号化工程、上記撮像工程および上記画像符号化工程のうち、少なくともいずれか1つの手段を停止する停止工程とを備えることを特徴とする携帯端末の制御方法。 An image display process;
An imaging step of imaging a direction in which an image is displayed in the image display step;
A receiving step of receiving a partner image stream transmitted by the partner terminal;
An image decoding step of decoding the partner image stream into partner image data;
An image output step for outputting the counterpart image data to the image display step;
An image input step of inputting self-portrait data through the imaging step;
An image encoding step of encoding the self-image data into a self-image stream;
A transmission step of transmitting the self-portrait stream to the counterpart terminal;
A face recognition determination step of determining whether or not a face is included in the partner image represented by the partner image data, and determining whether or not a face is included in the host image represented by the host image data;
When it is determined by the face recognition determination step that at least one of the counterpart image and the self-portrait does not include a face, the image display step, the image decoding step, the imaging step, and the image encoding step And a stop step of stopping at least one of the means. A method for controlling a portable terminal.
The computer-readable recording medium which has recorded the program of Claim 14.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012070173A JP2013201715A (en) | 2012-03-26 | 2012-03-26 | Portable terminal, control method for portable terminal, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012070173A JP2013201715A (en) | 2012-03-26 | 2012-03-26 | Portable terminal, control method for portable terminal, program, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013201715A true JP2013201715A (en) | 2013-10-03 |
Family
ID=49521576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012070173A Pending JP2013201715A (en) | 2012-03-26 | 2012-03-26 | Portable terminal, control method for portable terminal, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013201715A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017175283A (en) * | 2016-03-22 | 2017-09-28 | コニカミノルタ株式会社 | Conference system, television conference device, and program |
-
2012
- 2012-03-26 JP JP2012070173A patent/JP2013201715A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017175283A (en) * | 2016-03-22 | 2017-09-28 | コニカミノルタ株式会社 | Conference system, television conference device, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102598843B (en) | Mobile terminal, display apparatus and control method thereof | |
EP3968133A1 (en) | Air-mouse mode implementation method and related device | |
US8649821B2 (en) | Notebook computer and cell phone assembly | |
EP2983065A1 (en) | Method and terminal for quickly starting application service | |
US20220369394A1 (en) | Bluetooth reconnection method and related apparatus | |
EP3913945A1 (en) | Data switching method, data switching apparatus and storage medium | |
EP4192057A1 (en) | Bluetooth communication method, wearable device, and system | |
CN114173204A (en) | Message prompting method, electronic equipment and system | |
JP7116079B2 (en) | Wireless charging communication method, wireless charging communication device, wireless charging system, program and storage medium | |
WO2020078330A1 (en) | Voice call-based translation method and electronic device | |
US20230138804A1 (en) | Enhanced video call method and system, and electronic device | |
WO2020078332A1 (en) | Negotiation method based on voice call translation capability, and electronic devices | |
US8786631B1 (en) | System and method for transferring transparency information in a video environment | |
CN102867378A (en) | Doorbell system and control method thereof | |
US8599538B2 (en) | Electronic apparatus and power-supply control apparatus and method | |
US9094574B2 (en) | Information processing apparatus, conference system, and computer program products | |
EP4336356A1 (en) | Screen projection method and related apparatus | |
US20230254445A1 (en) | Screen Sharing Method, Terminal, and Storage Medium | |
JP2013201715A (en) | Portable terminal, control method for portable terminal, program, and recording medium | |
EP4290360A1 (en) | Screen projection method, electronic device, and system | |
KR100996251B1 (en) | Method for informing a state of portable terminal | |
KR101776652B1 (en) | Apparatus and method for changing call mode in portable terminal | |
KR100954966B1 (en) | Digital photo frame | |
KR100750198B1 (en) | Video transmission method using image communications of mobile terminal | |
WO2024001812A1 (en) | Message management method, electronic device and system |