JP2006135837A - テレビ電話 - Google Patents

Abstract

【課題】 コストパフォーマンスを抑えつつも使用者の顔を適切に表示する。
【解決手段】 被写体の拡大・縮小機能を発揮する撮像処理をし、画像情報を生成するカメラ１０３と、画像情報、音情報その他の通信に関する情報の送受信を通信制御する通信制御手段１１４を有するテレビ電話において、前記撮像処理において顔検出プログラム１１１を実行して使用者の顔を検出し、当該使用者の顔に係る領域である顔領域を含む、冗長性を有した領域である核領域を設定し、当該核領域が所定の条件の下で拡大または縮小した画像情報を生成し、前記通信制御により、前記画像情報が相手先のテレビ電話に送信される。
【選択図】 図２

Description

本発明は、画像表示、音量出力、照明点灯を調節するテレビ電話に関する。

テレビ電話を使って相手と通話している時、相手側のテレビ電話の表示部に表示させる使用者の顔を適切なサイズで表示させるには、使用者の顔とテレビ電話に備えられているカメラ間の距離を一定にする必要がある。

また、使用者とテレビ電話間の距離に関わらず、スピーカから送出される音量は一定である。このため使用者が相手側の音声を適切な音量で聞くには、使用者が手動で調整する必要があった。

さらに、使用者が居る環境が暗い場合、相手側のテレビ電話に送信される使用者の映像が、暗くなってしまうという問題があった。

特許文献１では被写体の周囲の明るさに関わらずに常に適切な映像情報を生成し、これにより映像送信機能を常に有効に機能させることを可能とするテレビ電話装置について開示されている。そして、カメラによる撮像範囲に「赤外線ＬＥＤ」を発光し、被写体を照明している。しかし、テレビ電話の機能を搭載した携帯電話機においてこのような赤外線ＬＥＤを搭載することになると、コストパフォーマンスを低下する結果になってしまう。またテレビ電話装置を構成する他の部品とのバランスを考慮するとそのデザイン性を損ねてしまう可能性が生じる。

特許文献２では一般家庭において、暗い部屋での撮影や撮影対象に対する照明が背後になった撮影においても、明るく改善されたコントラストの撮影ができるとともに、テレビ電話機の使用動作と連動した照明を行うテレビ電話機について開示されている。しかし、特許文献２の第２図にも図示されているように、このテレビ電話機の照明部はかなり広範囲であり、コストパフォーメンスを低下する結果を招く。またテレビ電話機を構成する他の部品とのバランスを考慮するとそのデザイン性を損ねてしまう可能性が生じる。

特許文献３では使い勝手を向上し得る映像通信装置について開示されている。そして撮像距離に応じてＣＣＤカメラを介して被写体であるユーザの顔の輪郭を判別し、当該判別した輪郭を基にユーザの顔がＣＣＤカメラの画角内に入るようにズーム倍率を自動で制御することにより、表示部に当該ユーザの顔を最適な大きさで表示させている。また、自動で変更されたズーム倍率に応じて基準音量出力レベルを増加させることにより、通話相手が望むであろう最適な画像を得ることができるようにしている。
しかし、ユーザの顔を最適な大きさで表示させる方法は顔の輪郭を判別することに限定されない。むしろ、最適な大きさで表示するためには顔を判別することよりもズーム倍率を調整して使用者の顔を適切に表示させるようにするほうが重要である。また、音量の出力の調整はズーム倍率で行うよりもカメラと使用者の距離に基づいて行う方が表示部に移っている使用者の顔との対応が良い。

特許文献４ではより少ない音声入力部からなり、かつ、周りの反響音の影響を除去した正確な発言者の顔画像を画面表示可能とするカメラ制御方法等について開示されている。そして、発言者の顔画像をズーム動作によって適当な大きさに自動調整している。しかし、特許文献４はテレビ会議システムに使用されるカメラに関する発明であり、発言者を移すためにカメラが向き、位置を適当に変えることができるようになっている。テレビ電話にこのようなカメラを搭載すると、コストパフォーマンスが低下する。また、むしろ最適な大きさで表示するためには顔画像を検出すること自体よりも、使用者の顔を適切に表示させるためにズーム倍率の調整方法のほうが重要である。
特開２００２−１６５１９２号公報 特開平２−１１９３９０号公報 特開２００４−４０４９１号公報 特開２００３−２３００４９号公報

上記事情を鑑みて、本発明のテレビ電話が解決しようとする課題は、コストパフォーマンスを抑えつつも使用者の顔を適切に表示することにある。その際、音量を適切に出力すること及び照明を適切に点灯することも課題とする。

上記課題を解決する本発明の態様は、被写体の拡大・縮小機能を発揮する撮像処理をし、画像情報を生成する撮像手段と、画像情報、音情報その他の通信に関する情報の送受信を通信制御する通信制御手段を有するテレビ電話において、前記撮像処理において使用者の顔を検出し、当該使用者の顔に係る領域である顔領域を含む、冗長性を有した領域である核領域を設定し、当該核領域が所定の条件の下で拡大または縮小した画像情報を生成し、前記通信制御により、前記画像情報が相手先のテレビ電話に送信されるものである。

ここで、前記条件は、前記撮像処理に係る撮像範囲に対し、前記核領域が一定の割合以上を占めていることにすると良い。

そして、この態様のテレビ電話は、所定の入力を受け付ける入力手段を有し、前記入力手段は、前記撮像処理において前記核領域の拡大または縮小をした画像情報に係る画像を表示するための入力を受け付けることを特徴とする。

また、この態様のテレビ電話は前記撮像処理において使用者の顔を検出し得ない場合または前記条件を満たすことができない場合には、使用者にその旨を通知する通知手段を有することを特徴とする。
このとき、画像情報に係る画像を表示する画像表示手段があって、前記通知手段は、前記画像表示手段による画像表示により前記旨を通知すると良い。また、音情報に係る音を出力する音出力手段があって、前記通知手段は、前記音出力手段が出力する音により前記旨を通知すると良い。また、所定の条件下でテレビ電話を振動させる振動発生手段があって、前記通知手段は、前記振動発生手段による振動により前記旨を通知すると良い。

また、この態様のテレビ電話は音情報に係る音を出力する音出力手段を有し、前記拡大・縮小機能及び前記顔領域に基づいてテレビ電話と使用者との距離を算出し、前記音出力手段により、前記距離に対応した音量の音が出力されることを特徴とする。
その一方で、音情報に係る音を出力する音出力手段と、テレビ電話と使用者の距離を検出する距離検出手段を有し、前記音出力手段により、前記距離に対応した音量の音が出力されることを特徴とする。
そして、所定の入力を受け付ける入力手段を有し、前記入力手段は、前記音出力手段が出力する音の音量を調節するための入力を受け付けることを特徴とする。
但し、前記距離検出手段が前記距離を検出できない場合には、前記音出力手段により使用者にその旨を通知することを特徴とする。

また、この態様のテレビ電話は被写体を照らす照明手段を有し、前記顔領域に基づいて使用者の顔の照度を算出し、前記照度に対応した前記照明手段の点灯制御がなされることを特徴とする。
その一方で、被写体を照らす照明手段と、使用者の顔の照度を検出する照度検出手段を有し、前記照度に対応した前記照明手段の点灯制御がなされることを特徴とする。

本発明により、コストパフォーマンスを抑えつつも使用者の顔を適切に表示することができる。また、音量を適切に出力すること及び照明を適切に点灯することもできる。

以下、本発明のテレビ電話を実施するための最良の形態を説明する。説明する際には本明細書と同時に提出する図面を適宜参照することにする。

図１は、本形態で説明するテレビ電話１００の外観図である。本形態のテレビ電話１００の外観は入力ボタン１０１、送話器１０２、カメラ１０３、受話器１０４、液晶画面１０５、モバイルライト１０６、距離センサー１０７、照度センサー１０８を有して構成されている。

入力ボタン１０１は、数字、記号、アルファベットなどの文字を設定するボタン、所定の制御を設定するためのボタンである。通話前だけでなく、通話中においても必要に応じて使用される場合がある。

送話器１０２は、使用者自身の音声を入力する部品である。使用者が送話器１０２に口を近づけて必要なことを喋ることになる。しかし、所定の設定をすることによりテレビ電話１００から離れた位置にいたとしても喋った声を送話器１０２に入力することもできる。

カメラ１０３は、ズーム機能を持つ撮像処理を行う部品である。被写体、主に使用者の顔を撮像するように位置している。ズーム機能としては光学ズームのようなハード的なズーム又はデジタルズームのようなソフト的なズームのいずれか、もしくはその両方を適宜組み合わせたものを有するとする。

受話器１０４は、相手側の音声を出力する部品である。使用者が受話器１０４に耳を近づけて相手の喋っている言葉を聴くことになる。しかし、所定の設定をすることによりテレビ電話１００から離れた位置にいたとしても、受話器１０４より出力された言葉を聴くこともできる。また、ある種の異常状態を検知したことを通知する通知手段として機能する。

液晶画面１０５は、液晶により構成されたディスプレイである。通話中はカメラ１０３が撮像した相手の顔を表示する。また所定の入力により通話に関するパラメータの設定を行うために、その設定の入力を受け付ける画面も表示する。また、ある種の異常状態を検知したことを通知する通知手段として機能する。

モバイルライト１０６は、使用者の顔を適切に照らすことができる位置に配置されたコストパフォーマンスの低い照明部品である。使用者のいる環境の明度に応じて点灯したり、消灯するように制御される。

距離センサー１０７は、使用者間の顔とテレビ電話１００間の距離が計測できるように配置された部品である。照度センサー１０８は、使用者の顔の照度を計測できるように配置された部品である。

図２は、本形態で説明するテレビ電話１００を構成する各部品、素子等のブロック図である。このテレビ電話１００は、先述した入力ボタン１０１、送話器１０２、カメラ１０３、受話器１０４、液晶画面１０５、モバイルライト１０６、距離センサー１０７、照度センサー１０８の他に、制御部１０９、ＲＯＭ１１０、ＲＡＭ１１２、モータ１１３、通信制御手段１１４を有して構成されている。

制御部１０９は、送話器１０２、カメラ１０３などから入力された音情報、画像情報などの情報及び受話器１０４、液晶画面１０５などに出力される前記情報に関する処理を統括的に制御する素子である。ＲＯＭ１１０は制御部１０９が行う処理を実行させる所定のプログラムを記録した記録媒体である。このプログラムの中には顔検出プログラム１１１も記録されている。制御部１０９はＲＯＭ１１０より顔検出プログラム１１１を読み出し、カメラ１０３が行う撮像処理において撮像対象となる使用者の顔を検出する。検出方法は、使用者の顔の輪郭、鼻、口などといった、顔の一部を検出対象とする周知の方法を使用する。

ＲＡＭ１１２は、テレビ電話１００に入出力される所定の情報を一時的に記憶する素子である。相手先の電話番号に係る情報、カメラ１０３の撮像処理による使用者の顔の画像に係る画像情報がＲＡＭ１１２に記憶される。他の情報も記憶されている。

モータ１１３は、所定の条件を満たすことによりテレビ電話１０３全体を振動させるために駆動する部品である。ある種の異常状態を検知したことを通知する通知手段として機能する。

通信制御手段１１４は、画像情報、音情報その他の通信に関する情報の送受信を通信制御する機能を有する。所定のインターフェイスを設けて、無線であっても有線であっても相手側のテレビ電話との通信制御を行うことは可能である。

次に、本形態のテレビ電話１００が行う処理動作に関して説明する。

〈通話中の処理動作〉
テレビ電話１００を使用したときの通話中の処理動作に関して図３のフローチャートを用いて説明する。

相手先の電話番号を入力して通話できる状態になった後、検出処理制御を行う（Ｓ３０１）。検出処理制御は、「自動顔検出制御」と「カメラ入力調節制御」を有し構成され、順に実行される。両制御に関する説明は後述する。

次に、ＲＡＭ１１２に記憶されている間欠時間に係る情報が読み出され、間欠時間の間は検出処理制御を行わずに待機する（Ｓ３０２）。

間欠時間経過後まだ通話中であれば上記処理を繰り返す。通話が終了していれば通話中の処理動作を終了する（Ｓ３０３）。

〈自動顔検出制御〉
図４のフローチャートを用いて、自動顔検出制御に関する説明をする。

まず、ＲＯＭ１１０に格納された顔検出プログラム１１１を制御部１０９が実行し、カメラ１０３で撮影した映像から使用者の顔の検出を実施する（Ｓ４０１）。制御部１０９が顔を検出した場合（Ｓ４０１でＹＥＳ）、自動顔検出制御は終了する。

制御部が使用者の顔を検出できなかった場合（Ｓ４０１でＮＯ）、制御部１０９はテレビ電話に使用しているカメラ１０３をズームアウトさせる（Ｓ４０２）。

ＲＯＭ１１０に格納された顔検出プログラム１１１を制御部１０９が実行し、カメラ１０３で撮影した映像から使用者の顔の検出を実施する（Ｓ４０３）。制御部１０９が顔を検出した場合（Ｓ４０３でＹＥＳ）、自動顔検出制御は終了する。

制御部１０９が顔を検出できなかった場合（Ｓ４０３でＮＯ）、制御部１０９はカメラ１０３のズームアウト値が上限値であるか調査する（Ｓ４０４）。上限値でなければ（Ｓ４０４でＮＯ）、カメラ１０３をズームアウトさせる（Ｓ４０２）。

制御部１０９はカメラのズームアウト値が上限値であった場合（Ｓ４０４でＹＥＳ）、カメラ１０３のズーム値をリセットする（Ｓ４０５）。ここでのリセットとは、Ｓ４０１の時のカメラのズーム値に戻すということである。

その後、制御部１０９は、テレビ電話で使用しているカメラ１０３をズームインさせる（Ｓ４０６）。

ＲＯＭ１１０に格納された顔検出プログラム１１１を制御部１０９が実行し、カメラ１０３で撮影した映像から使用者の顔の検出を実施する（Ｓ４０７）。制御部１０９が顔を検出した場合（Ｓ４０７でＹＥＳ）、自動顔検出制御は終了する。

制御部が顔を検出できなかった場合（Ｓ４０７でＮＯ）、制御部１０９はカメラ１０３のズームイン値が上限値であるか調査する（Ｓ４０８）。上限値でなければ（Ｓ４０８でＮＯ）、カメラ１０３をズームインさせる（Ｓ４０６）。

制御部１０９はカメラ１０３のズームイン値が上限値であった場合（Ｓ４０８でＹＥＳ）、液晶画面１０５への表示、受話器１０４からの送出音、モータ１１３の振動による鳴動などにより、制御部１０９が使用者の顔を検出できなかった旨を使用者に通知する（Ｓ４０９）。通知は、画像状態を適切にするか、任意の入力ボタン１０１を押下したり、一定時間経過したりすることなどで終了する。

以上で自動顔検出制御は終了し、次に、カメラ撮影調節制御を実行する。

〈カメラ撮影調節制御〉
図５のフローチャートを用いて、カメラ撮影調節制御に関する説明をする。カメラ撮影調節制御は、上記の自動顔検出制御により顔を検出できた場合にのみ実行され、顔を検出できなかった場合は実行されない。

説明の簡略化のために、核領域という言葉を定義して説明する。「核領域」とは、自動顔検出制御により検出した顔に係る領域である「顔領域」があって、この顔領域の周囲に適宜、冗長領域を加えた領域である。核領域の形状は任意であるが、簡略化のため核領域を四角の領域として説明する。

制御部１０９は核領域を求める（Ｓ５０１）。その様子を図６に示す。図６は液晶画面１０５に表示される被写体のイメージである。(Ａ)はカメラ撮影調節制御を行う前のイメージである。(Ｂ)はカメラ撮影調節制御を行った後のイメージである。(Ａ)、(Ｂ)双方には核領域のイメージを便宜的に図示してあるが、実際の通話中には液晶画面１０５には表示されないものである。このカメラ撮影調節制御において、核領域６０１がカメラ画角の中央にある場合は、核領域６０２に示すように画角一杯になるようにする。核領域が中央になかった場合でも、適切になるよう構成されている。

制御部１０９は、カメラ１０３の撮影範囲に核領域が収まっており、尚且つ、互いの辺が一箇所以上重なっているか検出する（Ｓ５０２）。

制御部１０９は、カメラの撮影範囲に核領域が収まっていない場合、または、カメラの撮影範囲に核領域が収まっているが、互いの辺が一箇所も重なっていない場合（Ｓ５０２でＮＯ）、そのどちらの状態であるかを検出する（Ｓ５０３）。

カメラ１０３の撮影範囲に核領域が収まっているが、互いの辺が一箇所も重なっていない場合（Ｓ５０３でＹＥＳ）、制御部１０９は、カメラ１０３の撮影範囲の辺と核領域の辺が重なるまでカメラをズームインさせる（Ｓ５０４）。詳細を図７に示す。図７はカメラ１０３で撮影した画像をズームインしたときの液晶画面１０５に表示される被写体のイメージである。(Ａ)はズームインを行う前のイメージである。(Ｂ)はズームインを行った後のイメージである。７０１、７０２は核領域である。制御部１０９は、カメラ１０３をズームインさせて、カメラ１０３で撮影した液晶画面１０５の辺と核領域７０２の辺が重なるようにする。

カメラ１０３の撮影範囲に核領域が収まっていない場合（Ｓ５０３でＮＯ）、カメラの撮影範囲外にある核領域が、撮影範囲内に収まるまでカメラをズームアウトする（Ｓ５０５）。詳細を図８に示す。図８はカメラ１０３で撮影した画像をズームアウトしたときの液晶画面１０５に表示される被写体のイメージである。(Ａ)はズームアウトを行う前のイメージである。(Ｂ)はズームアウトを行った後のイメージである。８０１、８０２は核領域である。制御部１０９は、カメラ１０３をズームアウトして、液晶画面１０５内に、核領域８０２が収まり、且つ互いの辺が一箇所以上重なるようにする。

Ｓ５０２、Ｓ５０４、Ｓ５０５より、制御部１０９は、カメラ１０３の撮影範囲に対し、核領域の占める割合が適切かどうか判断する（Ｓ５０６）。例えば、カメラ１０３の撮影範囲に対し、核領域が８割以上を占めていれば、制御部１０９は、使用者の顔を適切なサイズで入力できていると判断する。

制御部１０９は、カメラ１０３の撮影範囲に対し、核領域の占める割合が適切でないと判断した場合（Ｓ５０６でＮＯ）、液晶画面１０５への表示、受話器１０４からの送出音、モータ１１３の振動による鳴動などにより、その旨を使用者に通知する（Ｓ５０７）。通知は、画像状態を適切にするか、任意の入力ボタン１０１を押下したり、一定時間経過したりすることなどで終了する。

以上でカメラ撮影調節制御は完了し、テレビ電話中、使用者の顔を適切なサイズで撮影するためのズーム調節は終了する。その結果を図９に示す。図９は使用者とテレビ電話の距離が近い場合の様子（Ａ）と、使用者とテレビ電話の距離が遠い場合の様子（Ｂ）と、相手側のテレビ電話の液晶画面１０５に表示される画像（Ｃ）を図示したものである。(Ａ)、（Ｂ）に示すように距離が異なると、従来では表示される使用者の顔の大きさも変わるが、（Ｃ）に係る液晶画面１０５に表示される使用者の顔は最大限、かつ、適切に表示されている。

〈音量調節制御〉
図３の検出処理制御には「音量調節制御」も含まれている。図１０のフローチャートを用いて音量調節制御に関する説明をする。音量調節制御は、自動顔検出制御により顔を検出できた場合にのみ実行されるとし、顔を検出できなかった場合は実行されないとする。

制御部１０９は、核領域を求める（Ｓ１００１）。核領域の求め方は「カメラ撮影調節制御」でなされる求め方と同様とする。

制御部１０９は、使用者の顔とカメラ間の距離を求める（Ｓ１００２）。詳細を図１１に示す。図１１は液晶画面１０５に表示された、カメラ１０３が撮影した画像のイメージ（上段）と、その画像に係る被写体（使用者）のイメージ（下段）を図示したものである。１１０１は核領域である。（Ａ）は核領域の横幅を指している。(Ｂ)は核領域の横幅の実際の距離を示す。ＲＡＭ１１２は、核領域の横幅の実際の距離の平均値に係る情報を格納する。例えば、人の顔の横幅の平均値を17.5cmだとした場合、隙間を7.5cm確保すれば、核領域の横幅の実際の距離の平均値は25cmとなる。

制御部１０９は、液晶画面１０５、核領域の横幅（Ａ）とカメラ１０３の性能、ズームの倍率に加え、ＲＡＭ１１２に格納された核領域の横幅の実際の距離の平均値である「25cm」から、使用者の顔とカメラ間のおおよその距離を求める。（ここでは、核領域の横幅を使用したが、縦幅や面積などを利用して距離を求めても構わない。）

制御部１０９は、ＲＡＭ１１２に格納された「使用者の顔とカメラ間の距離に対応する適切なスピーカ送出音量情報」を調査し、受話器１０４から送出される音の送出音量を調節する（Ｓ１００３）。

以上で音量調節制御は終了し、テレビ電話中、使用者は端末との距離に関わらず、相手からの音声を適切な音量で聞くことができる。その結果を図１２に示す。図１２は使用者とテレビ電話の距離が近い場合の様子（Ａ）と、使用者とテレビ電話の距離が遠い場合の様子（Ｂ）と、相手側のテレビ電話の液晶画面１０５に表示される画像（Ｃ）を図示したものである。(Ａ)、（Ｂ）に示すように距離が異なると、従来では送出される音の音量も変わるが、（Ｃ）に係る液晶画面１０５に使用者の顔が表示されているとき、距離に応じて抄出音量を変える。近いときは小さくし、遠いときは大きくする。これにより、使用者は一定範囲内で何処にいても適切な音量で相手の声を聞くことができる。

〈他の音量調節制御〉
音量調節制御には距離センサー１０７の機能を利用した他の処理動作がある。図１３のフローチャートを用いて他の音量調節制御に関する説明をする。

制御部１０９は、距離センサー１０７をＯＮさせる（Ｓ１３０１）。

距離センサー１０７は、使用者の顔と端末間の距離の検出を実施する（Ｓ１３０２）。

距離センサー１０７が使用者の顔と端末間の距離を検出できた場合（Ｓ１３０２でＹＥＳ）、制御部１０９は、ＲＡＭ１１２に格納された「使用者の顔と端末間の距離に対応する適切なスピーカ送出音量情報」を調査し、受話器１０４から送出される音の送出音量を調節させる（Ｓ１３０３）。

そして制御部１０９は、距離センサー１０７をＯＦＦさせる（Ｓ１３０４）。

距離センサー１０７が使用者の顔と端末間の距離を検出できなかった場合（Ｓ１３０２でＮＯ）、制御部１０９が使用者の顔を検出できなかった旨を使用者に通知する（Ｓ１３０５）。通知は画像状態を適切にするか、任意の入力ボタン１０１を押下したり、一定時間経過したりすることで終了する。通知後は、再び距離センサー１０７による距離の検出を行う（Ｓ１３０２）。

以上で距離センサー１０７を使用した音量調節制御は終了し、テレビ電話中、使用者は端末との距離に関わらず、相手からの音声を適切な音量で聞くことができる。その結果は図１２に示したものと同様である。

〈自動照射制御〉
図３の検出処理制御には「自動照射制御」も含まれている。図１４のフローチャートを用いて自動照射制御に関する説明をする。自動照射制御は、自動顔検出制御により顔を検出できた場合にのみ実行されるとし、顔を検出できなかった場合は実行されないとする。

制御部は、モバイルライト１０６が消灯しているか調査する（Ｓ１４０１）。

モバイルライト１０６が消灯している場合（Ｓ１４０１でＹＥＳ）、制御部１０９は、カメラ１０３で検出した照度情報がＲＡＭ１１２に格納された照度情報より明るいか調査する（Ｓ１４０２）。

制御部１０９は、カメラ１０３で検出した照度情報がＲＡＭ１１２に格納された照度情報より明るいと判断すれば（Ｓ１４０２でＹＥＳ）、制御部１０９はモバイルライト１０６の消灯を維持する（Ｓ１４０３）。

制御部１０９は、カメラ１０３で検出した照度情報がＲＡＭ１１２に格納された照度情報より明るくないと判断すれば（Ｓ１４０２でＮＯ）、制御部１０９はモバイルライト１０６を点灯させる（Ｓ１４０４）。

モバイルライト１０６が消灯していない場合（Ｓ１４０１でＮＯ）、制御部１０９は、カメラ１０３で検出した照度情報がＲＡＭ１１２に格納された照度情報より明るいか調査する（Ｓ１４０５）。ただし、ここで使用するＲＡＭ１１２に格納された照度情報は、Ｓ１４０２で使用したＲＡＭ１１２に格納された照度情報よりも少し高い照度とする。これにより、ヒステリシスを持たせる。

制御部１０９は、カメラ１０３で検出した照度情報がＲＡＭ１１２に格納された照度情報より明るいと判断すれば（Ｓ１４０５でＹＥＳ）、制御部１０９はモバイルライト１０６を消灯させる（Ｓ１４０６）。

制御部１０９は、カメラ１０３で検出した照度情報がＲＡＭ１１２に格納された照度情報より明るくないと判断すれば（Ｓ１４０５でＮＯ）、制御部１０９はモバイルライト１０６の点灯を維持する（Ｓ１４０７）。

以上で自動照射制御は終了し、テレビ電話中、使用者は環境によらず適切な明るさの映像を相手端末に送信できる。図１５にはモバイルライト１０６の消灯状態（Ａ）と点灯状態（Ｂ）を図示する。カメラ１０３で検出した照度情報と、ＲＡＭ１１２に格納された照度情報を比較して、（Ａ）と（Ｂ）を適宜切り替える。これにより相手側のテレビ電話の液晶画面１０５に使用者の顔を明るく表示することができる。

〈他の自動照射制御〉
自動照射制御には照度センサー１０８の機能を利用した他の処理動作がある。図１６のフローチャートを用いて他の自動照射制御に関する説明をする。

制御部は、モバイルライト１０６が消灯しているか調査する（Ｓ１６０１）。

モバイルライト１０６が消灯している場合（Ｓ１６０１でＹＥＳ）、制御部１０９は、照度センサー１０８が入力した照度情報がＲＡＭ１１２に格納された照度情報より明るいか調査する（Ｓ１６０２）。

制御部１０９は、照度センサー１０８が入力した照度情報がＲＡＭ１１２に格納された照度情報より明るいと判断すれば（Ｓ１６０２でＹＥＳ）、制御部１０９はモバイルライト１０６の消灯を維持する（Ｓ１６０３）。

制御部１０９は、照度センサー１０８が入力した照度情報がＲＡＭ１１２に格納された照度情報より明るくないと判断すれば（Ｓ１６０２でＮＯ）、制御部１０９はモバイルライト１０６を点灯させる（Ｓ１６０４）。

モバイルライト１０６が消灯していない場合（Ｓ１６０１でＮＯ）、制御部１０９は、照度センサー１０８が入力した照度情報がＲＡＭ１１２に格納された照度情報より明るいか調査する（Ｓ１６０５）。ただし、ここで使用するＲＡＭ１１２に格納された照度情報は、Ｓ１６０２で使用したＲＡＭ１１２に格納された照度情報よりも少し高い照度とする。これにより、ヒステリシスを持たせる。

制御部１０９は、照度センサー１０８が入力した照度情報がＲＡＭ１１２に格納された照度情報より明るいと判断すれば（Ｓ１６０５でＹＥＳ）、制御部１０９はモバイルライト１０６を消灯させる（Ｓ１６０６）。

制御部１０９は、照度センサー１０８が入力した照度情報がＲＡＭ１１２に格納された照度情報より明るくないと判断すれば（Ｓ１６０５でＮＯ）、制御部１０９はモバイルライト１０６の点灯を維持する（Ｓ１６０７）。

以上で自動照射制御は終了し、テレビ電話中、使用者は環境によらず適切な明るさの映像を相手端末に送信できる。モバイルライト１０６の消灯状態と点灯状態は図１５に示したものと同様である。照度センサー１０８が入力した照度情報と、ＲＡＭ１１２に格納された照度情報を比較して、（Ａ）と（Ｂ）を適宜切り替える。これにより相手側のテレビ電話の液晶画面１０５に使用者の顔を明るく表示することができる。

上述した各制御に係る処理動作のいくつか又は全部を適宜組み合わせることにより、使用者の顔の適切な表示、音量の適切な出力及び照明の適切な点灯を行うことができる。

また、各制御を行う順番であるが、まず核領域を求めることから初めに行うことが適切である。核領域を求める制御は、カメラ撮影調節制御と音量調節制御であるので、この２つのいずれかを最初に行うのが良い。

本形態のテレビ電話装置において、使用者が検出制御の設定ができるように設定画面を設け、設定画面への遷移、設定画面での操作結果の記憶および記憶内容の動作への反映が行われるように構成する。その構成例を図１７に示す。

図１７の（Ａ）は、待ち受け中に、自動顔検出制御の動作設定をするための表示構成例に係る液晶画面１０５である。（Ａ）の状態で使用者がＯＮと設定すれば、テレビ電話時、自動顔検出制御が実行され、ＯＦＦと設定すれば、実行されない。

図１７の（Ｂ）は、通話中に、音量調節制御の動作設定をするための表示構成例に係る液晶画面１０５である。
使用者がＯＮと設定すれば、テレビ電話時、音量調節制御が実行され、ＯＦＦと設定すれば、実行されない。

これらの設定画面を設けることにより、使用者の通話における利便性が増す。

図１７に示した表示構成例をすべての制御に適用する場合には、制御全体を一括してＯＮ／ＯＦＦする設定や、すべてではないが幾つかの組み合わせを同時にＯＮ／ＯＦＦする設定を構成することもできる。

なお、上述した形態は本発明を実施するための最良の形態であるがこれに限定する主旨ではない。したがって、本発明の用紙を変更しない範囲において種々変形することが可能である。

例えば、液晶画面１０５にガイド表示を行うものを例示しているが、表示なしで構成することや、専用の操作手段を設けて構成することもできる。

本発明のテレビ電話の機能を備えた移動用の装置、据え置き用の装置、その他通信装置の開発が望まれる。

本形態で説明するテレビ電話１００の外観図である。 本形態で説明するテレビ電話１００を構成する各部品、素子等のブロック図である。 テレビ電話１００を使用したときの通話中の処理動作に関するフローチャートである。 自動顔検出制御に関するフローチャートである。 カメラ撮影調節制御に関するフローチャートである。 液晶画面１０５に表示される被写体のイメージである。（Ａ）はカメラ撮影調節制御を行う前のイメージである。（Ｂ）はカメラ撮影調節制御を行った後のイメージである。 カメラ１０３で撮影した画像をズームインしたときの液晶画面１０５に表示される被写体のイメージである。(Ａ)はズームインを行う前のイメージである。(Ｂ)はズームインを行った後のイメージである。 カメラ１０３で撮影した画像をズームアウトしたときの液晶画面１０５に表示される被写体のイメージである。(Ａ)はズームアウトを行う前のイメージである。(Ｂ)はズームアウトを行った後のイメージである。 使用者とテレビ電話の距離が近い場合の様子（Ａ）と、使用者とテレビ電話の距離が遠い場合の様子（Ｂ）と、相手側のテレビ電話の液晶画面１０５に表示される画像（Ｃ）を図示したものである。 音量調節制御に関するフローチャートである。 液晶画面１０５に表示された、カメラ１０３が撮影した画像のイメージ（上段）と、その画像に係る被写体（使用者）のイメージ（下段）を図示したものである。 使用者とテレビ電話の距離が近い場合の様子（Ａ）と、使用者とテレビ電話の距離が遠い場合の様子（Ｂ）と、相手側のテレビ電話の液晶画面１０５に表示される画像（Ｃ）を図示したものである。 他の音量調節制御に関するフローチャートである。 自動照射制御に関するフローチャートである。 モバイルライト１０６の消灯状態（Ａ）と点灯状態（Ｂ）を図示したものである。 他の自動照射制御に関するフローチャートである。 検出制御の設定ができるような設定画面に係る液晶画面１０５の構成例（Ａ）と（Ｂ）である。

符号の説明

１００ テレビ電話
１０１ 入力ボタン
１０２ 送話器
１０３ カメラ
１０４ 受話器
１０５ 液晶画面
１０６ モバイルライト
１０７ 距離センサー
１０８ 照度センサー
１０９ 制御部
１１０ ＲＯＭ(Read Only Memory)
１１１ 顔検出プログラム
１１２ ＲＡＭ(Random Access Memory)
１１３ モータ
１１４ 通信制御手段

Claims (13)

1. 被写体の拡大・縮小機能を発揮する撮像処理をし、画像情報を生成する撮像手段と、
   画像情報、音情報その他の通信に関する情報の送受信を通信制御する通信制御手段を有するテレビ電話において、
   前記撮像処理において使用者の顔を検出し、当該使用者の顔に係る領域である顔領域を含む、冗長性を有した領域である核領域を設定し、当該核領域が所定の条件の下で拡大または縮小した画像情報を生成し、
   前記通信制御により、前記画像情報が相手先のテレビ電話に送信されることを特徴とするテレビ電話。
2. 前記条件は、前記撮像処理に係る撮像範囲に対し、前記核領域が一定の割合以上を占めていることを特徴とする請求項１に記載のテレビ電話。
3. 所定の入力を受け付ける入力手段を有し、
   前記入力手段は、前記撮像処理において前記核領域の拡大または縮小をした画像情報に係る画像を表示するための入力を受け付けることを特徴とする請求項１または２に記載のテレビ電話。
4. 前記撮像処理において使用者の顔を検出し得ない場合または前記条件を満たすことができない場合には、使用者にその旨を通知する通知手段を有することを特徴とする請求項１または２に記載のテレビ電話。
5. 画像情報に係る画像を表示する画像表示手段があって、
   前記通知手段は、前記画像表示手段による画像表示により前記旨を通知することを特徴とする請求項４に記載のテレビ電話。
6. 音情報に係る音を出力する音出力手段があって、
   前記通知手段は、前記音出力手段が出力する音により前記旨を通知することを特徴とする請求項４に記載のテレビ電話。
7. 所定の条件下でテレビ電話を振動させる振動発生手段があって、
   前記通知手段は、前記振動発生手段による振動により前記旨を通知することを特徴とする請求項４に記載のテレビ電話。
8. 音情報に係る音を出力する音出力手段を有し、
   前記拡大・縮小機能及び前記顔領域に基づいてテレビ電話と使用者との距離を算出し、
   前記音出力手段により、前記距離に対応した音量の音が出力されることを特徴とする請求項１または２に記載のテレビ電話。
9. 音情報に係る音を出力する音出力手段と、
   テレビ電話と使用者の距離を検出する距離検出手段を有し、
   前記音出力手段により、前記距離に対応した音量の音が出力されることを特徴とする請求項１または２に記載のテレビ電話。
10. 所定の入力を受け付ける入力手段を有し、
    前記入力手段は、前記音出力手段が出力する音の音量を調節するための入力を受け付けることを特徴とする請求項８または９に記載のテレビ電話。
11. 前記距離検出手段が前記距離を検出できない場合には、前記音出力手段により使用者にその旨を通知することを特徴とする請求項９に記載のテレビ電話。
12. 被写体を照らす照明手段を有し、
    前記顔領域に基づいて使用者の顔の照度を算出し、
    前記照度に対応した前記照明手段の点灯制御がなされることを特徴とする請求項１または２に記載のテレビ電話。
13. 被写体を照らす照明手段と、
    使用者の顔の照度を検出する照度検出手段を有し、
    前記照度に対応した前記照明手段の点灯制御がなされることを特徴とする請求項１または２に記載のテレビ電話。

Images