JP2012100135A - 携帯通信端末及びそのコンピュータソフトウェア - Google Patents

Abstract

【課題】対話する者同士の視線が一致する画像を相手方に送信することができ、画像通信を実行中に、表示画面に文字等のデータを表示する場合であっても、視線一致が維持された状態で適切にデータ表示を行うことができる携帯通信端末及びそのソフトウェアを提供する。
【解決手段】画像情報を送受信する無線通信部３０と、画像表示部１０と、画像表示部１０の中央部背面に設けられて前方の使用者を撮影するカメラ部１２と、画像表示部１０に対して画像出力のＯＮ又はＯＦＦを行うことで駆動する画像表示駆動部３４と、カメラ部１２を駆動して該カメラ部１２から画像情報を出力させるカメラ駆動部３２とを有し、前記画像表示駆動部３４は、前記画像表示部１０に対する画像出力の合間の画像情報の表示出力ＯＦＦ時に、カメラ駆動部３２に対して、前記カメラ部１２からの使用者の画像を撮影させる。
【選択図】図２

Description

本発明は、テレビ電話、テレビ会議システム等で使用される携帯通信端末に適用される画像通信装置及びそのコンピュータソフトウェアに関する。

従来のテレビ電話機能を備えた携帯通信端末は、端末使用者を撮像するカメラが画面表示部の周囲（上端部近傍）に配設されているため、例えば、端末使用者が、通信相手が表示されている画面表示部内の画像（相手の目）を見て通話を行うと、相手の携帯端末に送信される発信元の端末使用者の画像（顔）は、下向きとなっていた。

そして、このような不具合を解決するために、特許文献１に示される液晶表示装置が知られている。
この液晶表示装置は、セル単位で発色状態と透明な光透過状態に遷移できる液晶表示パネルと、前記セルのそれぞれについて発色と光透過とを制御する液晶駆動手段と、前記液晶表示パネルの背面中央に配置された固体撮像素子を含む撮像光学系と、前記固体撮像素子を駆動する撮像駆動手段と、前記液晶表示パネルと前記撮像光学系との間の、当該撮像光学系が位置する部分に設けられた光散乱状態と透明状態とに遷移できる光散乱手段と、前記光散乱手段の光散乱状態を制御する光散乱制御手段と、を有している。
そして、前記光散乱制御手段は、前記光散乱手段を、光散乱状態と透明状態とに交互に遷移させ、このとき、前記光散乱手段が透明状態となっている期間中に、前記液晶駆動手段は液晶パネルを光透過状態に遷移させ、前記撮像駆動手段は前記固体撮像素子をアクティブとし、また、前記光散乱手段が光散乱状態となっている期間中に、前記液晶駆動手段は液晶パネルを発色状態に遷移させ、前記撮像駆動手段は前記固体撮像素子をインアクティブとするものである。

特開２０００−２９８２５３号公報

ところで、上記特許文献１に示されるテレビ電話機能を備えた画像通信装置では、液晶表示パネルの背面中央に配置された固体撮像素子により、端末使用者の画像を撮影するので、通信相手の携帯端末に送信される発信元の端末使用者の画像（顔）は、下向きとなる不具合が防止されるが、一方で、液晶表示パネルと撮像光学系との間に光散乱状態と透明状態とに遷移できる光散乱手段、及び光散乱手段の光散乱状態を制御する光散乱制御手段を別途設ける必要があり、全体構成が複雑化するという問題があった。
また、相手方の画像を表示している最中に、メッセージなどの受信があった場合に、端末使用者がその受信メッセージを見ると、通信相手との視線が不一致になる、という不具合も発生していた。

本発明は、上述した事情に鑑みてなされたものであって、常に対話する者同士の視線が一致する画像を相手方の端末に送信することができ、更に携帯通信端末が画像通信を実行中に、表示画面に受信メッセージを表示する場合であっても、視線一致を維持することができ、同時に全体構成も簡素化することも可能な携帯通信端末及びそのコンピュータソフトウェアを提供する。

上記課題を解決するために、この発明は以下の手段を提案している。本発明は、画像情報を送受信する無線通信部と、画像情報を表示する画像表示部と、前記画像表示部の中央部背面に設けられて前方に位置する端末使用者を撮影するカメラ部と、前記画像表示部に対して画像出力のＯＮ又はＯＦＦを行うことで駆動する画像表示駆動部と、前記カメラ部を駆動して該カメラ部から画像情報を出力させるカメラ駆動部と、を有し、前記画像表示駆動部は、前記画像表示部に対する画像出力の合間の画像情報の表示出力ＯＦＦ時に、前記カメラ駆動部に対して、前記カメラ部からの端末使用者の画像情報の撮影を行わせることを特徴とする。

本発明によれば、画像表示駆動部は、画像表示部に対する画像出力の合間の画像情報の表示出力ＯＦＦ時に、カメラ駆動部に対して、カメラ部からの端末使用者の画像情報の撮影を行わせる。
そして、このような画像情報の撮影を、前記画像表示駆動部から画像表示部への画像出力が行われていないＯＦＦ時に繰り返すことで、前記カメラ部では、全体として連続した端末使用者の画像撮影（つまり動画撮影）を行なうことができる。

また、前記カメラ部は、前記画像表示部の中央部背面に設けられて前方に位置する端末使用者を撮影するように配置されているので、常に対話する者同士の視線が一致する画像を相手方の端末に送信することができる。
また、前記無線通信部を経由した画像通信を実行中に、前記画像表示部上に表示画面に文字等の受信メッセージを表示する場合には、該受信メッセージを、前記カメラ部を横断する領域にテロップ出力させるようにすれば、前記通話者の視線一致が維持された状態で適切にデータ表示を行うことも可能となる。
また、本発明の携帯通信端末では、画像表示部に対する画像出力の合間の画像情報の表示出力ＯＦＦ時に、カメラ駆動部に対して、カメラ部からの端末使用者の画像情報の撮影を行わせる構成であるので、従来のような光散乱制御手段等の構成が不要であり、全体構成を簡略化することができる効果も得られる。

本発明の実施形態に適用された携帯通信端末の正面図である。 図１に示す携帯通信端末の制御回路を示すブロック図である。 図２の制御回路での一処理内容を示すフローチャートである。 図３に示すフローチャートで実行される画像表示の一例を示す図である。

本発明の一実施形態について、図１〜図４を参照して説明する。
図１は携帯通信端末１００の全体を示す正面図であって、通信機能（通話、メール送受信、インターネット接続）やＴＶ放送受信機能等を備えた、プログラム制御により動作する携帯型の情報処理装置である。

この携帯通信端末１００は、第１ユニット１と第２ユニット２とが、スライド機構（図示略）により構造的、電気的に結合されたものであるが、スライド型に限定されるものではなく、折畳み型、ストレート型であっても良い。

第１ユニット１は、タッチパネル式の画像表示部１０が中央部に、受話口となるスピーカ１１が上端部に設けられるものであって、前記画像表示部１０の中央部でありかつ背面には、画像情報の取得（撮影）を行うカメラ部１２が設けられている。
このカメラ部１２は、画像表示駆動部３４（後述する）からの指示により画像表示部１０への画像情報の表示出力をＯＦＦとし、かつ機能制御部４２（後述する）からの指示により表示画面の特定アドレス領域、又は表示画面全体を透過状態に形成した状態（画像表示部１０が非表示の状態）において、手前に位置する端末使用者を撮影する。

第２ユニット２は、操作部２０が中央部に、受話口となるマイク２１が下端部に設けられるものであって、前記操作部２０は、携帯通信端末１００に対する端末使用者の各種情報入力を行うために、方向キー２０Ａ、ファンクションキー２０Ｂ、テンキー２０Ｃなどから構成される。

次に、前記携帯通信端末１００の制御回路１０１について、図２を参照して説明する。
この制御回路１０１は、アンテナを介して図示しない無線基地局装置との間で無線により情報の送受を行う無線通信部３０と、放送局（地上局、衛星など）から送信された放送信号を、アンテナを介して受信し、該受信した信号の復調による映像データ、音声データ、情報データ等の放送信号処理を行う放送受信部３１と、カメラ部１２からの画像情報の取得（撮影）を行うカメラ駆動部３２と、送話部（マイク２１）及び受話部（スピーカ１１）を介して入出力された音声信号の処理を行う音声処理部３３と、前記画像表示部１０に対して画像、図形、文字、記号などの情報表示出力（映像信号処理）を行なわせる画像表示駆動部３４と、から構成されるものであって、前記音声処理部３３では、スピーカ１１を通じて、通信相手からの音声ととともに、楽音や報知音などの鳴音出力を行う。

ここで、前記制御回路１０１において、画像表示駆動部３４は、画像表示部１０に対して１秒間に６４回（ＮＴＳＣテレビ並みの）画像を出力するが、このとき、各回の画像出力の合間の画像情報の表示出力ＯＦＦ時に、カメラ駆動部３２に対して、カメラ部１２からの端末使用者の画像情報の取得（撮影）を行わせるステップを有する。
そして、このような画像情報の取得（撮影）を、画像表示駆動部３４から画像表示部１０への画像出力が行われていないＯＦＦ時に繰り返すことで、カメラ部１２により、全体として連続した端末使用者の画像撮影（つまり動画撮影）を行なわせ、さらにこのカメラ部１２で撮影した端末使用者の画像情報は、無線通信部３０を経由して通信相手に送信するステップを有する。なお、これらステップは、前記制御回路１０１に記憶されたコンピュータソフトウェアに基づき実行される。

更に、前記制御回路１０１は、図示しないＧＰＳ衛星から発射された電波が携帯通信端末１００に到達するまでの時間を測定し、この時間差からＧＰＳ衛星と携帯通信端末１００との距離を求め、この距離を利用して位置座標を求める測位部４０と、電話帳情報、送受信メール情報、発着呼情報、コンテンツ情報、アプリケーションプログラム情報、撮影画像、及び携帯無線端末１００の諸設定等を格納する記憶部４１と、電話機能、メール機能、インターネット(ｗｅｂ)接続機能、カメラ機能、テレビ受信機能、コンテンツ再生機能、その他の端末の有する機能や各部の制御を行う機能制御部４２と、を備えている。

次に、上記携帯通信端末１００の動作について説明する。なお、以下の動作は、前記制御回路１０１に記憶されたコンピュータソフトウェアに基づき実行される。
ＴＶ電話中において、無線通信部３０を介して受信した相手方の映像は、画像表示駆動部３４を経由して画像表示部１０に出力される。
ここで、制御回路１０１の画像表示駆動部３４は、画像表示部１０に対して１秒間に６４回（ＮＴＳＣテレビ並みの）画像を出力するが、このとき、各回の画像出力の合間の画像情報の表示出力ＯＦＦ時のタイミング、すなわち、画像表示部１０に画像を表示しない透過状態のタイミングにおいて、カメラ駆動部３２に対して、カメラ部１２からの端末使用者の画像情報の取得（撮影）を行わせる。
そして、このような画像情報の取得（撮影）を、画像表示駆動部３４から画像表示部１０への画像出力が行われていないＯＦＦ時のタイミングで繰り返すことで、カメラ部１２により、全体として連続した端末使用者の画像撮影（つまり動画撮影）を行なう。同時に、該カメラ部１２で撮影した端末使用者の画像情報は、無線通信部３０を経由して通信相手に送信する。
このとき、前記端末使用者を撮影するカメラ部１２は、画像表示部１０の中央部背面に配設されているので、常に対話する者同士の視線が一致する画像を相手方の端末に送信することができる。

次に、前記携帯通信端末１００にてメッセージメールを受信した場合の動作について図３のフローチャート及び図４の画像表示例を参照して説明する。

〔Ｓ１０１〕〜〔Ｓ１０２〕
メッセージメールが受信された場合、無線通信部３０を経由したＴＶ電話通話が行われているか否かを判断し、ＹＥＳの場合にＳ１０３に進み、ＮＯの場合にＳ１０４に進む。
〔Ｓ１０３〕
無線通信部３０を経由したＴＶ電話通話が行われている場合には、図４に示すように、Ｓ１０１で受信したメッセージを、画像表示部１０の中央部に位置する第１表示領域Ｅ１に表示させる。このとき、このメッセージ情報を、操作部２０による操作により順送りするように表示しても良いし、また、カメラ部１２を横断するように横方向にテロップ出力するようにしても良い。

〔Ｓ１０４〕
ＴＶ電話通話が行われていない場合には、さらにＳ１０４にて画像表示部１０上でコンテンツが再生中か否かを判断し、コンテンツ再生中であるＹＥＳの場合にＳ１０５に進み、また、コンテンツ再生中でないＮＯの場合にＳ１０６に進む。

〔Ｓ１０５〕
ＴＶ電話通話が行われず、かつ画像表示部１０上でコンテンツ再生中である場合に、このＳ１０５にて、Ｓ１０１で受信したメッセージを第２領域Ｅ２にて表示させる。このとき、端末使用者は通信相手と通話していないので、視線を合わせる必要がないために、前記第２領域Ｅ２は、第１領域Ｅ１とは異なる領域、例えば、本例では、図４に示すように、画像表示部１０の下端部に表示させる。
また、Ｓ１０５では、Ｓ１０１で受信したメッセージを第２領域Ｅ２にすぐに表示させず、第１領域Ｅ１に、当該受信した旨を端末使用者に報知する「文字・アイコン」を表示しても良い。

〔Ｓ１０６〕
ＴＶ電話通話が行われず、かつ画像表示部１０上でコンテンツ再生中でない場合に、このＳ１０６にて、Ｓ１０１で受信したメッセージを画像表示部１０に全面表示させる。

以上詳細に説明したように本実施形態に示される携帯通信端末１００では、画像表示駆動部３４は、画像表示部１０に対する画像出力の合間の画像情報の表示出力ＯＦＦ時に、カメラ駆動部３２に対して、カメラ部１２からの端末使用者の画像情報の撮影を行わせる。
そして、このような画像情報の撮影を、前記画像表示駆動部３４から画像表示部１０への画像出力が行われていないＯＦＦ時に繰り返すことで、前記カメラ部１２では、全体として連続した端末使用者の画像撮影（つまり動画撮影）を行なうことができる。

また、前記カメラ部１２は、前記画像表示部１０の中央部背面に設けられて前方に位置する端末使用者を撮影するように配置されているので、常に対話する者同士の視線が一致する画像を相手方の端末に送信することができる。
また、前記無線通信部３０を経由した画像通信を実行中に、画像表示部１０上に表示画面に文字等の受信メッセージを表示する場合には、該受信メッセージを、前記カメラ部１２を横断する第１領域Ｅ１にテロップ出力させるようにすれば、前記通話者の視線一致が維持された状態で適切にデータ表示を行うことも可能となる。
また、上記携帯通信端末１００では、画像表示部１０に対する画像出力の合間の画像情報の表示出力ＯＦＦ時に、カメラ駆動部３２に対して、カメラ部１２からの端末使用者の画像情報の撮影を行わせる構成であるので、従来のような光散乱制御手段等の構成が不要であり、全体構成を簡略化することができる効果も得られる。

なお、上記実施形態では、Ｓ１０３で表示される第１領域Ｅ１は、端末使用者に対してメッセージを読ませるために短時間だけ表示させるようにしても良く、表示時間などの設定は、端末使用者に対して自由に行わせるようにしても良い。また、Ｓ１０５で表示される第２領域Ｅ２も、画像表示部１０の下端部に表示させることに限定されず、その表示位置を、端末使用者に対して自由に設定させるようにしても良い。

以上のように本発明の実施形態を示して説明したが、本願発明はこの実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変更して実施することが可能であることは言うまでもない。

テレビ電話、テレビ会議システム等で使用される携帯通信端末に適用される画像通信装置及びそのコンピュータソフトウェアに関する。

１０ 画像表示部
１２ カメラ部
３２ カメラ駆動部
３４ 画像表示駆動部
１００ 携帯通信端末
Ｅ１ 第１領域
Ｅ２ 第２領域

Claims (7)

1. 画像情報を送受信する無線通信部と、画像情報を表示する画像表示部と、前記画像表示部の中央部背面に設けられて前方に位置する端末使用者を撮影するカメラ部と、前記画像表示部に対して画像出力のＯＮ又はＯＦＦを行うことで駆動する画像表示駆動部と、前記カメラ部を駆動して該カメラ部から画像情報を出力させるカメラ駆動部と、を有し、
   前記画像表示駆動部は、前記画像表示部に対する画像出力の合間の画像情報の表示出力ＯＦＦ時に、前記カメラ駆動部に対して、前記カメラ部からの端末使用者の画像情報の撮影を行わせることを特徴とする携帯通信端末。
2. 前記カメラ駆動部は、前記画像表示駆動部から前記画像表示部への画像出力が行われていないＯＦＦ時に撮影を繰り返すことで、前記カメラ部に対して前記端末使用者の動画撮影を行なうことを特徴とする請求項１に記載の携帯通信端末。
3. 前記画像表示駆動部は、前記無線通信部を経由して画像情報の送受信中にメッセージ情報を受信したときに、受信したメッセージを前記画像表示部の中央部に位置する第１表示領域に表示させることを特徴とする請求項１又は２のいずれか１項に記載の携帯通信端末。
4. 前記第１表示領域では、前記無線通信部を介して画像情報の送受信中にメッセージ情報を受信したときに、前記カメラ部を横断するように横方向に前記メッセージ情報をテロップ出力する請求項３に記載の携帯通信端末。
5. 前記画像表示駆動部は、前記無線通信部を経由して画像情報の送受信がないときにメッセージ情報を受信し、かつこのとき前記画像表示部にコンテンツの再生中である場合に、前記受信したメッセージを、前記第１表示領域とは異なる第２表示領域に表示させることを特徴とする請求項１〜４のいずれか１項に記載の携帯通信端末。
6. 前記第２表示領域は、前記画像表示部の下端部であることを特徴とする請求項５に記載の携帯通信端末。
7. 画像情報を送受信する無線通信部と、画像情報を表示する画像表示部と、前記画像表示部の中央部背面に設けられて前方に位置する端末使用者を撮影するカメラ部と、前記画像表示部に対して画像出力のＯＮ又はＯＦＦを行うことで駆動する画像表示駆動部と、前記カメラ部を駆動して該カメラ部から画像情報を出力させるカメラ駆動部と、を有する携帯通信端末に搭載されて前記各部を制御するコンピュータソフトウェアであって、
   前記画像表示部に対する画像出力の合間の画像情報の表示出力がＯＦＦであることを判別するステップと、表示出力がＯＦＦであることを条件として、前記カメラ駆動部に対して、前記カメラ部からの端末使用者の画像情報の撮影を行わせるステップとを前記画像表示駆動部に実行させることを特徴とするコンピュータソフトウェア。

Images