JP2005217525A - 通信端末装置 - Google Patents

Abstract

【課題】 携帯電話端末などの通信端末装置において、表示された文章などを見ている状態で、ある程度周囲が判るようにするようにする。
【解決手段】 無線通信を行う通信手段と、撮影手段と、表示手段とを備えた通信端末装置において、影手段で撮影中の画像に、通信手段での通信処理に関係したアプリケーション画面を重畳させて表示手段に表示させる構成として、表示された画像から、周囲の状況か判るようにした。
【選択図】 図６

Description

本発明は、例えばカメラ付き携帯電話端末に適用して好適な通信端末装置に関する。

従来、携帯電話端末として、カメラ付きのものが各種実用化されている。このカメラ付き携帯電話端末によると、撮影された画像を、端末が備える表示パネルに表示させたり、或いは、無線電話回線により他の端末などに伝送させる等の処理が可能で、便利である。特許文献１には、カメラ付きの携帯電話端末の例についての開示がある。
特開２００３−１５２８４８号公報

ところで、携帯電話端末は多機能化する傾向にあり、上述したカメラ機能の他に、電子メールの送受信機能、インターネットへの接続機能などを有するのが一般的である。携帯電話端末で電子メールの送受信やインターネットの接続を行う際には、携帯電話端末が備える表示パネルに、送信するメールや受信したメールを表示させたり、インターネットへの接続でダウンロードした画像を表示させるようにしてある。

このようなメール文などが携帯電話端末の表示パネルに表示されて、そのメール文を見ている状態では、ユーザはその表示パネルを凝視している状態であり、ユーザの周囲の状況については、注意が及ばないのが一般的である。

なお、ここでは携帯電話端末を例にして問題点を説明したが、例えばＰＤＡ（Personal Digital Assistants ）などのように、表示パネルを備えて、メールなどを送受信できる携帯用の通信端末装置であれば、同様の問題がある。

本発明はかかる点に鑑みてなされたものであり、この種の通信端末装置において、表示された文章などを見ている状態で、ある程度周囲が判るようにすることを目的とする。

本発明は、無線通信手段と、撮影手段と、表示手段とを備えた通信端末装置において、撮影手段で撮影中の映像に、通信手段での通信に関係したアプリケーション画像を重畳させて表示手段に表示させる構成としたものである。

このようにしたことで、何らかのアプリケーション画像を表示させているときに、この端末装置が備える撮影手段で撮影中の画像が重畳されて表示されるようになり、その重畳された画像から、周囲の状況か判るようになる。

本発明によると、表示手段にメール文のようなアプリケーション画像を表示させているときに、現在撮影中の画像が重畳されて表示されるので、例えば表示手段の画面をユーザが凝視しているような状況であっても、周囲の状況か判るようになる。

この場合、撮影手段により撮影する方向は、表示手段が配置された位置とほぼ反対の方向であることで、ほぼ前方の状況が判るようになる。

また、撮影中の画像とアプリケーション画像との重畳状態は、アプリケーション画像が重畳される領域の撮影画像を背景として、その背景画像が確認できる態様で重畳表示させることで、文字又は図形と重なった領域の表示画像についても良好に確認できるようになる。

また、撮影手段が撮影中の画像内の被写体までの距離を判別し、その判別した距離の変化状態に応じて、表示手段で所定の警告表示を行うようにしたことで、例えば接近する物体がある場合に、そのことが警告されて判るようになる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。
本例においては、カメラ付きの携帯電話端末に適用した例としてある。まず、本例の携帯電話端末の内部構成を、図１を参照して説明する。本例の携帯電話端末は、無線通信を行う通信手段として、ＲＦ（高周波）処理部１２と変復調処理部１３を備える。通信手段での受信処理としては、アンテナ１１がＲＦ（高周波）処理部１２に接続してあり、所定の周波数で無線伝送される信号を受信し、受信信号を変復調処理部１３に供給して受信用の復調処理を行って、受信データを得る。得られた受信データは、データ処理部１４に供給して、パケット構造化された受信データから必要なデータを抽出する。データ処理部１４に得られた受信データ中の音声データについては、音声処理部１５に供給し、アナログ変換、増幅などの音声処理を行って、スピーカ１６に供給して出力させる。

送信処理としては、マイクロホン１７が拾って出力する音声信号を音声処理部１５に供給し、デジタル変換してデータ処理部１４に供給し、パケット構造化された送信データとする。データ処理部１４で得られた送信データは、変復調処理部１３に供給して送信用の変調処理を行い、変調された送信信号をＲＦ処理部１２に供給して、所定の送信周波数でアンテナ１１から無線送信させる。

各回路でのこれらの送信及び受信の処理は、この携帯電話端末の制御手段である中央制御ユニット（ＣＰＵ）２１の制御で実行される。中央制御ユニット２１には、この端末の動作に必要なプログラムなどが記憶されたＲＯＭ２２と、各種データを格納するＲＡＭ２３とが接続してある。データ処理部１４に得られた受信データに含まれた制御データや、音声データ以外の各種データについては、中央制御ユニット２１に供給されて、必要によりＲＡＭ２３に格納される。また、ＲＡＭ２３に格納された送信用のデータが、中央制御ユニット２１の制御でデータ処理部１４に送られて、送信処理される。

また、液晶表示パネルなどの表示手段で構成される表示部２５を備え、中央制御ユニット２１の制御で、各種表示を行うようにしてある。この表示部２５への表示としては、例えば、受信した電子メールのメール文、ユーザが入力させた送信するためのメール文、インターネットにアクセスしてダウンロードした画像などの、この携帯電話端末で通信機能に関係して実行可能なアプリケーションを実行して得られるアプリケーション画像と、後述するカメラ部２４が撮影した画像などがある。

また、数字キーや各種機能キーなどで構成される操作部２６を備えて、操作部２６の操作情報が中央制御ユニット２１に供給される構成としてある。中央制御ユニット２１は、ユーザによる操作部２６の操作に応じて、各種動作モードを設定する。

また本例の携帯電話端末は、カメラ部２４を備え、ＣＣＤイメージャなどの固体撮像素子と、その撮像素子の撮像出力を所定のフォーマットの画像データとする画像処理部とが内蔵されている。撮像された画像データは、中央制御ユニット２１の制御で表示部２５に動画像として表示させることができると共に、ＲＡＭ２３に動画像データ又は静止画像データとして取り込ませることができる。

本例のカメラ部２４は、光学部品として複数枚のレンズを備え、そのレンズの一部を構成するフォーカスレンズがコイルなどによる駆動で光軸方向に移動できる構成として、固体撮像素子での撮影（撮像）時に自動的にフォーカス調整を行うオートフォーカス機構を備える。このカメラ部２４でのフォーカス調整状態のデータは、中央制御ユニット２１に送るようにしてあり、中央制御ユニット２１では、そのフォーカス調整状態のデータから、被写体までの大まかな距離を判断する。なお、ここでの距離が判断される被写体とは、撮影画像中のフォーカス位置を測定する範囲（通常は中心部などの特定の範囲）にある物体である。

次に、本例の携帯電話端末の形状の例を、図２及び図３を参照して説明する。図２及び図３に示すように、本例の携帯電話端末１００は、いわゆる折り畳み型の端末として構成してあり、第１筐体１１０と第２筐体１２０とを、回動自在にヒンジ部１０１で接続してあり、そのヒンジ部１０１の中心に、円筒形状のカメラユニット１３０が回動自在に配置してある。カメラユニット１３０内には、図１に示したカメラ部２４を構成するレンズ，撮像素子，撮像処理部などが内蔵される。このカメラユニット１３０の回動中心と、ヒンジ部１０１での回動中心とは、ほぼ一致させてあり、カメラユニット１３０を回動させて、カメラユニット１３０に取付けられた撮影用のレンズ１３１を、端末の内側（図２に示した側）と外側（図３に示した側）のいずれにも向けることができる構成としてある。レンズ１３１の両脇には、発光ダイオードなどで構成されるライト１３２が配置してあり、室内などでの撮影ができるようにしてある。カメラユニット１３０の回動は、手動で行うが、何らかの駆動手段を設けて自動的に回動するようにしても良い。なお、後述する撮影画像とアプリケーション画像との合成処理を行う際には、カメラユニット１３０に取付けられたレンズ１３１を、図３に示すように、外側を向けるようにしてある。

第１筐体１１０には、数字などのダイヤルキー、各種機能キーなどの操作手段で構成された操作部２６と、マイクロホン１７とが配置してある。第２筐体１２０には、液晶表示パネルなどの表示手段で構成される表示部２５と、スピーカ１６とが配置してある。また、図３に示すように、第１筐体１１０の外側には、アンテナ１１とサブ表示部１１１が取付けてある。サブ表示部１１１は、端末を折り畳んだ状態などで使用される補助的な表示手段である。

次に、本例の携帯電話端末での表示処理例を、図４のフローチャートを参照して説明する。ここでは、電子メールなどのアプリケーションを実行させて表示されるアプリケーション画面と、カメラ部２４で得られた撮影画像とを、表示部２５に重畳して表示させるモードが設定されているものとする。このモードが設定されている状態では、中央制御ユニット２１の制御で、カメラ部２４で撮影を連続して行い（ステップＳ１１）、オートフォーカス機構を利用して被写体までの距離を判断する（ステップＳ１２）。ここで、中央制御ユニット２１は、単位時間内での被写体までの距離の変化が、設定された値以上であるか否か判断する（ステップＳ１３）。ここでの設定された値以上である場合とは、例えば急激に携帯電話端末１００に被写体が接近するような場合である。

ステップＳ１３の判断で、設定された値以上の距離変化があると判断した場合には、そのことを利用者に警告する（ステップＳ１４）。この警告処理としては、例えば、表示部２５に文字や図形の表示や点滅などで警告させる。

このカメラ部２４での撮影処理と並行して、中央制御ユニット２１は、このときにユーザ操作で指示されたアプリケーションを起動させて、そのアプリケーションを実行して得られる画面を描画させる（ステップＳ２１）。例えば、電子メールのアプリケーションが起動された場合には、指示されたメール文を表示させる画面の描画処理が行われる。そして、そのアプリケーション画面を撮影画像と重畳して表示させるための透過処理を行う（ステップＳ２２）。

そして、ステップＳ１１で撮影された画像と、ステップＳ２１で描画されてステップＳ２２で透過処理が行われたアプリケーション画面とを、中央制御ユニット２１の制御でＲＡＭ２３の表示用のデータを格納する領域に転送し（ステップＳ３１）、表示部２５に表示させるための１枚の表示画像となるように、撮影画像とアプリケーション画面とを重畳させる合成処理を行う（ステップＳ３２）。この合成状態の詳細については後述する。そして、その１枚に合成された画像を表示部２５に表示させる（ステップＳ３３）。

この図４のフローチャートに示した処理は繰り返し実行されるものである。即ち、アプリケーションの実行によるアプリケーション画面の表示が行われる限り、このステップＳ１１〜Ｓ１４，Ｓ２１〜Ｓ２２，Ｓ３１〜Ｓ３３の処理が繰り返し実行され、そのときに撮影された画像とアプリケーションの実行中の画面とが合成されて表示される。

このようにして撮影された画像とアプリケーション画面とを合成させる際には、例えば図５に示すように、ユーザが携帯電話端末１００を持って、端末１００の内側（図２で示される面）をユーザ側に向けて、表示部２５の画面をユーザが見えるようにすると共に、カメラユニット１３０のレンズを端末１００の外側（図３で示される面）に向けて、カメラ部でユーザの前方（図５の例では矢印で示すように前方のやや下方）を撮影するようにする。この状態で、電子メールなどのアプリケーションを実行させて、そのメール文などを表示部２５の画面に表示させる。

図６は、図４のフローチャートに示した処理を実行する動作モードが設定されている場合の表示例を示した図である。カメラ部で撮影中の画像９１が得られ、アプリケーション画面（ここではメール表示画面）９２が得られた状態であるとする。この２つの画像（画面）を重ね合わせる合成処理が行われて、携帯電話端末１００に表示される画面９３としては、画面９３の大部分を利用して、撮影中の画像９３ａが表示される。但し、その画像９３ａの中の、アプリケーション画面９３ｂが表示される領域（即ち背景に撮影画像が表示される領域）については、若干輝度を落とした表示として、その画像に重畳されて表示されるメール文の文字，図形などが判別しやすい表示態様としてある。なお、図６の端末の表示画面９３では、説明を簡単にするために、撮影中の画像９３ａとメール画面９３ｂだけを表示させてあるが、携帯電話端末の表示として必要な一般的な各種表示を、画面の隅などに行うようにしても良い。例えば、受信感度を示すアンテナのマーク、電池残量、現在時刻などの表示を、図６の表示画面９３の上端などに行う。

この図６に示すように表示されることで、例えば図５に示したような使用状態で、ユーザが端末１００の表示部２５の画面に表示されるアプリケーション画面からメール文を確認しているような状況である場合には、ユーザが画面を凝視していても、その画面中の画像から、ユーザの前方のおおまかな様子が判るようになり、ユーザの周囲の状況が確認できるようになる。

なお、図６の表示例では、文字などのアプリケーション画面の表示態様については、背景の画像と重畳表示させる上で、通常の表示状態（即ち背景映像がない表示状態）と同じ表示態様としてあるが、アプリケーション画面についても、背景画像が見えやすいような処理を施した画面としても良い。例えば図７に示すように、端末の画面９３′内のアプリケーション画面９３ｂ′として表示される文字については、文字の内部が背景画像を透過させるいわゆる半透明の表示として、より背景画像が判別しやすい表示としても良い。

或いは図６，図７などの例とは逆に、アプリケーション画面と重なる領域の背景画像（撮影画像）については表示させず、アプリケーション画面と重なっていない領域だけで撮影画像を表示させても良い。この場合には、例えば、表示部の画面に撮影画像だけを表示させる場合よりも、縮小させたサイズで撮影画像を画面中に表示させるようにしても良い。

また、図４のフローチャートのステップＳ１４で説明したように、カメラ部で撮影される画像内の被写体に、設定された値以上の距離変化があって接近していると判断した場合に、そのことを利用者に警告する処理としては、例えば図８に示すように、「接近中」などの文字表示９３ｃを行う。このとき、この文字表示９３ｃを点滅表示させて、より確実に警告しても良い。

なお、ここまで説明した実施の形態では、カメラ付きの携帯電話端末に適用した例としたが、例えば、無線ＬＡＮ（Local Area Network：構内情報通信網）に接続可能な無線通信手段と、カメラを備えたＰＤＡなどの、その他の携帯用の通信端末装置にも適用可能である。カメラ付きの携帯電話端末の場合でも、図２，図３に示した形状は一例を示したものであり、その他の形状の携帯電話端末にも適用可能である。

また、上述した実施の形態では、撮影中の映像に重畳表示されるアプリケーション画面として、メール文を表示させた画面としたが、端末に内蔵された無線電話機能（通信機能）に関係したアプリケーション機能の画面であれば、その他の各種アプリケーションの実行による画面であっても良い。例えば、インターネットにアクセスしてダウンロードした画面の表示や、無線電話として発信させるために必要な電話帳の表示や、受信履歴の表示や、電話機能の設定を行う画面の表示などに適用できる。

また、上述した実施の形態では、被写体までの距離をオートフォーカス機構を利用して判断するようにしたが、例えば撮影された動画像中の物体の変化を、画像認識処理で行って、その画像認識処理で端末までの距離が近づいていると判断した場合に、同様の処理を行うようにしても良い。

本発明の一実施の形態による構成例を示したブロック図である。 本発明の一実施の形態による装置形状例（内側）を示した斜視図である。 本発明の一実施の形態による装置形状例（外側）を示した斜視図である。 本発明の一実施の形態による表示処理例を示したフローチャートである。 本発明の一実施の形態による使用状態の例を示した説明図である。 本発明の一実施の形態でよる表示状態の例を示した説明図である。 本発明の一実施の形態による表示例（変形例）を示した説明図である。 本発明の一実施の形態による表示例（変形例）を示した説明図である。

符号の説明

１１…アンテナ、１２…ＲＦ処理部、１３…変復調処理部、１４…データ処理部、１５…音声処理部、１６…スピーカ、１７…マイクロホン、２１…中央制御ユニット（ＣＰＵ）、２２…ＲＯＭ、２３…ＲＡＭ、２４…カメラ部、２５…表示部、２６…操作部、９１…カメラ撮影画像、９２…アプリケーション画像、９３…端末の画面、１００…携帯電話端末装置

Claims (4)

1. 無線通信を行う通信手段と、
   撮影手段と、
   前記通信手段での通信に関係したアプリケーション画像の表示が可能であると共に、前記撮影手段で撮影された画像の表示が可能な表示手段と、
   前記撮影手段で撮影中の画像に、前記アプリケーション画像を重畳させて前記表示手段に表示させる制御を行う制御手段とを備えた
   通信端末装置。
2. 請求項１記載の通信端末装置において、
   前記撮影手段により撮影する方向は、前記表示手段が配置された位置とほぼ反対の方向である
   通信端末装置。
3. 請求項１記載の通信端末装置において、
   前記制御手段の制御による撮影中の画像とアプリケーション画像との重畳状態は、アプリケーション画像が重畳される領域の撮影中画像を背景として、その背景画像が確認できる態様で重畳表示させる
   通信端末装置。
4. 請求項１記載の通信端末装置において、
   前記制御手段は、前記撮影手段が撮影中の画像内の被写体までの距離を判別し、その判別した距離の変化状態に応じて、前記表示手段で所定の警告表示を行うようにした
   通信端末装置。

Images