JP2006238033A

JP2006238033A - 電子機器

Info

Publication number: JP2006238033A
Application number: JP2005049385A
Authority: JP
Inventors: Kunihiko Gotoda; 州彦後藤田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-02-24
Filing date: 2005-02-24
Publication date: 2006-09-07

Abstract

【課題】電子機器で遮られている視界を確認しながら電子機器の操作を行うことを可能にする。
【解決手段】カメラ１９と表示装置１３とを備え、カメラ１９で撮影した映像を表示装置１３に表示する電子機器であって、カメラ１９の撮影方向を指定する操作部１２と、前記電子機器の姿勢を検出する端末角度検出部２０と、指定した撮影方向と撮影方向を指定したときの前記電子機器の姿勢との関係を記憶する内部記憶装置１６と、記憶する前記電子機器の姿勢と検出した前記電子機器の姿勢との差分を修正する方向にカメラ１９を制御する光学系制御部２１とを備える。
【選択図】図１

Description

本発明は、カメラを備えた電子機器に関する。

カメラを備えた携帯電話端末では、カメラ機能を利用している場合のほか、テレビ電話機能を利用している場合に限り、撮影画像やテレビ受信画像をそれぞれ表示装置上に表示することができる（例えば、特許文献１参照）。従って、携帯電話端末での例えばメール送受信等の操作中には、カメラ機能が働かず、カメラで撮影した画像を表示装置の画面上に表示させて見るということができない。

また、図１０に示すように、歩行中に、携帯電話端末１を用いてメール送受信の操作を行う場合があるが、利用者２は表示装置３の画面上の表示内容に意識が集中し、路上などにおいて前方（歩行方向Ｐ）に注意が行き届かない場合がある。このため、一般に、メール送受信等の操作中には、表示装置の画面上にはカメラによる撮影画像やテレビ受信画像が表示されない。
特開２００４‐１８０１０７号公報

しかしながら、従来のカメラを持つ携帯電話端末にあっては、使用上の都合から、あるいは緊急連絡時の利便性から、通話やメール送受信の操作をしながら歩行を続けたいという要請がある。

本発明は、上記事情に鑑みてなされたものであって、電子機器で遮られている視界を確認しながら操作を行うことができる電子機器を提供することを目的とする。

本発明の電子機器は、カメラと表示手段とを備え、前記カメラで撮影した映像を前記表示手段に表示する電子機器であって、前記カメラで撮影した映像を前記表示手段に表示させながら、前記電子機器に対する操作を受け付ける手段を備える。

上記構成によれば、カメラで撮影した映像を表示手段に表示させながら、電子機器に対する操作を受け付ける手段を備えることにより、利用者は、撮影した映像を見ながら電子機器の操作をすることが可能になる為、電子機器で遮られている視界を確認しながら操作を行うことができる。したがって、例えば、歩行中の利用者が、カメラで捉えて表示装置の画面上に表示させた前方の画像を見ながら、メール送受信等の操作を安全に行うことができる。

また、本発明の電子機器は、前記カメラで撮影した映像を、バックグラウンド画像として前記表示手段に表示させる映像処理手段を備える。また、本発明の電子機器は、前記カメラで撮影した映像を、前記表示手段のウィンドウ領域に表示させる映像処理手段を備える。上記構成によれば、表示手段に操作画面などとカメラで撮影した映像とを表示することができる。

さらに、本発明の電子機器は、前記カメラの撮影方向を指定する方向指定手段と、前記電子機器の姿勢を検出する姿勢検出手段と、指定した撮影方向と撮影方向を指定したときの前記電子機器の姿勢との関係を記憶する記憶手段と、記憶する前記電子機器の姿勢と検出した前記電子機器の姿勢との差分を修正する方向に前記カメラを制御する制御手段と、を備える。

上記構成によれば、記憶する電子機器の姿勢と検出した電子機器の姿勢との差分を修正する方向にカメラを制御する制御手段を備えることにより、電子機器の姿勢が変化しても、電子機器とカメラとの相対的位置関係は、撮影方向指定時の相対的位置関係に保たれる為、指定した撮影方向の映像を常に表示することができる。

本発明によれば、カメラで撮影した映像を表示手段に表示させながら、電子機器に対する操作を受け付ける手段を備えることにより、利用者は、撮影した映像を見ながら電子機器の操作をすることが可能になる為、電子機器で遮られている視界を確認しながら操作を行うことができる。

以下、本発明の実施形態を説明するための電子機器について、図面を用いて説明する。ここでは電子機器として携帯電話端末を例に挙げて説明する。

図１は、本発明の一実施形態を説明するための電子機器を示すブロック図である。携帯電話端末１１は、カメラと表示手段とを備え、カメラで撮影した映像を表示手段に表示するものであり、図１に示すように、操作部１２と、表示装置１３と、ＣＰＵ(中央演算処理装置）１４と、通信部１５と、内部記憶装置１６と、外部記憶装置１７と、画像処理部１８と、カメラ１９と、端末角度検出部２０と、光学系制御部２１と、音声処理部２２と、音声入力部２３とを備える。

操作部１２は、カメラ１９の撮影方向を指定するものであり、所定の撮影対象を撮影するようにカメラ１９の向きを設定(指定）する。また、カメラ１９で撮影した撮影対象がバックグラウンド画像やウィンドウ画像として表示されるように、表示装置１３上の画面を見ながら、操作部１２により設定される。

表示装置１３は、カメラ１９で撮影して得た画像情報を、バックグラウンド画像やウィンドウ画像として表示する。ＣＰＵ１４は、携帯電話端末のさまざまな機能を実現するために、各機能対応の各種データの演算や処理を実行する制御手段である。通信部１５は、携帯電話端末の通話機能やデータの通信機能を実現するものである。尚、ＣＰＵ１４、操作部１２及び画像処理部１８は、カメラで撮影した映像を表示装置１３に表示させながら、携帯電話端末に対する操作を受け付ける。携帯電話端末に対する操作とは、例えば、電話帳に対する編集等の操作、電話をかけるための操作、通話、メールの送受信操作、Ｗｅｂサイトをブラウズする操作、メモ等の入力操作である。

内部記憶装置１６は、操作部１２で指定した撮影方向と撮影方向を指定したときの携帯電話端末の姿勢との関係を記憶するものである。また、内部記憶装置１６は、カメラ１９で撮影した画像や電話帳データなどの、携帯電話端末で使われたり、作成されたりしたデータを保存する。外部記憶装置１７は、内部記憶装置１６と同様の機能を有し、カメラ１９で撮影した画像や電話帳データなどの、携帯電話端末で使われたり作成されたりしたデータを携帯電話端末外に保存したり、取り出したりするための記憶手段である。画像処理部１８は、カメラ１９からの画像データや携帯電話端末の操作に必要なデータを、表示装置に対して送出するものであり、カメラ１９で撮影した映像を、バックグラウンド画像として表示装置１３に表示させたり、表示装置１３のウィンドウ画像としてウィンドウ領域に表示させたりするための画像処理を行う。

端末角度検出部２０は、携帯電話端末の姿勢を検出するものであり、利用者が保持する携帯電話端末の角度を検出する。光学系制御部２１は、カメラ１９が捉える撮影対象の方向、つまりカメラ１９の撮影方向を制御するものである。光学系制御部２１は、内部記憶装置１６が記憶する携帯電話端末の姿勢と端末角度検出部２０が検出した携帯電話端末の姿勢との差分を修正する方向にカメラ１９を制御する。

音声処理部２２は、携帯電話端末の通話や各種機能に必要な音声情報を処理する。音声入出力部２３は、携帯電話端末の通話や各種機能に必要な音声情報の入力や出力を行う。

次に、図１に示した携帯電話端末の動作について説明する。ここでは、カメラ１９が所定の撮影対象をバックグラウンド画像として捉える動作を説明する。まず、携帯電話端末１１の利用者は、カメラ１９を、例えば前方へ略水平に向け、カメラ１９が常にこの方向の画像を捉え続けるように、表示装置１３の画面上の撮影画像を見ながら、操作部１２を用いてカメラ１９の撮影方向を指定する。

また、カメラ１９で捉えた画像が、バックグラウンド画像として表示装置上に表示されるように、操作部１２で設定操作を行う。操作部１２からの設定情報を受けて、ＣＰＵ１４は画像処理部１８を経由してカメラ１９に撮影開始を指示する。このため、ＣＰＵ１８からの指示を受けて、カメラ１９は利用者の前方の画像を撮影する。また、撮影した画像は画像処理部１８でバックグラウンド画像に処理された後、表示装置１３に送られる。表示装置１３は、撮影された画像を画面上に表示する。

図２は、携帯電話端末１を保持する利用者２が、携帯電話端末１の表示装置３上に前方の道路の撮影画像をバックグラウンド画像５として表示させた場合を示す。バックグラウンド画像５は、図３に示すように、表示装置３の画面の全領域に表示され、この表示状態において、利用者は携帯電話端末の通話操作やメール送受信操作等を同時に実施できる。

また、カメラ１９で捉えた表示装置１３上の表示画像がウィンドウ画像となるように、操作部１２で指示することもできる。この場合には、図４に示すように、表示装置１３の表示画面の一部領域に、利用者２前方の撮影画像がウィンドウ画像６（ウィンドウ領域）で表示される。また、この表示に並行して利用者が書き込んだメール文７などが、ウィンドウ画像６の前記領域を除く他の領域に表示される。

次に、カメラ１９の撮影方向を所定の撮影対象を撮影する方向に設定する動作を、説明する。まず、利用者は、手に持つカメラ１９を、例えば利用者前方の略水平方向に向け、このカメラ１９が、常にこの方向を捉え続けるよう、表示装置１３上の撮影画像を監視しながら、操作部１２を用いて指定する。

このため、操作部１２からの指定を受けたＣＰＵ１４は、端末角度検出部２０と、画像処理部１８とカメラ１９とに接続された光学系制御部２１とに、それぞれ携帯電話端末本体の現在の角度（姿勢）およびカメラが捉えている撮影対象の方向を検出するよう、指示を出す。

ＣＰＵ１４からの指示に基づいて、端末角度検出部２０は、設定時の端末の角度を検出し、これを内部記憶装置１６に格納する。同じく光学系制御部２１は、カメラ１９が向いている方向を検出し、これを内部記憶装置１６に格納する。引き続き、端末角度検出部２１と光学系制御部１６とは、角度と方向とを検出し続ける。

次に、ＣＰＵ１４は、内部記憶装置１６に記憶された携帯電話端末本体の角度およびカメラ１９の方向と、端末角度検出部２０が検出した現在の角度および光学系制御部２１が検出した現在の方向とを、それぞれ比較する。角度または方向に差が生じた場合、ＣＰＵ１４はカメラ１９の光学系制御部２１に対し、前記角度または方向の差を修正する方向にカメラ１９を制御するよう指示を出す。指示を受けた光学系制御部２１は、指示された方向を撮影するようカメラ１９を制御する。これにより、携帯電話端末本体を持つ利用者の動きや携帯電話端末本体の揺動による角度変化に拘わらず、カメラ１９の撮影方向が、常に同一方向となり、利用者は、指定した撮影方向の画像を常に確認することができる。従って、表示装置上の表示画像が歩行中に揺れて見難くなることはない。

図５(ａ）、（ｂ）は、使用状態が変化する携帯電話端末本体とカメラ１９との関係を概略的に示したものである。これらのうち、図５（ａ）は、カメラ１９が歩行前方に向けられた携帯電話端末本体を、図５（ｂ）に示すように傾けたときにも、カメラ１９は引き続き歩行前方を向くように、カメラ１９の動作が自動的に制御されることを示す。

また、図６(ａ）は、カメラ１９が歩行前方の足元に向けられた携帯電話端末本体を、図６（ｂ）に示すように傾けたときにも、カメラ１９は引き続き歩行前方の足元に向くように、カメラ１９の動作が自動的に制御されることを示す。さらに、図７（ａ）は、カメラ１９が利用者の顔に向けられた携帯電話端末本体を、図７(ｂ）に示すように傾けたときにも、カメラ１９は引き続き利用者の顔に向くように、カメラ１９の動作が自動的に制御されることを示す。

図８は、カメラ１９で撮影した映像情報を前記のバックグラウンド画像として表示する場合の、画像処理部１８の処理機能を示す機能ブロック図である。画像・映像選択機能部２４は、カメラ１９で撮影したカメラ映像２５と、内部記憶装置１６や外部記憶装置１７に記録されている画像データ２６のいずれか一方を選択する。ここでは、画像・映像選択機能部２４は、カメラで撮影したカメラ映像２５を選択する。バックグラウンド表示機能部２７は、選択されたカメラ映像２５を表示装置１３の背景面に表示可能なバックグラウンド画像に変換し、画面合成部２８へ入力する。

一方、メール送受信操作、電話帳に対する編集等の操作、電話をかけるためのアドレス操作、Ｗｅｂサイトをブラウズする操作などを表示画面上で受け付け、画像の各種処理２９の操作に伴う画像データを用意しておく。フォアグラウンド表示機能部２９は、これらの操作に伴う画像データを表示装置１３の前面に表示可能なフォアグラウンド画像データに変換し、画面合成部２８へ入力する。画面合成部２８では、このフォアグラウンド画像データと前記バックグラウンド画像データとを合成し、一枚の画面のデータとして表示装置１３へ送出する。表示装置１３では合成した画像データを利用者に提供する。
以上により、カメラ１９で撮影した画像をバックグラウンド画面に表示しながら、携帯端末装置への操作を受けることが可能になる。

図９は、カメラ１９で撮影した映像情報を前記のウィンドウ画像として表示する場合の、画像処理部１８の機能を示すブロック図である。ここでは、図８に示す機能部に加えて、カメラ１９で撮影したカメラ映像２５を表示装置１３に表示するためのウィンドウ表示機能部３１を有している。ウィンドウ表示機能部３１は、カメラ映像２５を表示装置１３が表示可能なデータへ変換したり、ウィンドウ領域の大きさを決定したり、カメラ映像をウィンドウ領域の大きさに合わせたりするなどの処理を行う。

前記ウィンドウ画面のデータは、前述のバックグラウンド表示機能部２７からのバックグラウンド画像データとフォアグラウンド表示機能部３０からのフォアグラウンド画像データとともに、画面合成部２８へ送出される。画面合成部２８では、これら三枚の画像データを一枚の画面データに合成して表示装置１３へ送出し、表示装置１３はその合成した画像データを表示することにより端末の利用者に提供する。
以上により、カメラ１９で撮影した画像をウィンドウ画面に表示しながら、携帯端末装置への操作を受け付けることが可能になる。

なお、上記説明においては、電子機器としてカメラ付きの携帯電話端末を例に挙げたが、これに限らず、デジタルカメラやデジタルムービーカメラ等の電子機器でも同様に本発明を実施できる。

また、カメラ１９の光学系制御は、光軸を変える等の機構的な方法以外に、撮像素子が捉えた画像の表示範囲を、角度等に応じて移動させる、といった電子的な方法でも実現できる。この場合には、光学系を含むカメラ１９の構成をコンパクトにすることができる。

本発明は、カメラで撮影した映像を表示手段に表示させながら、電子機器に対する操作を受け付ける手段を備えることにより、利用者は、撮影した映像を見ながら電子機器の操作をすることが可能になる為、電子機器で遮られている視界を確認しながら操作を行うことができる効果を有し、カメラを備えた電子機器等に有用である。

本発明の一実施形態を説明するための電子機器を示すブロック図前方の撮影画像をバックグラウンド画像として表示した場合の説明図図２における表示装置上のバックグラウンド画像を拡大して示す拡大図前方の撮影画像をウィンドウ画像として表示した場合の説明図特定の撮影対象を撮影する場合の携帯電話端末とカメラの関係を示す説明図特定の撮影対象を撮影する場合の携帯電話端末とカメラの他の関係を示す説明図特定の撮影対象を撮影する場合の携帯電話端末とカメラの他の関係を示す説明図画像処理機能の一例を示すブロック図画像処理機能の他の例を示すブロック図従来のカメラ付き携帯電話端末の使用例を示す説明図

符号の説明

１携帯電話端末
１１携帯電話端末
１２操作部
１３表示装置
１４ＣＰＵ
１６内部記憶装置
１９カメラ
２０端末角度検出部
２１光学制御部

Claims

カメラと表示手段とを備え、前記カメラで撮影した映像を前記表示手段に表示する電子機器であって、
前記カメラで撮影した映像を前記表示手段に表示させながら、前記電子機器に対する操作を受け付ける手段を備える電子機器。
前記カメラで撮影した映像を、バックグラウンド画像として前記表示手段に表示させる映像処理手段を備える請求項１記載の電子機器。
前記カメラで撮影した映像を、前記表示手段のウィンドウ領域に表示させる映像処理手段を備える請求項１記載の電子機器。
前記カメラの撮影方向を指定する方向指定手段と、
前記電子機器の姿勢を検出する姿勢検出手段と、
指定した撮影方向と撮影方向を指定したときの前記電子機器の姿勢との関係を記憶する記憶手段と、
記憶する前記電子機器の姿勢と検出した前記電子機器の姿勢との差分を修正する方向に前記カメラを制御する制御手段と、
を備える請求項１記載の電子機器。