JP2001186487A - 携帯テレビ電話機 - Google Patents

Abstract

(57)【要約】 【課題】 携帯テレビ電話機において、通話中に撮影対
象物がカメラの撮影範囲から外れた場合に、通話相手側
に見られたくない画像が送信されることを防止する。 【解決手段】 カメラ１から供給される動画像データａ
のうちの１画面分の静止画像データｂを基準画像データ
として記憶装置２に保持する。カメラ１から供給される
動画像データを構成する連続する画面の画像データと、
記憶されている基準画像の画像データとを比較装置３に
より定期的に比較して、双方のデータの差分値が所定の
基準値を超えたか否かにより撮影対象物が撮影範囲を外
れたか否かを判定する。撮影対象物が撮影範囲を外れた
ものと判定されると、送信データを動画像データから記
憶装置２に保持されている静止画像データに切換える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、携帯テレビ電話
機に関し、特に、携帯テレビ電話機における送信画像デ
ータの出力制御に関する。

【０００２】

【従来の技術】近年、通話相手に対して動画像の送信が
可能な携帯テレビ電話機の実用化が図られている。この
ような携帯テレビ電話機では、一般的に通話者（ユー
ザ）本人の上半身などを携帯テレビ電話機に内蔵された
カメラで撮影しながらその動画像を通話相手に送信する
ことが可能であり、携帯性を実現させたその小型形状に
よって、たとえばユーザの移動中における使用などに適
している。

【０００３】

【発明が解決しようとする課題】しかしながら、そのよ
うな携帯テレビ電話機では、携帯性を実現させるために
小型化された形状や、あるいはユーザの移動中における
使用のために、携帯テレビ電話機に内蔵されるカメラに
よる撮影範囲を一定範囲に固定しておくことが困難であ
り、ユーザ本人の上半身など本来カメラで撮影したい撮
影対象物がカメラの撮影範囲から外れてしまうという事
態が頻繁に起こり得る。

【０００４】このような場合に従来の携帯テレビ電話機
では、通話相手側には、ユーザが意図しない全く無意味
な動画像が送られてしまうことになり、送られる動画像
が乱れることで通話相手に不快感を与えるにとどまら
ず、送信された動画像によって通話相手には知られたく
ないような機密情報やプライバシー情報が送信されてし
まうおそれがある。

【０００５】この発明の目的は、カメラの撮影範囲から
ユーザが意図した撮影対象物がずれた場合には、通話相
手に送信する動画像データを予め保持されていた静止画
像データに切換えることにより、通話相手に不快感を生
じさせず、また機密情報やプライバシー情報が通話相手
に漏洩することがない携帯テレビ電話機を提供すること
である。

【０００６】

【課題を解決するための手段】請求項１によれば、通話
相手に対して動画像の送信が可能な携帯テレビ電話機
は、撮像手段と、記憶手段と、検出手段と、出力切換手
段とを備える。撮像手段は、一定の撮影範囲からの入射
光を連続する画面からなる動画像データに変換して供給
する。記憶手段は、撮像手段によって供給される動画像
データのうちの１画面分の画像データを取得して静止画
像データとして記憶する。検出手段は、撮像手段によっ
て供給される動画像データを構成する連続する画面の画
像データと、記憶手段に記憶されている静止画像データ
とを定期的に比較して、ユーザの撮影対象物が撮像手段
の撮影範囲を外れたか否かを検出する。出力切換手段
は、検出手段によって撮影対象物が撮影範囲を外れたこ
とが検出されると、通話相手に送信する画像データを、
撮像手段によって供給される動画像データから記憶手段
に記憶されている静止画像データに切換えて選択する。

【０００７】請求項１の発明によれば、ユーザの意図す
る撮影対象物が撮像手段の一定の撮影範囲から外れたと
きに、通話相手側に送信する動画像データを予め保持さ
れている静止画像データに切換えるため、通話相手側に
画像の乱れによる不快感を生じさせることがなく、また
通話相手側には知られたくない機密情報やプライバシー
情報が通話相手側に漏洩することを防止することができ
る。

【０００８】請求項２によれば、請求項１に記載の携帯
テレビ電話機において、出力切換手段は、通話相手に送
信する画像データとして静止画像データを選択している
期間中に、検出手段が撮影対象物が撮影範囲内に再び入
ったことを検出すれば、通話相手に送信する画像データ
を、静止画像データから動画像データに切換えて選択す
る。

【０００９】請求項２の発明によれば、一旦ユーザの撮
影対象物が撮影範囲から外れてしまった場合であって
も、その後撮影対象物が撮影範囲内に復帰することによ
り、動画像の送信を再開するので、通話相手に対する動
画像の送信中断を最小限の期間にとどめることができ
る。

【００１０】請求項３によれば、請求項２に記載の携帯
テレビ電話機において、検出手段は、比較する双方の画
像データの間の差分値が、所定の第１の基準値を超えれ
ば撮影対象物が撮影範囲を外れたことを検出し、その後
所定の第２の基準値を下回れば撮影対象物が撮影範囲内
に再び入ったことを検出し、第２の基準値は第１の基準
値より小さい。

【００１１】請求項３の発明によれば、通話相手の送信
画像が一旦動画像から静止画像に切換わった後、動画像
に復帰するための基準値は、静止画像に切換えるための
基準値よりも低く設定されているので、検出手段の比較
基準の境界付近で動画像／静止画像の切換が頻繁に発生
する事態を防止することができる。

【００１２】請求項４によれば、請求項１から３のいず
れかに記載の携帯テレビ電話機において、記憶手段によ
る静止画像データの取得は定期的に行なわれる。

【００１３】請求項４の発明によれば、切換用の静止画
像データは定期的に最新の動画像データの１画面分の画
像データに更新されるので、送信画像が静止画像に切換
わった場合に通話相手側に与える違和感を小さくするこ
とができる。

【００１４】請求項５によれば、請求項１から４のいず
れかに記載の携帯テレビ電話機において、検出手段によ
る画像データの定期的な比較は、動画像データを構成す
る各画面ごとに行なわれる。

【００１５】請求項５の発明によれば、検出手段による
画像データの比較を高い頻度で行なっているため、送信
画像の静止画像への切換をより正確なタイミングで行な
うことができる。

【００１６】請求項６によれば、請求項１から４のいず
れかに記載の携帯テレビ電話機において、検出手段によ
る画像データの定期的な比較は、動画像データを構成す
る複数の画面ごとに１回の割合で行なわれる。

【００１７】請求項６の発明によれば、検出手段による
画像データの比較を一定間隔で行なっているので、高性
能のデジタル信号プロセッサ（ＤＳＰ）を必要とせず送
信画像の静止画像への切換を行なうことができる。

【００１８】

【発明の実施の形態】以下に、図面を参照して、この発
明の実施の形態による携帯テレビ電話機について説明す
る。

【００１９】図１は、この発明の実施の形態による携帯
テレビ電話機１０の外観図である。携帯テレビ電話機１
０は、撮像手段としてのカメラを内蔵しており、撮影用
の窓２０を介して、たとえば通話中のユーザ本人の上半
身などの被写体からの光を受ける。また、表示画面３０
には、通話相手先から送信されてきた動画像が表示され
る。

【００２０】図２は、この発明の実施の形態による携帯
テレビ電話機１０における送信画像の動画像／静止画像
の切換制御装置の機能を説明する機能ブロック図であ
る。なお、実際には、図２に示す機能は、後述するよう
に携帯テレビ電話機１０内のＤＳＰによりソフトウェア
で実行される。

【００２１】以下に、図２を参照して、この発明の実施
の形態による携帯テレビ電話機１０の送信画像の切換制
御装置の機能について説明する。

【００２２】図２を参照して、図１の撮影用の窓２０を
介して入射した被写体からの光は、カメラ１によって電
気信号に変換され、連続する画面からなる動画像データ
ａとして出力される。

【００２３】この動画像データａは、比較装置３の一方
入力に与えられるとともに、比較装置３をスルーして出
力制御装置４の一方入力にも直接与えられる。

【００２４】また、記憶装置２は、カメラ１から出力さ
れる動画像データａのうち、所定のタイミングで１画面
分の画像データを取得して静止画像データｂとして記憶
する。そして記憶装置２に記憶された静止画像データｂ
は、比較装置３の他方入力に与えられるとともに、比較
装置３をスルーして出力制御装置４の他方入力にも直接
与えられる。

【００２５】比較装置３は、カメラ１から直接供給され
る動画像データａを構成する連続する画面のある１画面
分の画像データと、記憶装置２から供給される静止画像
データｂとを比較し、双方のデータの差分値に基づい
て、ユーザの本来の撮影対象物（たとえばユーザ本人の
上半身）が、カメラ１の撮影範囲から外れたか否かを判
定する。そして、その判定結果を示す制御信号ｃを発生
して、出力制御装置４の制御入力に与える。比較装置３
の比較動作については後で詳細に説明する。

【００２６】出力制御装置４は、比較装置３から与えら
れる制御信号ｃに応じて、カメラ１から比較装置３をス
ルーして供給される動画像データａまたは記憶装置２か
ら比較装置３をスルーして供給される静止画像データｂ
のいずれかを選択して、送信画像データｄとして出力
し、符号化装置５に与える。符号化装置５で符号化され
た送信画像データｄは図示しない通信装置によって当該
携帯テレビ電話機から送出される。

【００２７】次に、図２の機能ブロック図に示した動画
像／静止画像の切換を、図示しないＤＳＰでソフトウェ
ア的に制御する際の処理について説明する。

【００２８】図３は、この発明の実施の形態による携帯
テレビ電話機の動画像／静止画像の切換制御の基本動作
を示すフロー図である。図２および図３を参照して、カ
メラ１に電源が供給されオンすると、ステップＳ１にお
いて、カメラ１から供給される動画像データａの初期の
時点における１画面（１フレーム）分の画像データが記
憶装置２に保持される。

【００２９】この１画面分の静止画像データｂは、カメ
ラ１から供給される動画像データａとの比較のための基
準画像データとして用いられるとともに、撮影対象物が
撮影範囲から外れたことが検出された場合に送信画像デ
ータｄとしても用いられる。

【００３０】なお、記憶装置２への１画面分のデータの
記憶は定期的に行なうようにするのが好ましい。切換用
の静止画像データｂを定期的に最新の動画像データａの
１画面に更新すれば、送信画像が動画像から静止画像に
切換わった瞬間に通話相手側に与える違和感をより小さ
くすることができる。

【００３１】ステップＳ１において、１画面分の画像デ
ータが記憶装置２に保持されると、以後はカメラ１から
の動画像データａの供給（ステップＳ２）が繰返し実行
される。

【００３２】次に、図４は、カメラ１から動画像データ
ａが供給される図３のステップＳ２の実行期間中に実行
される送信画像の切換制御処理をより詳細に示すフロー
図である。

【００３３】カメラ１から供給される動画像データａを
構成する連続する画面のある１画面分のデータと、記憶
装置２に保持されている静止画像データｂとがステップ
Ｓ２１において比較される。この画像データａとｂとの
比較は、動画像データａの各画面（フレーム）ごとに行
なってもよいし、複数の画面ごとに１回の割合で一定間
隔をあけて行なってもよい。前者の場合には、画像デー
タの比較を高い頻度で行なうため、動画像／静止画像の
切換をより正確なタイミングで行なうことができる。ま
た後者の場合には、画像データの比較を一定間隔で行な
っているので、高精度のＤＳＰを用いる必要がない。い
ずれにせよ、比較の頻度はＤＳＰの処理能力に依存す
る。

【００３４】ここで、画像データａ，ｂの比較動作につ
いて詳細に説明する。この発明の実施の形態では、画像
中の動きは、画像上の各点での変化を定義したベクトル
場で表わすこととする。このベクトル場は、画素値の濃
度曲面をもとにした速度拘束式、局所的なパターンマッ
チング、動き方向に沿った画像のぶれの抽出というよう
な画像の動きを示す特徴、隣接するベクトル同士は似通
っているというような制限、などの種々の条件を満足す
るように構成する。

【００３５】このようにして抽出したベクトル場のベク
トルのうち隣接しかつ似通ったものを１つにまとめるこ
とで、個々の物体の画像を切出すことができる。そして
画像上の各点ごとに色や明るさを比較して画像内で動い
ている物体の動きベクトル量をＤＳＰを用いて演算す
る。このようにして対象とする物体の動きを検出し、記
憶装置２に保持されている静止画像データｂとの比較を
行なう。動き検出処理の評価基準は、位置的許容誤差、
時間的許容誤差、表色空間内での許容誤差を考慮して設
定されている。

【００３６】一般に、画像中の動きを検出してその物体
を追跡する技術は、画像中の動物体の計数、個々の物体
の切出し、動画像の符号化などのさまざまな用途に応用
されている。これらの技術は既に、動き検出機能を有す
るビデオデッキ、ＭＰＥＧ等の動画符号化手法などに使
われており、容易に実現可能である。

【００３７】ここで、図４のステップＳ２１の画像デー
タａ，ｂの比較処理の一例として、パターンマッチング
の手法を用いた処理について説明する。図５および図６
はこのような処理を示すフロー図であり、特に図５は、
比較動作の初期設定段階の処理を示し、図６は比較動作
そのものの処理を示している。また、図７の（ａ）は、
画像データの１画面分（１フレーム）の画素構成を模式
的に示し、図７の（ｂ）は比較処理に用いる２次元レジ
スタの画素構成を模式的に示す図である。

【００３８】図５を参照して、比較動作（図４のステッ
プＳ２１）の初期設定処理として、カメラ１がオンにな
ると、カメラ１から出力される動画像データａの最初
の、または所定のタイミングの１画面（１フレーム）の
画像データがサンプリングされる（ステップＳ３１）。
この処理は、図３のフロー図のステップＳ１の処理に対
応している。

【００３９】なお、この発明の実施の形態では、図７
（ａ）に示すように、１フレームは１６０×１２０画素
で構成されるものとする。ＤＳＰは、そのサンプリング
された静止画像データｂに対し、ラプラシアン演算を施
し、動き検出のターゲットとなるパターン（たとえば被
写体であるユーザの上半身）の輪郭を抽出する（ステッ
プＳ３２）。

【００４０】そして、上述のサンプリングされた静止画
像から、上述の抽出された輪郭を含むように画像を切取
って比較用の基準画像とする（図７（ａ）の点線Ｘで囲
んだ画像）。そして、この切取った基準画像を、図示し
ないｍ×ｎ画素の２次元レジスタＡに保存する（ステッ
プＳ３３）。この際、ｍ×ｎ画素の２次元レジスタＡの
１／４の範囲に基準画像が収まるように（図７（ｂ）の
一点鎖線Ｘ′で囲んだ画像）、基準画像に拡大／伸縮の
処理を施す。

【００４１】次に、図６を参照して、画像データの比較
処理について説明する。まず、ステップＳ４１におい
て、前述のステップＳ３２（図５）における基準画像の
パターン抽出と同じ手法により、カメラ１から供給され
る動画像データａの１画面（１フレーム）の画像データ
から動き検出のパターン輪郭を抽出し、その輪郭を含む
ように切取った画像を前述の図７に示す態様で別の図示
しない２次元レジスタＢに保存する（ステップＳ４
２）。

【００４２】そして、ステップＳ４３において、２つの
２次元レジスタＡ，Ｂに保存されている画像データの差
分値をＤＳＰで演算する。

【００４３】この発明の実施の形態では、２つの２次元
レジスタＡ，Ｂの各座標点ごとの画素データの相互相関
関数を演算して上記差分値を算出し、その結果を所定の
基準値と比較している（ステップＳ４４）。算出された
差分値が基準値に達していなければ２つのレジスタの画
像パターンは互いに一致していると判断して制御信号ｃ
をオフにする（ステップＳ４５）。一方、差分値が基準
値を超えていれば、２つのレジスタの画像パターンは一
致しないと判断して制御信号ｃをオンにする（ステップ
Ｓ４６）。すなわち、基準画像（たとえばユーザの上半
身の画像）と同一の画像がカメラ１の一定の撮影範囲内
には存在しないかまたはその一部しか存在していないも
のと判断される。

【００４４】図４の切換制御のフロー図に戻って、ステ
ップＳ２２において、図６のステップＳ４４で示すよう
な画像データａ，ｂ間の差分値と所定の基準値との比較
が行なわれ、その結果により制御信号ｃ（図２）がオン
／オフ制御される。

【００４５】すなわち、初期状態においては制御信号ｃ
はオフであるが、通話中にカメラ１の撮影範囲が、カメ
ラ１で本来撮影しようとしている撮影対象物（ユーザの
上半身）からずれて、カメラ１から出力される動画像デ
ータａの１画面と、記憶装置２（図２）に保持されてい
る基準画像データｂとの差分値が所定の基準値を超える
ことが判断されると、ステップＳ２４において、制御信
号ｃはオンとなり、通話先への送信画像データは、カメ
ラ１からリアルタイムで供給される動画像データａか
ら、記憶装置２に保持されている静止画像（基準画像）
データｂに切換えられる。

【００４６】このように、ユーザの撮影対象物がカメラ
の一定の撮影範囲から外れた場合であっても、通話相手
側に画像の乱れによる不快感を感じさせることはなく、
また通話相手側に知られたくない画像を通話相手側に見
られてしまうことを防止することができる。

【００４７】一方、制御信号ｃが既にオンとなってお
り、記憶装置２に保持されている静止画像データｂが符
号化装置５に供給されている状態において、ステップＳ
２２において再びパターンの一致を検出した場合、すな
わちユーザの撮影対象物が再びカメラ１の撮影範囲内に
入った場合に、ステップＳ２３において、制御信号ｃは
オフに切換えられ、これによって通話相手先への送信画
像データは静止画像データｂから元の動画像データａに
切換えられる。

【００４８】なお、ステップＳ２２（図６のステップＳ
４４）で用いられる基準値の境界付近で画像データの差
分値が変動することにより、動画像／静止画像の切換が
頻繁に発生して通話相手側に不快感を与えることを防止
するために、制御信号ｃをオンからオフに切換えるため
の基準値は、制御信号ｃをオフからオンに切換えるため
の基準値よりも低い値に設定される。

【００４９】以上のように、一旦ユーザの撮影対象物が
カメラの撮影範囲から外れてしまった場合であっても、
その後撮影対象物がカメラの撮影範囲内に復帰すること
により動画像の送信を再開することができるので、動画
像の送信中断期間を最小限にとどめることができる。

【００５０】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００５１】

【発明の効果】以上のように、この発明によれば、ユー
ザの撮影対象物が撮像手段の撮影範囲から外れてしまっ
たときでも通話相手側に画像の乱れによる不快感を生じ
させることなく、また通話相手側には知られたくない機
密情報やプライバシー情報が通話相手側に漏洩すること
を防止することが可能となる。

【図面の簡単な説明】

【図１】 この発明の実施の形態による携帯テレビ電話
機の外観図である。

【図２】 この発明の実施の形態による携帯テレビ電話
機の切換制御装置の機能ブロック図である。

【図３】 この発明の実施の形態による携帯テレビ電話
機の画像切換制御の基本動作を示すフロー図である。

【図４】 この発明の実施の形態による携帯テレビ電話
機の画像切換制御の詳細な処理を示すフロー図である。

【図５】 この発明の実施の形態による携帯テレビ電話
機の画像データ比較のための初期設定処理を示すフロー
図である。

【図６】 この発明の実施の形態による携帯テレビ電話
機の画像データ比較処理を示すフロー図である。

【図７】 図６の比較処理のために抽出される画像パタ
ーンを模式的に示す図である。

【符号の説明】 １ カメラ、２ 記憶装置、３ 比較装置、４ 出力制
御装置、５ 符号化装置、１０ 携帯テレビ電話機、２
０ 撮影用窓、３０ 表示画面。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 通話相手に対して動画像の送信が可能な
   携帯テレビ電話機であって、 一定の撮影範囲からの入射光を連続する画面からなる動
   画像データに変換して供給する撮像手段と、 前記撮像手段によって供給される前記動画像データのう
   ちの１画面分の画像データを取得して静止画像データと
   して記憶する記憶手段と、 前記撮像手段によって供給される前記動画像データを構
   成する連続する画面の画像データと、前記記憶手段に記
   憶されている前記静止画像データとを定期的に比較し
   て、ユーザの撮影対象物が前記撮像手段の前記撮影範囲
   を外れたか否かを検出する検出手段と、 前記検出手段によって前記撮影対象物が前記撮影範囲を
   外れたことが検出されると、前記通話相手に送信する画
   像データを、前記撮像手段によって供給される前記動画
   像データから前記記憶手段に記憶されている前記静止画
   像データに切換えて選択する出力切換手段とを備える、
   携帯テレビ電話機。
2. 【請求項２】 前記出力切換手段は、前記通話相手に送
   信する画像データとして前記静止画像データを選択して
   いる期間中に、前記検出手段が前記撮影対象物が前記撮
   影範囲内に再び入ったことを検出すれば、前記通話相手
   に送信する画像データを、前記静止画像データから前記
   動画像データに切換えて選択する、請求項１に記載の携
   帯テレビ電話機。
3. 【請求項３】 前記検出手段は、比較する双方の画像デ
   ータの間の差分値が、所定の第１の基準値を超えれば前
   記撮影対象物が前記撮影範囲を外れたことを検出し、そ
   の後所定の第２の基準値を下回れば前記撮影対象物が前
   記撮影範囲内に再び入ったことを検出し、前記第２の基
   準値は前記第１の基準値より小さい、請求項２に記載の
   携帯テレビ電話機。
4. 【請求項４】 前記記憶手段による静止画像データの取
   得は定期的に行なわれる、請求項１から３のいずれかに
   記載の携帯テレビ電話機。
5. 【請求項５】 前記検出手段による画像データの定期的
   な比較は、前記動画像データを構成する各画面ごとに行
   なわれる、請求項１から４のいずれかに記載の携帯テレ
   ビ電話機。
6. 【請求項６】 前記検出手段による画像データの定期的
   な比較は、前記動画像データを構成する複数の画面ごと
   に１回の割合で行なわれる、請求項１から４のいずれか
   に記載の携帯テレビ電話機。