JP2007251756A

JP2007251756A - 撮像装置

Info

Publication number: JP2007251756A
Application number: JP2006074454A
Authority: JP
Inventors: Ichiro Miyamoto; 一郎宮本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2006-03-17
Filing date: 2006-03-17
Publication date: 2007-09-27

Abstract

【課題】被写体である人物の頭部および手を含む上半身がカメラのフレームからはみ出すのを防止し、手話を確実に可能とする撮像装置を提供。
【解決手段】携帯情報端末21のはみ出し監視部14は、初期設定機能122によって、自己映像データ152に、被写体の頭部および手を含む上半身に初期上半身輪郭線32および初期手輪郭線33を引き、その合計の長さＬを算出し、保存する。次にはみ出し監視部14は、はみ出し判定機能124により、自己映像データバッファ16に保存されている映像データ152を取得し、上半身輪郭線34、手輪郭線36を抽出する。それら輪郭線の合計の長さＬ’が上記長さＬの半分以下の状態が一定時間続いた場合に、アラーム機能128を実行する。これにより、ユーザが自己の位置を調節してはみ出しを解消することが可能である。
【選択図】図１

Description

本発明は撮像装置に関するものである。

テレビ電話、携帯情報端末を用いた携帯テレビ電話、テレビ会議システム、動画像配信サービスなど、動画像の通信を行なう通信手段では、話者が撮像装置の撮影範囲（フレーム）からはみ出してしまうと、話者が話とともに提供する表情やジェスチュアといった視覚情報が相手方に十分に得られなくなるという問題がある。そこで特許文献１に記載の装置は顔の特徴点を利用して被写体の顔を検出し、被写体の顔がフレームからはみ出している場合には、はみ出している部分がなくなるようにフレーム調節を行なう技術が提案されている。

特許文献２に記載の装置は、対象物体を含む領域を検出し、対象物を撮像するようにカメラの向きおよびズーム比を制御することによって常に被写体を撮像範囲に入れる技術が提案されている。

特許文献３に記載の装置は、カメラ部には設定された撮影範囲があり、その撮影範囲から端末利用者がはみ出した場合には、はみ出していることを端末利用者に通知することによってはみ出さないように促すことが提案されている。
特開２００５−６５２６５号公報特開平５−６４１８２号公報特開平８−２５１５６１号公報特開２００１−５２１８９号公報

ところで、テレビ電話等によって手話で会話をすることに着目すると、会話を視覚情報のみによって行なうこととなるため、話者の表情や手が確実にフレームに含まれることは不可欠となる。特許文献１に記載の装置では話者の顔のみを検出するため、手のフレームからのはみ出しまでを確実に検出できるものではない。

特許文献２に記載の技術は、据え置き型テレビ電話システムのカメラの向きを制御する方式であり、話者とカメラとの位置関係はある程度固定されている。しかし、携帯情報端末による携帯テレビ電話の場合、携帯情報端末と話者との位置関係には、相当の自由度がある。したがって、携帯情報端末に付属のカメラの向きを調節しても、話者の手を含めた上半身を確実にフレームに収めることが不可能な場合がある。

特許文献３に記載の装置では、カメラ部の撮影範囲は限定されているため、使用者の利用目的、たとえば手話映像による通話の場合、通常の映像通話より撮影範囲を広くするなどの設定変更が不可能である。

本発明はこのような課題に鑑み、話者の顔および手を含む上半身が、撮像手段のフレームに確実に含まれる撮像装置を提供することを目的とする。

本発明による撮像装置は、上述の課題を解決するために、被写体のうち所定の画面フレームに含まれる部分の輪郭線を抽出する輪郭線抽出手段と、抽出された輪郭線の長さを測定する測定手段と、測定された輪郭線の長さを所定の閾値と比較し、比較の結果に基づき、被写体が画面フレームからはみ出しているか否かを判定する判定手段と、判定の結果、はみ出していると判定された場合に、警告を発する警告手段とを含む。

本発明によれば、撮像手段のフレームからはみ出していることを被写体である話者に伝えることが可能であるため、話者自身が自己の位置を変更することによってはみ出しをなくすことができる。したがって、テレビ会議システムやテレビ電話など、話者と撮像手段との位置関係がある程度固定されている動画像通信手段だけでなく、位置関係が固定されていず、ともすれば話者がフレームからはみ出しやすい、携帯テレビ電話等の装置においても、話者を動かすことによって、話者の手および顔を含めた姿を適切にフレームに含めることが可能となる。これにより、話者が手を使うジェスチュアは確実にフレームに含められ、特に手話による会話などを確実に行なうことが可能である。

次に添付図面を参照して本発明による撮像装置の実施例を詳細に説明する。なお、本発明に直接関係のない要素は図示を省略し、また、信号はそれが現れる信号線の参照符号によって指示するものとする。さらに、同様の要素は同一の参照符号で示すこととする。

図１は本発明による撮像装置の実施例である携帯情報端末のブロック図であり、図２は図１に示す携帯情報端末の外観図である。本実施例は携帯テレビ電話機能を有する携帯情報端末21であるが、本発明はテレビ会議システム、据置型のテレビ電話等に適用してもよい。携帯情報端末21は、図２に示すように、端末21を使用するユーザ自身の動画像を撮像するカメラ22を含む。カメラ22はCCD（Charge Coupled Device）カメラまたはMOS（Metal Oxide Semiconductor）カメラとしてよく、被写界からの光を光電変換して電気信号に変換する撮像手段である。以下、テレビ電話時に相手端末から送信される相手の動画像を「相手映像」と呼び、カメラ22によって撮像されるユーザ自身の動画像を「自己映像」と呼ぶこととする。端末21は面積が相対的に大きいＡ画面24と、面積が相対的に小さいＢ画面25とを有する。これらの画面は液晶パネルで構成してよく、通常の動作モードでは、Ａ画面24に相手映像が表示され、Ｂ画面25には、カメラ22によって撮像される自己映像が表示される。

図１に示すように、携帯情報端末21は、映像データバッファ16を含み、これはカメラ22に接続されている。バッファ16は、カメラ22によって撮像された自己映像を例えばMPEG4（Moving Picture Experts Group phase 4）形式に圧縮して一時的に記録する記憶装置である。また図１に示すように、携帯情報端末21はデータ送信部114を含み、これは映像データバッファ16に接続されていて、同バッファ16に一時的に記録された自己映像を読み出し、図示しない通信手段を介して、相手方端末に送信する装置である。

図１に示すように、携帯情報端末21は、はみ出し監視部14を含み、これは、映像データバッファ16に接続されている。はみ出し監視部14は、カメラ22によって撮影された自己映像の被写体がフレームからはみ出すのを監視する部位である。はみ出し監視部14は一種のマイクロプロセッサとしてよく、携帯情報端末21の図示しない制御部に統合してもよいし、制御部とは別に設けてもよい。はみ出し監視部14の各機能については、以下に説明する操作部12、Ａ画面24およびＢ画面26とともに後述する。

図１および図２に示すように、携帯情報端末21は操作部12を含む。操作部12ははみ出し監視部14に接続されていて、はみ出し監視部14に対し、各種操作信号162を与える部位である。図２に示すように、操作部12は各種ボタンを含み、これらボタンを操作することによって、端末21の動作モードを選択したり、はみ出し監視操作を行なったりすることが可能である。ボタンのなかには、操作中、選択したモード等の対象を決定する選択決定キー26が含まれる。

図１に示すように、携帯情報端末21はデータ受信部118を含む。データ受信部118は操作部12に接続され、操作部12から通話開始信号170が供給されると、通話先から供給される相手映像の受信を開始する。データ受信部118はまた、映像データバッファ120に接続されていて、受信した相手映像を信号線168を介して映像データバッファ120に供給する。バッファ120は、相手映像を、例えばバッファ16と同様にMPEG4形式に圧縮して一時的に記録する記憶装置である。

はみ出し監視部14は、操作部12からの操作信号162により、図１に示す各種機能122、124、126、128を実施し、その他、携帯情報端末21のモード決定や、受信した自己映像をＡ画面24またはＢ画面25のいずれにも自由に表示することが可能である。はみ出し監視部14の各機能は、ハードウェアとして実現してもよいし、ソフトウェアとして実現してもよい。

携帯情報端末21には少なくとも２つのモードがあり、それらは、通常モードおよび手話モードである。通常モードとは、バッファ120に一時的に記録される相手映像をＡ画面24に表示し、カメラ22によって撮像される自己映像をＢ画面25に表示し、図示しない電話機能によって、相手との通話を可能とするモードである。手話モードとは、通話中、自己映像の被写体の、とりわけ顔を含めた上半身および手を相手が確実に確認できるるよう、被写体がカメラ22のフレームからはみ出すのを監視し、はみ出した場合にはアラームを鳴らすモードである。

操作部12を操作することによって手話モード選択信号162がはみ出し監視部14に送られると、はみ出し監視部14は手話モードとなり、初期設定機能122を実行する。初期設定機能122により、まず、表示画面の切り替えが行なわれる。すなわちはみ出し監視部14は、通常モードでＡ画面24に表示される相手映像172に代えて、カメラ22から映像データバッファ16を経て到来する自己映像をＡ画面24に表示する。

図３は、Ａ画面24のフレーム31に自己映像の被写体の手および頭部および手を含む上半身が収まって撮像された図である。初期設定機能122によれば、自己映像をＡ画面24に表示した後、同画面24に、点線にて、標準的な人の上半身の輪郭線であるポーズ輪郭線（図示しない）を点線で表示し、例えば「あなたの上半身と手を、点線に合わせてください。選択決定キーを押して３後後に自動的に初期設定を行ないます」といった表示を出す。ユーザが選択決定キー26を押すと、秒読みを開始し、初期設定を行なう。すなわち、ユーザの上半身の映像から輪郭線（以下初期輪郭線と呼ぶ）を抽出し、図３に示すように初期上半身輪郭線32と、初期手輪郭線33とを、それぞれ、Ａ画面24に表示する。輪郭線の抽出は、特許文献４に記載の方法によって行なうが、輪郭線を抽出可能な方法であればこれに限定されず、いかなる方法であっても構わない。

なお、上述のように、秒読み（タイマー126によって実現すればよい）を用いるのは、ユーザがいずれかの手でボタン操作するのと同時に輪郭線抽出をすると、ボタン操作している手の輪郭線が抽出できないからである。また、上半身および両手の輪郭線が抽出が可能であれば、いかなる手順で抽出を行なってもよい。例えば、上半身の輪郭線と両手の輪郭線とを、別々の工程で抽出してもよい。

また、本実施例では、手話に着目しているため、顔を含めた上半身および手の輪郭線を重視しているが、手がフレーム内に収まっていれば手話は可能であるから、上半身の輪郭線は抽出しなくてもよい。さらに、フレームに収めるべき被写体の身体の一部は上半身や手に限らなくてもよく、身体の他の部位を確実にフレームに収めるよう本実施例を改変することも容易に可能である。

初期設定にて初期上半身輪郭線32および初期手輪郭線33を抽出し、図３に示すようにＡ画面24に表示した後は、例えば「よろしいですか？」というメッセージを同画面24に表示する。ユーザがやり直しを指示する操作をすると押すと再度「あなたの上半身と手を・・」のメッセージ表示に戻る。

表示された初期輪郭線32、33についてユーザがＯＫを表す選択決定キー26を押すと、さらに初期設定機能122は、初期輪郭線32、33の合計の長さＬを算出し、保存する。そして、図３に示すようにＡ画面24に表示され、初期上半身輪郭線32および初期手輪郭線33が表示されていた自己映像153を、Ｂ画面25に切り替えて表示する。その後はＢ画面25に自己映像がリアルタイムに表示されることとなり、Ｂ画面25には、抽出した初期輪郭線32、33を点線表示しておいてもよいし、表示しなくてもよい。このように自己映像がＡ画面24からＢ画面25に切り替えて表示されることによって、初期設定が完了したことをユーザに知らせればよい。また、点滅信号152または153をＢ画面25またはＡ画面24に送り、いずれかの画面の枠を点滅させたり、画面全体を点滅させたり、あるいは図示しないスピーカから音を流したり、メッセージをいずれかの画面に表示させたりすることで、初期設定完了をユーザに知らせてもよい。一方、初期設定完了後は、はみ出し監視部14は、通常モード時と同様に、Ａ画面24に相手映像を表示する。

はみ出し監視部14は、初期設定が完了すると、それ自体が有するはみ出し判定機能124、タイマー126およびアラーム機能128を用いて、被写体のはみ出し監視を開始する。すなわち、映像データバッファ16から取得する自己映像152の被写体がフレームからはみ出していないか否かの監視を開始する。

はみ出し判定機能124は、映像データバッファ16に一時的に保存される映像データ152を、所定のフレーム間隔で取得し、初期設定機能122と同様の方法で映像データ152から上半身輪郭線および手輪郭線を抽出する。図４は、自己映像の被写体の上半身の一部がＢ画面25のフレーム37からはみ出している図である。抽出した輪郭線は、図４のように自己映像が表示されているＢ画面25に表示してもよいし、表示しなくてもよい。はみ出し判定機能124は、Ｂ画面25、例えば図４におけるＢ画面25のフレーム37内で抽出された上半身輪郭線34および手輪郭線36の合計の長さＬ’を算出する。なお図４の場合、手輪郭線36は全くフレーム37内に表示されていないため、長さはゼロに等しい。

はみ出し判定機能124によって、長さＬ’が初期輪郭線の長さＬの半分以下であることが分かった場合、はみ出し監視部14はタイマー126を起動する。タイマー126には所定の時間が予め設定されている。はみ出し判定機能124は、タイマー起動後もはみ出し判定を継続する。すなわち、映像データバッファ16に到来する自己映像を、所定のフレーム間隔で抜き出し、輪郭線を抽出して長さＬ’を求め、初期輪郭線の長さＬとの比較を継続する。仮に長さＬ’が長さＬの半分より大きくなった場合には、はみ出し監視部14はタイマー126をリセットし、所定の時間の計測を再開させる。一方、長さＬ’が長さＬの半分以下のまま所定の時間が経過した場合、はみ出し監視部14は、ユーザにはみ出しが生じていることを伝えるため、アラーム機能128を実行する。

図１に示すように、はみ出し監視部14はアラーム機能128を有する。このアラーム機能は、図示しないスピーカから警告音やビープ音を発生させてユーザにはみ出していることを伝える機能でよい。その他、Ａ画面24またはＢ画面25に、はみ出していることを伝えるメッセージを表示したり、Ｂ画面25の枠を点滅させたりしてはみ出しを警告してもよい。はみ出し判定機能124は、アラーム機能128が実行されても、はみ出し判定を継続する。その結果、長さＬ’がＬの半分より大きくなれば、アラーム機能128は停止され、タイマー126もリセットされる。このように、はみ出し監視部14は、操作部12からの操作信号162により手話モードが終了しない限り、判定機能124の実行を継続する。

なお、タイマー126はなくてもよく、その場合はみ出し判定機能124は、抽出した輪郭線および手輪郭線の合計の長さＬ’が、初期輪郭線の合計長さＬの半分以下である場合に、ただちにアラーム機能128を実行すればよい。

以上のように構成された本発明の実施例の動作を、以下、説明する。図５および図６は、図１に示す本発明による撮像装置の実施例である携帯情報端末の動作を示すフローチャートである。ステップS400において、ユーザは操作部12が有する選択決定キー26を用いて手話モードを選択する。するとＡ画面24に自己映像およびポーズ輪郭線が表示されるため、ユーザはポーズ輪郭線を参照して、カメラフレームに自らの上半身が収まるよう自己の位置を調整し、選択決定キー26を押す。

選択決定キー26が押されて秒読みが終了するのと同時に、ステップS402に示すように、はみ出し監視部14は、初期設定機能122を実行し、初期設定を行なう。初期設定機能122は、映像データバッファ16から自己映像データ152を取得し、初期輪郭線32、33を抽出し、これをＡ画面24に表示する。ユーザが初期輪郭線を採用すると、初期設定機能122は、初期輪郭線32、33の合計の長さＬを算出し、はみ出し監視部14は値Ｌを保存する。

はみ出し監視部14は、次に、ステップS404に示すように、自己映像をＢ画面25に切り替えて表示し、ユーザに初期設定の完了を知らせる。これと実質的に同時に、携帯情報端末21は、相手端末との通話を開始し、相手映像はＡ画面24に表示される。はみ出し監視部14は、ステップS406に示すように、はみ出し判定機能124を実行する。はみ出し判定機能124は、映像データバッファ16に一時的に保存されている自己映像データ152から、初期設定機能122と同様の方法で、上半身輪郭線34および手輪郭線36を抽出する。はみ出し判定機能124は、抽出した上半身輪郭線34および手輪郭線36の合計の長さＬ’を算出する。

ステップS406において、はみ出し判定機能124が算出した長さＬ’がはみ出し監視部14の保存する値Ｌの半分以下である場合、ステップS408に進む。はみ出し判定機能124が算出したＬ’の長さが、値Ｌの半分より大きい場合、ステップS410に進む。

ステップS408において、はみ出し判定機能124はタイマー126を起動させる。ステップS412において、はみ出し判定機能124は、タイマー126が起動してから所定の時間が経過したか否かを判定する。タイマー126に設定された時間経過している場合、はみ出していることをユーザに伝えるため、ステップS414に進んでアラーム機能を実行し、ユーザに、はみ出しが生じていることを知らせる。そして、再びステップS406に進み、監視を継続する。

ステップS412において、設定された所定の時間が経過していない場合は、ステップS416に進み、はみ出し判定機能124によって、はみ出しが依然として生じているか否かを確認する。はみ出し判定機能124は自己映像データ152から改めて輪郭線を抽出し、その合計の長さＬ’を算出する。Ｌ’がはみ出し監視部16の保存するＬの半分以下であり、はみ出している場合は、タイマーは計時を継続し、ステップS412に進む。長さＬ’が長さＬの半分より大きい場合は、ユーザが自ら気付いてはみ出しを解消したとみなし、ステップS418に進み、タイマーをリセットし、ステップS406に進み、監視を継続する。

ステップS410において、はみ出し監視部16に手話モード終了信号162が供給されている場合、手話モードは終了し、「エンド」に進み、はみ出し監視を終了する。はみ出し監視部16に手話モード終了信号162が供給されていない場合は、ステップS406に戻り、引き続きはみ出し監視を継続する。

以上、本発明の実施例を携帯テレビ電話を用いて説明した。本発明は、被写体の動画映像を撮像し、動画からフレームごとに被写体の輪郭線を抽出し、基準となるフレームの輪郭線の長さと、その他のフレームにおける輪郭線の長さとを比較し、所定の値以上の差がある場合に、フレームから被写体がはみ出ていると判定することを特徴としている。なお本発明は静止画像の撮像手段に適用してよいことは言うまでもない。すなわち、複数の静止画像フレームを撮像する場合、あるフレームと他のフレームとを比較して、被写体がはみ出ているフレームを検出することができる。

また、本発明では、初期輪郭線の長さの半分を、はみ出しが生じているか否かの閾値としているが、この閾値は、自由に変更してよいことは言うまでもない。さらに、本発明では、輪郭線の長さをはみ出しの判定に利用しているが、被写体がフレーム中で占めている面積その他の基準を用いて、はみ出しを監視してもよい。

本発明による撮像装置の実施例である携帯情報端末のブロック図である。図１に示す携帯情報端末の外観図である。フレームに収まっている被写体の上半身の輪郭線を示す図である。フレームから被写体の上半身の一部がはみ出していることを示す図である。図１に示す携帯情報端末の動作を示すフローチャートの前半である。図１に示す携帯情報端末の動作を示すフローチャートの後半である。

符号の説明

12 操作部
14 はみ出し監視部
16、120 映像データバッファ
21 携帯情報端末
22 カメラ
24 Ａ画面
25 Ｂ画面
114 データ送信部
118 データ受信部
122 初期設定機能
124 はみ出し判定機能
126 タイマー
128 アラーム機能

Claims

被写体のうち所定の画面フレームに含まれる部分の輪郭線を抽出する輪郭線抽出手段と、
該抽出された輪郭線の長さを測定する測定手段と、
該測定された輪郭線の長さを所定の閾値と比較し、該比較の結果に基づき、前記被写体が前記画面フレームからはみ出しているか否かを判定する判定手段と、
該判定の結果、はみ出していると判定された場合に、警告を発する警告手段とを含むことを特徴とする撮像装置。
請求項１に記載の撮像装置において、該装置はさらに、
前記判定手段によって前記輪郭線の長さが所定の閾値より短いと判定された場合に計時を開始する計時手段を含み、
前記判定手段は、前記計時手段によって計時される所定の時間、前記輪郭線の長さが所定の閾値より短い状態が継続すると、前記被写体が前記画面フレームからはみ出していると判定することを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、前記閾値は、前記輪郭線抽出手段によって過去に抽出された前記被写体の輪郭線の長さの半分の値であることを特徴とする撮像装置。