JP2013016933A - 端末装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】撮像した画像に対し、状況に応じた適切な補正を行って出力することのできる端末装置、撮像方法およびプログラムを提供する。
【解決手段】カメラで撮像した画像を取得し（Ｓ１０）、顔、ホワイトボード、特定対象物の検出を行う（Ｓ１２）。また、顔、ホワイトボード、特定対象物の順に高い優先順位を設定する。ホワイトボードの状態に変化があれば（Ｓ２６：ＹＥＳ）、ホワイトボードの優先順位を高順位に設定する（Ｓ２８）。特定対象物がズームされたら（Ｓ３０：ＹＥＳ）、特定対象物の優先順位を高順位に設定する（Ｓ３２）。優先順位が最上位の対象物に応じた補正方法を決定し、その補正方法で画像の補正を行い（Ｓ３４）、他の拠点に送信する（Ｓ３６）。
【選択図】図３

Description

本発明は、撮像した画像を補正して出力することのできる端末装置、撮像方法およびプログラムに関する。

撮像した画像のデータと集音した音声のデータを他の拠点との間で送受信し、互いの拠点に置かれたモニタに画像を表示し、スピーカで音声を再生することで、遠隔地間での会議を実現できる端末装置が知られている。このような端末装置のカメラを設置する位置や撮像する角度によっては、撮像した画像に映る会議の参加者の顔に、遠近感が強調された歪みを生ずる場合があった。そこで、カメラと被写体との距離や撮像角度を計測し、距離や撮像角度に応じて画像を補正することのできる端末装置が提案されている（例えば特許文献１参照）。

特開２０００−１０１９８２号公報

しかしながら、特許文献１に記載の発明は、画像の補正の方法が被写体である参加者とカメラとの距離や撮像角度によって一義的に決められる。このため、画像内に映る参加者以外の撮像対象（例えばホワイトボード）に対しても、参加者の歪みの補正と同じ方法の補正が適用される。すると補正後の画像では、参加者以外の撮像対象の歪みがより強調されたり、補正が不十分になったりして、撮像対象を識別しにくくなる場合があった。

本発明は、上記問題点を解決するためになされたものであり、撮像した画像に対し、状況に応じた適切な補正を行って出力することのできる端末装置、撮像方法およびプログラムを提供することを目的とする。

本発明の第１態様によれば、撮像手段によって撮像された画像を取得する第一取得手段と、前記撮像手段の撮像方向の情報および前記撮像手段と撮像対象との距離の情報を含む撮像情報を取得する第二取得手段と、前記第一取得手段によって取得された前記画像から所定の対象物を抽出する抽出手段と、前記抽出手段によって１以上の前記対象物が抽出された場合において、抽出された前記１以上の対象物のうち、対象物に応じて設定された優先順位が最上位の優先対象物と、前記第二取得手段によって取得された前記撮像情報とに基づいて、前記優先対象物に応じて前記画像の補正方法を決定する決定手段と、前記決定手段によって決定された前記補正方法に従って前記画像の補正を行う補正手段と、前記補正手段によって補正された前記画像を画像データとして出力する出力手段と、を備える端末装置が提供される。

第１態様に係る端末装置は、画像から抽出した対象物のうち優先順位が最上位の対象物に応じて画像の補正方法を決定することができる。したがって、端末装置は、状況に応じて対象物の優先順位を適宜変更すれば、状況に応じた適切な補正方法を決定でき、画像の出力先でその画像を鑑賞する人が、補正された画像に映る撮像対象の認識や識別を確実に行うことができる。また、画像の補正が状況に不適切な補正方法によって行われることがないので、状況に対し不自然な補正がなされた画像を端末装置が出力することがなく、画像の出力先でその画像を鑑賞する人が画像に違和感を覚えにくい。

第１態様において、前記抽出手段によって抽出された前記優先対象物が人物の顔である場合、前記決定手段は、前記顔の領域の歪みが最小になるように補正する顔補正を、前記補正方法として決定してもよい。端末装置が顔補正によって画像に映る人物の顔の歪みを優先して補正すれば、画像の出力先でその画像を鑑賞する人が画像に違和感を覚えにくい。

第１態様において、前記抽出手段によって抽出された前記優先対象物の輪郭線が略四角形であり、且つ、前記輪郭線を構成する４辺のうちの２辺が略平行な辺である場合、前記決定手段は、前記優先対象物の前記輪郭線を前記略四角形よりも直角四辺形に近づけるように補正する矩形補正を、前記補正方法として決定してもよい。端末装置が矩形補正によって優先対象物の輪郭線が直角四角形に近づくように補正することで、画像の出力先でその画像を鑑賞する人が、優先対象物の認識や識別を行いやすい。

第１態様において、前記撮像情報には前記撮像手段の画角の情報が含まれており、前記撮像手段が前記画像を撮像した際に、前記第二取得手段が取得した前記画角の情報に変化があり、且つ、前記抽出手段が、前記画角の変更前に抽出した前記１以上の対象物のうちのいずれか１つの対象物を、前記画角の変更後の前記画像からも抽出した場合、前記決定手段は、前記抽出した対象物を前記優先対象物に設定するとともに、前記画像内における前記優先対象物を前記撮像情報に基づいて補正する対象物補正を、前記補正方法として決定してもよい。

画像の出力先でその画像を鑑賞する人の注目を１つの対象物に対して集めたい場合には、画像内で注目を集めたい対象物が拡大表示されるように撮像手段の画角を変更するとよい。よって、画角の変更があった場合に、端末装置が、画角の変更後に抽出された対象物の補正を対象物補正によって行えば、画像の出力先でその画像を鑑賞する人が、抽出された対象物の認識や識別を行いやすい。

第１態様において、前記補正手段は、前記抽出手段によって抽出された前記１以上の対象物に人物の顔が含まれる場合に、その人物の顔が、補正後の前記画像に含まれるように補正の強度を調整し、前記画像の補正を行ってもよい。優先対象物の補正を行う上で、補正の強度を調整し、補正後の画像において人物の顔が画像外にはみ出さないようにすることで、画像の出力先でその画像を鑑賞する人が、画像内に映る人物の存在を常に把握することができる。

第１態様において、前記抽出手段の抽出する前記１以上の対象物は、少なくとも、人物の顔と、ホワイトボードと、前記人物の顔および前記ホワイトボードとは独立に閉じた輪郭線を有する特定対象物とのうちのいずれかを含み、前記人物の顔、前記ホワイトボード、前記特定対象物の順に高い優先順位があらかじめ設定されていてもよい。

ホワイトボードや特定対象物は常に注目されなくともよいので、その補正は状況に応じて行えば足りる。よって、ホワイトボードや特定対象物の補正が必要とされる状況にない場合に端末装置が人物の顔の歪みを優先して補正することで、画像の出力先でその画像を鑑賞する人が画像に違和感を覚えにくい。

第１態様において、前記抽出手段が前記ホワイトボードを抽出した後に、再度、前記ホワイトボードを抽出し、今回抽出した前記ホワイトボードの状態と、前回抽出したときの前記ホワイトボードの状態との間に変化がある場合、前記決定手段は、前記ホワイトボードを前記優先対象物に設定するとともに、前記撮像情報に基づいて、前記画像の補正方法を決定してもよい。

ホワイトボードの補正を、例えばホワイトボードに書き込みがなされた場合など、状態に変化があった場合に端末装置が行うことで、画像の出力先でその画像を鑑賞する人が、ホワイトボードに書かれた文字や画像の認識や識別を行いやすい。

第１態様に係る端末装置は、他の端末装置との間で前記画像データ、および前記抽出手段によって抽出された前記１以上の対象物のうちのいずれか１つの対象物を指定対象物として指定する情報を送受信する送受信手段をさらに備えてもよい。この場合、前記送受信手段を介し、前記他の端末装置から前記指定対象物を指定する情報を受信した場合に、前記決定手段は、前記指定対象物を前記優先対象物に設定するとともに、前記撮像情報に基づいて、前記画像の補正方法を決定してもよい。

端末装置が、他の端末装置において指定された指定対象物を優先的に補正した画像を前記他の端末装置に出力することで、前記他の端末装置でその画像を鑑賞する人は、注目したい対象物の歪みが優先的に補正された画像を得ることができ、対象物の認識や識別を行いやすい。

本発明の第２態様によれば、撮像手段によって撮像された画像の画像データを出力する端末装置を機能させるため、コンピュータにおいて実行される撮像方法であって、前記撮像手段によって撮像された前記画像を取得する第一取得ステップと、前記撮像手段の撮像方向の情報および前記撮像手段と撮像対象との距離の情報を含む撮像情報を取得する第二取得ステップと、前記第一取得ステップにおいて取得された前記画像から所定の対象物を抽出する抽出ステップと、前記抽出ステップにおいて１以上の前記対象物が抽出された場合において、抽出された前記１以上の対象物のうち、対象物に応じて設定された優先順位が最上位の優先対象物と、前記第二取得ステップにおいて取得された前記撮像情報とに基づいて、前記優先対象物に応じて前記画像の補正方法を決定する決定ステップと、前記決定ステップにおいて決定された前記補正方法に従って前記画像の補正を行う補正ステップと、前記補正ステップにおいて補正された前記画像を前記画像データとして出力する出力ステップと、を含む撮像方法が提供される。

本発明の第３態様によれば、撮像手段によって撮像された画像の画像データを出力する端末装置として機能させるためのプログラムであって、コンピュータに、前記撮像手段によって撮像された前記画像を取得する第一取得ステップと、前記撮像手段の撮像方向の情報および前記撮像手段と撮像対象との距離の情報を含む撮像情報を取得する第二取得ステップと、前記第一取得ステップにおいて取得された前記画像から所定の対象物を抽出する抽出ステップと、前記抽出ステップにおいて１以上の前記対象物が抽出された場合において、抽出された前記１以上の対象物のうち、対象物に応じて設定された優先順位が最上位の優先対象物と、前記第二取得ステップにおいて取得された前記撮像情報とに基づいて、前記優先対象物に応じて前記画像の補正方法を決定する決定ステップと、前記決定ステップにおいて決定された前記補正方法に従って前記画像の補正を行う補正ステップと、前記補正ステップにおいて補正された前記画像を前記画像データとして出力する出力ステップと、を実行させるプログラムが提供される。

第２態様に係る撮像方法に従う処理を端末装置のコンピュータで実行することによって、あるいは、第３態様に係るプログラムを実行してコンピュータを端末装置として機能させることで、第１態様と同様の効果を得ることができる。

会議端末１を用いて構築されるビデオ会議システム１００を示す図である。 会議端末１の電気的構成を示すブロック図である。 会議端末１で実行されるビデオ会議処理のプログラムのフローチャートである。 カメラ３３によって撮像された画像Ｐ１を示す図である。 顔補正により画像Ｐ１を補正した画像Ｐ２を示す図である。 矩形補正により画像Ｐ１を補正した画像Ｐ３を示す図である。 対象物補正により画像Ｐ１を補正した画像Ｐ４を示す図である。 指定対象物として指定された資料４３に応じた対象物補正により画像Ｐ１を補正した画像Ｐ５を示す図である。 見上げる角度で撮像された画像Ｐ６に映る資料４３を任意指定による補正方法で補正した画像Ｐ７を示す図である。

以下、本発明に係る端末装置を具現化した一実施の形態である会議端末１について、図面を参照して説明する。なお、参照される図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、単なる説明例である。

まず、図１を参照して、会議端末１の概略構成について説明する。図１に示す、本実施の形態の会議端末１は公知のパーソナルコンピュータ（以下、「ＰＣ」という。）を用いて構成したビデオ会議用の端末装置である。遠隔会議を行う複数の拠点にそれぞれ配置した会議端末１を、インターネット等のネットワーク８を介して互いに接続し、ビデオ会議システム１００を構築する。図１では、２箇所の拠点Ａ，Ｂにそれぞれ配置した２台の会議端末１が図示されるが、拠点の数や会議端末１の数は３つ以上であってもよい。

ビデオ会議システム１００は、画像および音声を用いた遠隔会議を実行するためのシステムである。各会議端末１には、それぞれマイク３１、スピーカ３２、カメラ３３、表示装置３４および操作部３５が接続されている。会議端末１は、カメラ３３で撮像した画像のデータと、マイク３１で集音した音声のデータを、他の拠点の会議端末１に送信する。また、会議端末１は、他の拠点の会議端末１から受信したデータに基づいて、他の拠点の画像を表示装置３４に表示し、他の拠点の音声をスピーカ３２から出力する。その結果、複数の拠点それぞれにおいて撮像された画像と集音された音声とが、ビデオ会議システム１００内で共有される。よって、ビデオ会議システム１００によると、全ての会議参加者（ユーザ）が同一の拠点にいない場合でも、参加者は円滑に会議を実行することができる。１つの拠点にいる参加者は１人でもよいし、複数人でもよい。

なお、本発明における会議端末１は、必ずしもＰＣを用いた装置でなくともよい。例えば、ビデオ会議専用の端末装置を用意して各拠点に配置し、ネットワーク８を介して接続することでビデオ会議システム１００を構築してもよい。また、本発明は、ピア・ツー・ピア型の通信システム、およびサーバ・クライアント型の通信システムのいずれにも適用できる。ピア・ツー・ピア型の通信システムでは、複数の会議端末１間でデータが直接送受信される。サーバ・クライアント型の通信システムでは、システム内の通信を制御するサーバ（図示せず）を介してデータが送受信される。

次に、図２を参照し、会議端末１の電気的構成について説明する。会議端末１は、会議端末１の制御を司るＣＰＵ１０を備える。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インタフェイス（Ｉ／Ｆ）１９が、バス１８を介して接続されている。

ＲＯＭ１１は、会議端末１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は各種情報を一時的に記憶する。ＨＤＤ１３は不揮発性の記憶装置である。ＨＤＤ１３は、後述するビデオ会議処理（図３参照）を実行させるためのプログラム、処理に必要な設定情報、データ、テーブル等を記憶する。ＨＤＤ１３の代わりにＥＥＰＲＯＭやフラッシュメモリ等の記憶装置を用いてもよい。

入出力インタフェイス１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像出力処理部２４、操作入力処理部２５、および外部通信インタフェイス（Ｉ／Ｆ）２６が接続されている。音声入力処理部２１は、音声を集音（入力）するマイク３１からの音声信号を処理して音声データを生成する。音声出力処理部２２は、音声データを処理してスピーカ３２から音声を発生（出力）させる。映像入力処理部２３は、画像を撮像するカメラ３３からの画像信号を処理して画像データを生成する。映像出力処理部２４は、画像データを処理して表示装置３４に画像を表示させる。操作入力処理部２５は、キーボード、マウス等の操作部３５を用いてユーザが入力する操作の指示信号を処理する。外部通信Ｉ／Ｆ２６は、会議端末１をネットワーク８に接続する。

カメラ３３は、例えばＣＭＯＳやＣＣＤなどのイメージセンサを搭載した単焦点デジタルカメラである。本実施の形態のカメラ３３は、撮像方向を水平方向および上下方向に変更するパン・チルト機能と、撮像対象を拡大表示するズーム機能と、撮像対象にピントを合わせるオートフォーカス機能とを有する。

カメラ３３のパン・チルト機能は、図示しないモータの駆動によって実現される。カメラ３３は、会議端末１からの指示信号に応じて、撮像方向を水平方向に回転（パン）させ、上下方向に変更（チルト）させる。また、カメラ３３は、撮像方向の情報（原点に対する回転角度および仰角・俯角）を、会議端末１に出力する。撮像方向の情報は、後述する画像の補正に用いられる。なお、カメラ３３は、会議端末１からの指示に従って原点を基準にパン・チルトを行うので、撮像方向の情報は会議端末１が保持するものとして、カメラ３３が会議端末１に出力しない構成であってもよい。

カメラ３３のズーム機能は、いわゆるデジタルズームによって実現される。より詳細に、カメラ３３に用いられる単焦点デジタルカメラの画角は固定であり、ズームは、会議端末１からの指示信号に応じて、撮像した画像に対してトリミングと拡大処理を行う疑似的なズームによって実現される。なお、カメラ３３はズーム機能を有さずともよく、この場合、カメラ３３は撮像した画像を会議端末１に送信し、画像に対するデジタルズームの処理を会議端末１のＣＰＵ１０が行えばよい。

カメラ３３のオートフォーカス機能は、公知のコントラスト検出法によって実現される。コントラスト検出法は、イメージセンサが得た撮像画像を解析し、焦点レンズを前後に動かしながら、画像のコントラストが最も高くなるレンズ位置を探すことによって焦点を合わせる方法である。

さらに会議端末１は、カメラ３３のオートフォーカス機能を用い、画像に含まれる全ての撮像対象との距離を求めている。カメラ３３は、オートフォーカスで焦点があったときの焦点レンズの位置をアクチュエータの駆動量やエンコーダ等を用いて求める。会議端末１は、あらかじめ、焦点レンズの位置と、焦点距離（つまりカメラ３３と撮像対象との距離）との関係を求めたテーブルを保持し、カメラ３３から焦点レンズの位置の情報を取得してテーブルを参照することによって、焦点距離を求める。

本実施の形態の会議端末１では、ＣＰＵ１０が、カメラ３３で撮像した画像に対する画像解析処理を行っている。画像解析処理では、画像から、画像に映る所定の対象物、具体的には、人物の顔、ホワイトボード、および特定対象物の検出が行われる。人物の顔を検出する画像解析処理は、例えば目、鼻、口など、顔の特徴を有する部分を画像から抽出し、相対位置や大きさなどをテンプレートと比較したり、あるいは幾何学的に解析したりする公知の方法により行われる。

ホワイトボードを検出する画像解析処理は、対象物の輪郭線を抽出する処理を行って略平行な２辺を有する略四角形を識別し、さらに色彩およびコントラストからホワイトボードとして特定する公知の方法により行われる。なお、ホワイトボードを検出した場合には、ホワイトボードの輪郭線に囲まれた部分の画像（部分画像）を切り出して、ＲＡＭ１２に記憶する処理も行われる。後述するビデオ会議処理では、ホワイトボードの状態に変化があった場合に、ホワイトボードに対する補正が優先して行われる。ホワイトボードの状態の変化とは、具体的には、文字や図形が書かれたり消去されたりした場合をいう。ゆえに、ＲＡＭ１２には、最新の部分画像と、前回記憶した部分画像との２つの画像が、ホワイトボードの状態の比較のために記憶され、それ以前に記憶された画像は上書き消去される。

特定対象物を検出する画像解析処理は、会議に先立って特定対象物を撮像し、画像解析により、その特徴（輪郭線の形状や、色彩、コントラストに差のある部分など）を抽出して登録しておき、パターンマッチングによって特定する公知の方法により行われる。特定対象物とは、例えば会議の資料や製品サンプルなど、会議において遠隔地の参加者にも参照してもらう対象となる対象物である。なお、これらの画像解析処理の方法は一例に過ぎず、公知の様々な画像解析処理の方法を適用することができる。

また、本実施の形態では、カメラ３３で撮像した画像に対し、会議の状況に応じた適切な補正を行って、他の拠点の会議端末１に出力している。上記の画像解析処理では、人物の顔、ホワイトボード、および特定対象物が画像から検出されるが、それぞれには、各々に適した補正方法がある。

人物の顔を補正する顔補正の補正方法は、例えば画像内で顔と認識した部分の縦横比が正常となるように、人物の顔に生じうる歪みを正す公知の方法が適用される。人物の顔の歪みは、カメラ３３の撮像方向や焦点距離によって程度差を生ずるものである。よって、撮像方向と焦点距離がわかれば、人物の顔の歪みが最小となるように補正するために画像に対して行う補正のパラメータ（例えば、画像の伸張または圧縮の向きとその強度）を決定することができる。本実施の形態では、焦点距離と撮像方向とに基づいて、補正のパラメータを決定するテーブルがあらかじめ作成されており、プログラムとともにＲＯＭ１１に記憶されている。

ホワイトボードを補正する矩形補正の補正方法は、輪郭線と色彩およびコントラストからホワイトボードを検出し、検出した輪郭線を結んでできる四角形を、直角四辺形に近づける公知の方法（いわゆる台形補正）が適用される。例えば、平行な２辺の長さを揃えるとともに、４つの辺が形成する内角がそれぞれ９０度に近づくように、画像全体に対し伸張または圧縮を行う。

特定対象物を補正する対象物補正の補正方法は、あらかじめ撮像した特定対象物の形状に応じて適した方法が適用される。例えば、特定対象物が紙に書かれた資料等、四角形の輪郭線を検出（抽出）できる対象物である場合は、矩形補正と同様の補正方法が適用される。それ以外の形状の対象物が特定対象物である場合には、顔補正の補正方法と同様に、カメラ３３の撮像方向と焦点距離によって特定対象物を映した画像に生じうる歪みを正す公知の方法が適用される。

また、特定対象物に対する対象物補正は、カメラ３３のズームが行われ、ズーム前の画像に映る特定対象物がズーム後の画像にも映っている場合において、優先的に行われる。もっとも、ズーム前の画像には複数の特定対象物が映る場合もある。ゆえに、ズーム前の画像に映る特定対象物のうちのいずれか１つの特定対象物をズーム後の画像からも検出（抽出）した場合、検出した特定対象物に対する撮像方向と焦点距離とに基づいて、対象物補正が行われる。そのため、画像から特定対象物が検出された場合には、ＲＡＭ１２に検出された特定対象物の情報を記憶する処理も行われ、部分画像の場合と同様に、２回分の記憶が保持される。

ところで、１つの画像に対して同時に複数の補正方法は適用されない。したがって、本実施の形態では、あらかじめ、人物の顔、ホワイトボード、特定対象物の順に高い優先順位を設定している。そして、後述する会議の状況に応じて、ホワイトボードや特定対象物の優先順位が高い順位に設定される。よって、人物の顔、ホワイトボード、および特定対象物うち画像内に検出された対象物の中から、会議の状況に応じて最も高い優先順位に設定された対象物に適した補正方法が、１つの画像に対して適用される。

なお、上記の各補正方法が適用される上で、歪みの補正は画像全体に対して行われる。よって、補正において行われる画像の伸張または圧縮の際の強度（補正の強度）が強いと、画像内に映る人物の顔が画像外にはみ出してしまう場合がある。そこで、本実施の形態では、画像の補正を行う際に、画像内に人物の顔を検出している場合には補正の強度を弱くして、人物の顔が画像外にはみ出さないようにしている。顔補正や対象物補正が行われる場合は、テーブルにおいて選択された補正の強度を、より弱い強度に修正する。矩形補正が行われる場合は、輪郭線を結んでできる四角形が直角四辺形に近づくように画像全体に対して行う伸張または圧縮の強度を、より弱い強度に修正する。その結果、人物の顔、ホワイトボード、特定対象物の歪みは、歪みが最小となる最適な状態には補正されないが、補正前に検出された人物の顔が補正後にも画像内に含まれれば足りる。このように、補正の強度を変更して、補正後に画像から人物の顔がはみ出さないようにすることで、他の拠点における会議の参加者が、撮像元の拠点の参加者の存在を画像内で常に把握することができる。

次に、図３のフローチャートに従い、図４〜図９を参照しながら、ビデオ会議システム１００を用いて遠隔会議が行われる際に、会議端末１が会議の状況に応じた画像の補正を行う処理の流れについて説明する。なお、図３に示すビデオ会議処理を実行するためのプログラムはＲＯＭ１１に記憶されており、ＣＰＵ１０がプログラムに従って実行する。以下では、カメラ３３が撮像した画像に対する処理について説明を行うが、会議端末１は、マイク３１による音声の集音処理、他の拠点の会議端末１から受信した画像データの表示処理、音声データの再生処理も行っている。これらの処理については、本プログラムに並行して実行される他のプログラムにおいて処理されるものとし、説明は省略する。

また、以下の説明では、図４に示すように、拠点Ａ（図１参照）において、会議テーブル４２を５人の参加者４５〜４９が取り囲んで着席する様子をカメラ３３が見下ろす角度（俯角）で撮像した画像Ｐ１に対し、補正が行われる過程を例に説明を行う。画像Ｐ１には、会議テーブル４２の奥側に参加者４５が着席し、参加者４５の背後にホワイトボード４１が設置されている。また、会議テーブル４２には、２つの資料４３，４４が載置されている。ホワイトボード４１には「ＡＢＣ」の文字が書き込まれている。また、資料４３には「Ｈｅｌｌｏ」の文字が記載され、資料４４には「Ｗｅｌｃｏｍｅ」の文字が記載されている。なお、資料４３，４４は、会議に先立ってカメラ３３で撮像され、その特徴が画像解析により抽出されて、特定対象物として登録されている。

図３に示すように、ユーザ（参加者の一人であればよい）によって操作部３５が操作され、ビデオ会議処理のプログラムが実行されると、ＣＰＵ１０は、ネットワーク８を介して他の拠点の会議端末１との通信を開始する。通信が確立すると、ＣＰＵ１０は、映像入力処理部２３を介してカメラ３３が撮像した画像の取り込み（取得）を開始する（Ｓ１０）。また、カメラ３３がオートフォーカスによるピント合わせの際に得た焦点レンズの位置の情報と、撮像方向の情報とを取得する。

ＣＰＵ１０は、撮像した画像（ここでは図４に示す画像Ｐ１）に対する画像解析処理を行い、画像に映る対象物として、人物（参加者）の顔、ホワイトボード、および特定対象物の検出を行う（Ｓ１２）。画像Ｐ１からは、人物としての参加者４５〜４９の顔、ホワイトボード４１、特定対象物としての資料４３，４４が検出される。ＣＰＵ１０は、検出した対象物の優先順位を、上記したように、人物の顔、ホワイトボード、特定対象物の順に高い順位となるように設定し、ＲＡＭ１２に記憶する。検出した対象物に特定対象物が含まれる場合には、特定対象物の情報をＲＡＭ１２に記憶する。検出した対象物にホワイトボードが含まれる場合には、ホワイトボードの部分画像をＲＡＭ１２に記憶する。なお、ビデオ会議処理のプログラムの初回実行時には、特定対象物の情報と部分画像は、それぞれ最新分と前回分の双方の記憶領域に記憶される。

他の拠点からの要求信号（後述する指定対象物を指定する信号）を受信していない場合（Ｓ１４：ＮＯ）、以前に補正対象となる対象物が決定されてから、所定時間が経過していないか確認が行われる（Ｓ２０）。ＣＰＵ１０はカメラ３３から画像を取得するたびに補正を行うが、短い時間の間に優先順位の変動があると、その都度、補正方法も変更されてしまう場合がある。すると、例えばある参加者に注目した場合、その参加者の顔が短い時間の間に繰返し歪んだり正されたりしてしまう。ゆえに、ＣＰＵ１０は、優先順位に従って補正対象となる対象物（優先対象物）を決定したら、以後、前記所定時間が経過するまでの間、補正対象に応じた補正方法による画像の補正を継続して行っている。

初回または前記所定時間の経過後は（Ｓ２０：ＹＥＳ）、前記所定時間の計時が再スタートされ、次いで、ＲＡＭ１２に記憶された最新の部分画像と前回の部分画像とを比較する処理が行われる（Ｓ２４）。２つの部分画像に違いがあり、ホワイトボードの状態に変化があれば、その旨を記録するフラグが立てられる。また、カメラ３３にズームが行われた場合には、ＲＡＭ１２に記憶された特定対象物の情報から、ズーム前とズーム後との双方において画像から検出された特定対象物があるか否かが確認される。特定対象物があれば、その旨を記録するフラグが立てられる。

ホワイトボードの状態に変化があることを示すフラグが非成立で（Ｓ２６：ＮＯ）、特定対象物があることを示すフラグが非成立ならば（Ｓ３０：ＮＯ）、ＣＰＵ１０は、Ｓ１２で設定した優先順位に従い、優先順位が最上位の対象物である優先対象物を補正対象に決定し、その補正対象に応じた補正方法の適用を決定する。そして、決定した補正方法に従って画像の補正を行う（Ｓ３４）。

図４に示す画像Ｐ１に対するＳ１２の画像解析処理では、参加者４５〜４９の顔が優先対象物に設定されている。したがってＣＰＵ１０は、参加者４５〜４９の顔を補正対象に決定し、画像Ｐ１の補正方法として顔補正を設定する。また、Ｓ１０においてカメラ３３から取得した焦点レンズの位置の情報に基づき、テーブルの参照によって焦点距離を求める。さらに、Ｓ１０においてカメラ３３から取得した撮像方向の情報と、求めた焦点距離とに基づき、テーブル参照によって、画像Ｐ１に対して行う顔補正のパラメータを決定する。

画像Ｐ１は見下ろしの角度で撮像されており、参加者４５〜４９の顔は、頭頂部側が顎部側よりも大きく歪んだ状態で映っている。図５に示すように、ＣＰＵ１０は、画像Ｐ１に対して上記パラメータを適用した顔補正を行って、頭頂部側を顎部側よりも大きく圧縮して顔の歪みを正した画像Ｐ２を得る。顔補正が画像Ｐ１の全体に施されるため、補正後の画像Ｐ２によれば、参加者４５〜４９と同じように直立した状態にあるホワイトボード４１の歪みも若干修正される。会議テーブル４２の卓上（水平面上）に載置された資料４３，４４は、補正前よりも画像奥側の歪みが大きくなってしまう。しかし、参加者４５〜４９の顔は、歪みのない、本来の顔に近い状態に正され、他の拠点の参加者が画像Ｐ２を見ても人物に対する違和感を覚えにくい。

このように、顔補正によって参加者４５〜４９の顔の歪みが正された画像Ｐ２が、ネットワーク８を介して他拠点の会議端末１に送信され（Ｓ３６）、表示装置３４に表示される。その後、処理はＳ１０に戻る。次の撮像した画像が取得され（Ｓ１０）、画像に映る対象物が検出され（Ｓ１２）、要求信号を受信しておらず（Ｓ１４：ＮＯ）、補正対象の決定から前記所定時間が経過する前は（Ｓ２０：ＮＯ）、Ｓ２２の処理が行われる。Ｓ２２において、ＣＰＵ１０は、前回、補正対象に決定した参加者４５〜４９の顔をそのまま補正対象とするため、最上位の優先順位に設定する（Ｓ２２）。そしてＳ３４の処理を行い、画像に対して顔補正を行って（Ｓ３４）、他拠点の会議端末１に送信し（Ｓ３６）、Ｓ１０に戻る。

このように、前記所定時間が経過するまでは、カメラ３３の撮像した画像に対して顔補正が行われる。そして前記所定時間が経過したら（Ｓ２０：ＹＥＳ）、新たな補正対象の決定が行われる。上記したＳ２４で前回と最新の部分画像を比較してホワイトボードの状態に変化があることを示すフラグを成立させた場合（Ｓ２６：ＹＥＳ）、ＣＰＵ１０は、ホワイトボードを補正対象とするため、ホワイトボードの優先順位を最上位に設定する（Ｓ２８）。

例えば、前回、図４に示す画像Ｐ１を取得した後、ホワイトボード４１に文字が追加され、状態に変化があった場合、ＣＰＵ１０は、最新の画像に対して矩形補正を行う。図６に示すように、ＣＰＵ１０は、上辺側が下辺側よりも大きく歪んだホワイトボード４１の上辺を圧縮して下辺と同程度の長さとなるように補正を行い、ホワイトボード４１の歪みを正した画像Ｐ３を得る（Ｓ３４）。矩形補正が画像Ｐ１の全体に施されるため、補正後の画像Ｐ３によれば、参加者４５〜４９の顔の歪みが正しい状態よりも圧縮された状態となってしまう。また、会議テーブル４２の卓上に載置された資料４３，４４は、画像奥側の歪みがさらに大きくなってしまう。しかし、ホワイトボード４１に書かれた文字は歪みが正され、他の拠点の参加者が画像Ｐ３を見た場合に識別しやすくなる（Ｓ３６）。その後、処理はＳ１０に戻る。

また、カメラ３３のズームが行われ、上記したＳ２４で特定対象物を検出しフラグを成立させた場合（Ｓ３０：ＹＥＳ）、ＣＰＵ１０は、特定対象物を補正対象とするため、特定対象物の優先順位を最上位に設定する（Ｓ３２）。

例えば、前回、図４に示す画像Ｐ１を取得した後、カメラ３３がズームされ、ＣＰＵ１０が、ズーム前の画像Ｐ１と、ズーム後の最新の画像との双方から検出できる特定対象物としてＳ２４で資料４３を検出する。ズームによって拡大された資料４３は、四角形の輪郭線を検出できる対象物であり、ＣＰＵ１０は、資料４３に対し、対象物補正として矩形補正と同様の補正を行う。図７に示すように、ＣＰＵ１０は、下辺側が上辺側よりも大きく歪んだ資料４３の下辺を圧縮して上辺と同程度の長さとなるように補正を行い、資料４３の歪みを正した画像Ｐ４を得る（Ｓ３４）。対象物補正が画像Ｐ１の全体に施されるが、補正後の画像Ｐ４は、資料４３をズームした画像であるので、参加者４５〜４９の顔やホワイトボード４１は映っていない。資料４３に書かれた文字は歪みが正され、他の拠点の参加者が画像Ｐ４を見た場合に識別しやすくなる（Ｓ３６）。その後、処理はＳ１０に戻る。

ところで、本実施の形態の会議端末１は、他の拠点の会議端末１から受信した画像を表示装置３４に表示する。その際に、参加者が操作部３５を操作して、表示された画像から、画像解析処理によって抽出された対象物のうちの１つを指定対象物として指定することができる。そして、画像の送信元の会議端末１に、指定対象物を指定する信号（要求信号）を送信し、指定対象物として指定した対象物を補正対象にして補正した画像を作成するように要求することができる。

会議端末１が、他の拠点から要求信号を受信した場合（Ｓ１４：ＹＥＳ）、同時に複数の拠点から要求信号を受信する場合もあり、ＣＰＵ１０は、受信した要求信号について集計を行う（Ｓ４０）。各拠点が指定する指定対象物は様々であり、ＣＰＵ１０は、集計の結果、指定された数が最も多かった指定対象物が１つであれば（Ｓ４０：ＮＯ）、その指定対象物を補正対象の候補に決定する（Ｓ４２）。一方、集計の結果、指定された数が最も多かった指定対象物が２つ以上あった場合（Ｓ４０：ＹＥＳ）、ＣＰＵ１０は、優先順位の高い拠点によって指定された指定対象物を補正対象の候補に決定する（Ｓ４４）。なお、各拠点の優先順位はあらかじめ設定されている。

そしてＣＰＵ１０は、補正対象の候補として決定した対象物を伝える信号を、各拠点の会議端末１に対してそれぞれ送信する（Ｓ４６）。ここで、ＣＰＵ１０は、前回、すなわち要求信号の受信前に行われた上記一連の処理で補正対象に決定していた対象物と、今回、補正対象の候補として決定した対象とが同じ場合は（Ｓ４８：ＮＯ）、前回の補正対象の対象物を今回も補正対象とするため、最も高い優先順位に設定する。前回の補正対象の対象物と、今回、補正対象の候補に決定した対象とが異なる場合（Ｓ４８：ＹＥＳ）、ＣＰＵ１０は、今回の補正対象の候補に決定した対象物を今回の補正対象にするため、最も高い優先順位を設定する（Ｓ５０）。

ＣＰＵ１０は、最も高い優先順位に設定された対象物を補正対象に決定し、その補正対象に応じた補正方法の適用を決定する。そして、Ｓ３４の処理と同様に、決定した補正方法に従って画像の補正を行う（Ｓ５２）。なお、要求信号に基づく補正対象の補正は、前記所定時間が経過する前であっても行われる。

例えば、前回、図４に示す画像Ｐ１を取得した後、他の拠点から要求信号を受信し、資料４３が補正対象に決定された場合、カメラ３３のズームが行われなくとも特定対象物である資料４３に対応する補正が行われる。画像解析処理によって資料４３は四角形の輪郭線を検出できる対象物として検出されており、ＣＰＵ１０は、資料４３に対しする対象物補正として矩形補正と同様の補正を行う。

図８に示すように、ＣＰＵ１０は、下辺側が上辺側よりも大きく歪んだ資料４３の上辺を伸張して下辺と同程度の長さとなるように補正を行い、資料４３の歪みを正した画像Ｐ５を得る。対象物補正が画像Ｐ１の全体に施され、補正後の画像Ｐ５は、参加者４５〜４９の顔やホワイトボード４１も伸張されて、歪みが大きくなっている。しかし、指定対象物として多くの拠点（あるいは優先順位の高い拠点）から指定された資料４３に書かれた文字は歪みが正され、他の拠点の参加者が画像Ｐ５を見た場合に識別しやすくなる。

画像の補正後、ＣＰＵ１０は、Ｓ３６の処理と同様に、補正した画像を、ネットワーク８を介して他拠点の会議端末１に送信し（Ｓ５４）、Ｓ１０に戻る。

以上説明したように、本実施の形態の会議端末１は、画像から抽出した対象物のうち優先順位が最上位の対象物に応じて画像の補正方法を決定することができる。したがって、会議端末１のＣＰＵ１０は、状況に応じて対象物の優先順位を適宜変更すれば、状況に応じた適切な補正方法を決定できるので、補正された画像をみる他の拠点の参加者が、画像に映る撮像対象の認識や識別を確実に行うことができる。また、画像の補正が状況に不適切な補正方法によって行われることがないので、状況に対し不自然な補正がなされた画像を会議端末１が出力することがなく、他の拠点の参加者が画像を見た場合に、画像に違和感を覚えにくい。

ＣＰＵ１０が顔補正によって画像に映る人物の顔の歪みを優先して補正すれば、他の拠点の参加者が画像を見た場合に、画像に違和感を覚えにくい。また、ＣＰＵ１０が矩形補正によって優先対象物の輪郭線が直角四角形に近づくように補正することで、他の拠点の参加者が画像を見た場合に、優先対象物の認識や識別を行いやすい。

他の拠点の参加者の注目を特定対象物（資料４３）に集めたい場合には、画像内で資料４３が拡大表示されるようにカメラ３３のズームを行うとよい。よって、ズームが行われた場合に、ＣＰＵ１０が対象物補正によって資料４３の補正を行えば、他の拠点の参加者が画像を見た場合に、資料４３に記載された文字等の認識や識別を行いやすい。

優先対象物の補正を行う上で補正の強度を調整し、補正後の画像において参加者４５〜４９の顔が画像外にはみ出さないようにすることで、他の拠点の参加者が画像を見た場合に、画像内に映る参加者４５〜４９の存在を常に把握することができる。

ホワイトボード４１や特定対象物（資料４３，４４）は常に注目されなくともよいので、その補正は状況に応じて行えば足りる。よって、ホワイトボード４１や資料４３，４４の補正が必要とされる状況にない場合にＣＰＵ１０が参加者４５〜４９の顔の歪みを優先して補正することで、他の拠点の端末装置１の参加者が画像を見た場合に、画像に違和感を覚えにくい。また、ホワイトボードの補正を、例えばホワイトボード４１に書き込みがなされた場合など、ホワイトボード４１の状態に変化があった場合にＣＰＵ１０が行うことで、他の拠点の参加者が画像を見た場合に、ホワイトボード４１に書かれた文字や画像の認識や識別を行いやすい。

会議端末１が、他の拠点の会議端末１において指定された指定対象物を優先的に補正した画像を前記他の拠点の会議端末１に出力することで、前記他の拠点の参加者は、注目したい対象物（指定対象物）の歪みが優先的に補正された画像を得ることができ、対象物の認識や識別を行いやすい。

本発明は上記実施の形態に限定されるものではなく、種々の変更が可能である。画像の補正方法として、顔補正、矩形補正、対象物補正を例に挙げたが、これに限らず、公知の様々な補正方法を利用できる。また、画像の補正を画像全体に施したが、画像内で対象物が映る部分に対して行う部分補正としてもよい。

また、他の拠点の参加者が、補正対象の対象物の候補として指定対象物の指定を行ったが、補正方法についても、ユーザ（参加者）が任意に指定できるようにしてもよい。例えば、図９に示すように、四角形の輪郭線を有する資料４３が映る画像Ｐ６の補正を行うにあたって補正対象を資料４３とする場合において、矩形補正を適用せず、縦倍率を拡大する補正を行ってもよい。画像Ｐ６は、カメラ３３によって会議テーブル４２とホワイトボード４１を撮像したものであるが、画像Ｐ１（図４参照）が見下ろしの角度で撮像したのに対し、画像Ｐ６は、会議テーブル４２の卓上と同じ平面から見上げる角度で撮像したものである。このため、会議テーブル４２に載置された資料４３に記載された文字を識別することが難しい。

この場合に矩形補正を適用すると、例えば図８に示す画像Ｐ５のように、上辺の伸張または下辺の圧縮により長さを揃えることによって、補正がなされることがある。こうした場合に、図９に示す画像Ｐ７のように、画像Ｐ６の縦を伸張する補正を行えば、資料４３の輪郭線を略直角四角形には補正できずとも、資料４３に記載された文字を認識しやすくすることができる。もちろん、画像Ｐ７にさらに矩形補正を適用して、資料４３の輪郭線が直角四角形に近づくように補正してもよい。すなわち、画像の補正を行う際に、複数の補正方法を組み合わせて適用しもよい。もっとも、補正方法が複数組み合わされることによって画像に適用する補正が複雑な補正になると、ＣＰＵ１０にかかる負荷が多くなるため、組合せの数を少なくすることが望ましい。

カメラ３３として単焦点デジタルカメラを使用し、ズームは撮像した画像に対し、トリミングと拡大処理を行うことで実現される疑似的なデジタルズームにより行ったが、カメラ３３に機械的に焦点距離を変化させるズームレンズを設け、光学ズームを実現してもよい。

本実施の形態では、会議端末１が、本発明の「端末装置」に相当する。カメラ３３が「撮像手段」に相当する。Ｓ１０においてカメラ３３が撮像した画像を取得するＣＰＵ１０が「第一取得手段」に相当する。Ｓ１０においてカメラ３３から焦点レンズの位置の情報と、撮像方向の情報とを取得するＣＰＵ１０が「第二取得手段」に相当する。Ｓ１２において画像に映る対象物として人物の顔、ホワイトボード、および特定対象物の検出を行うＣＰＵ１０が「抽出手段」に相当する。Ｓ３４において優先対象物に応じた補正方法を決定するＣＰＵ１０が「決定手段」に相当する。Ｓ３４において決定した補正方法に従って画像の補正を行うＣＰＵ１０が「補正手段」に相当する。Ｓ３６において補正した画像を他の拠点の会議端末１に送信するＣＰＵ１０が「出力手段」に相当する。外部通信Ｉ／Ｆ２６を介してネットワーク８経由で接続する他の拠点の会議端末１との間で要求信号の送受信を行うＣＰＵ１０が「送受信手段」に相当する。

１ 会議端末
１０ ＣＰＵ
１２ ＲＡＭ
２６ 外部通信Ｉ／Ｆ
３３ カメラ
３４ 表示装置
４１ ホワイトボード
４３ 資料
４５〜４９ 参加者

Claims (10)

1. 撮像手段によって撮像された画像を取得する第一取得手段と、
   前記撮像手段の撮像方向の情報および前記撮像手段と撮像対象との距離の情報を含む撮像情報を取得する第二取得手段と、
   前記第一取得手段によって取得された前記画像から所定の対象物を抽出する抽出手段と、
   前記抽出手段によって１以上の前記対象物が抽出された場合において、抽出された前記１以上の対象物のうち、対象物に応じて設定された優先順位が最上位の優先対象物と、前記第二取得手段によって取得された前記撮像情報とに基づいて、前記優先対象物に応じて前記画像の補正方法を決定する決定手段と、
   前記決定手段によって決定された前記補正方法に従って前記画像の補正を行う補正手段と、
   前記補正手段によって補正された前記画像を画像データとして出力する出力手段と、
   を備えることを特徴とする端末装置。
2. 前記抽出手段によって抽出された前記優先対象物が人物の顔である場合、前記決定手段は、前記顔の領域の歪みが最小になるように補正する顔補正を、前記補正方法として決定することを特徴とする請求項１に記載の端末装置。
3. 前記抽出手段によって抽出された前記優先対象物の輪郭線が略四角形であり、且つ、前記輪郭線を構成する４辺のうちの２辺が略平行な辺である場合、前記決定手段は、前記優先対象物の前記輪郭線を前記略四角形よりも直角四辺形に近づけるように補正する矩形補正を、前記補正方法として決定することを特徴とする請求項１または２に記載の端末装置。
4. 前記撮像情報には前記撮像手段の画角の情報が含まれており、
   前記撮像手段が前記画像を撮像した際に、前記第二取得手段が取得した前記画角の情報に変化があり、且つ、前記抽出手段が、前記画角の変更前に抽出した前記１以上の対象物のうちのいずれか１つの対象物を、前記画角の変更後の前記画像からも抽出した場合、
   前記決定手段は、前記抽出した対象物を前記優先対象物に設定するとともに、前記画像内における前記優先対象物を前記撮像情報に基づいて補正する対象物補正を、前記補正方法として決定することを特徴とする請求項１から３のいずれかに記載の端末装置。
5. 前記補正手段は、前記抽出手段によって抽出された前記１以上の対象物に人物の顔が含まれる場合に、その人物の顔が、補正後の前記画像に含まれるように補正の強度を調整し、前記画像の補正を行うことを特徴とする請求項１から４のいずれかに記載の端末装置。
6. 前記抽出手段の抽出する前記１以上の対象物は、少なくとも、人物の顔と、ホワイトボードと、前記人物の顔および前記ホワイトボードとは独立に閉じた輪郭線を有する特定対象物とのうちのいずれかを含み、
   前記人物の顔、前記ホワイトボード、前記特定対象物の順に高い優先順位があらかじめ設定されていることを特徴とする請求項１から５のいずれかに記載の端末装置。
7. 前記抽出手段が前記ホワイトボードを抽出した後に、再度、前記ホワイトボードを抽出し、今回抽出した前記ホワイトボードの状態と、前回抽出したときの前記ホワイトボードの状態との間に変化がある場合、
   前記決定手段は、前記ホワイトボードを前記優先対象物に設定するとともに、前記撮像情報に基づいて、前記画像の補正方法を決定することを特徴とする請求項６に記載の端末装置。
8. 他の端末装置との間で前記画像データ、および前記抽出手段によって抽出された前記１以上の対象物のうちのいずれか１つの対象物を指定対象物として指定する情報を送受信する送受信手段をさらに備え、
   前記送受信手段を介し、前記他の端末装置から前記指定対象物を指定する情報を受信した場合に、
   前記決定手段は、前記指定対象物を前記優先対象物に設定するとともに、前記撮像情報に基づいて、前記画像の補正方法を決定することを特徴とする請求項１から７のいずれかに記載の端末装置。
9. 撮像手段によって撮像された画像の画像データを出力する端末装置を機能させるため、コンピュータにおいて実行される撮像方法であって、
   前記撮像手段によって撮像された前記画像を取得する第一取得ステップと、
   前記撮像手段の撮像方向の情報および前記撮像手段と撮像対象との距離の情報を含む撮像情報を取得する第二取得ステップと、
   前記第一取得ステップにおいて取得された前記画像から所定の対象物を抽出する抽出ステップと、
   前記抽出ステップにおいて１以上の前記対象物が抽出された場合において、抽出された前記１以上の対象物のうち、対象物に応じて設定された優先順位が最上位の優先対象物と、前記第二取得ステップにおいて取得された前記撮像情報とに基づいて、前記優先対象物に応じて前記画像の補正方法を決定する決定ステップと、
   前記決定ステップにおいて決定された前記補正方法に従って前記画像の補正を行う補正ステップと、
   前記補正ステップにおいて補正された前記画像を前記画像データとして出力する出力ステップと、
   を含む撮像方法。
10. 撮像手段によって撮像された画像の画像データを出力する端末装置として機能させるためのプログラムであって、
    コンピュータに、
    前記撮像手段によって撮像された前記画像を取得する第一取得ステップと、
    前記撮像手段の撮像方向の情報および前記撮像手段と撮像対象との距離の情報を含む撮像情報を取得する第二取得ステップと、
    前記第一取得ステップにおいて取得された前記画像から所定の対象物を抽出する抽出ステップと、
    前記抽出ステップにおいて１以上の前記対象物が抽出された場合において、抽出された前記１以上の対象物のうち、対象物に応じて設定された優先順位が最上位の優先対象物と、前記第二取得ステップにおいて取得された前記撮像情報とに基づいて、前記優先対象物に応じて前記画像の補正方法を決定する決定ステップと、
    前記決定ステップにおいて決定された前記補正方法に従って前記画像の補正を行う補正ステップと、
    前記補正ステップにおいて補正された前記画像を前記画像データとして出力する出力ステップと、
    を実行させるプログラム。

Images