JP2020160538A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】会議に参加している人がわかりやすく映るように、適切な画像分割処理及び歪補正処理を行う画像処理装置を提供する。【解決手段】画像処理装置は、会議参加者の顔情報を取得する。魚眼レンズを用いて撮像された撮像画像から人物を検知し、会議参加者の顔情報を用いて検知した人物を特定する。人物の数に従って、撮像画像から部分画像を切り取る。人物の数に従って、部分画像に対して歪みを補正する。補正された部分画像を出力する。【選択図】図１２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、複数拠点の間でネットワークを構築し、音声と映像とを送受信することによって、遠隔地同士での会議を行うＷｅｂ会議システムが知られている。
また、人物の顔画像を入力し、その特徴量を計測して認証を行う人物認証の技術が公開されている（特許文献１）。予め会議に参加する人物の顔、又は名称の情報を登録しておき、Ｗｅｂ会議システムで配信する映像に対して人物認証を行うことで、会議に参加している人物を特定し、表示映像に対して特定した人物の名称を重畳する機能等が存在する。
また、Ｗｅｂ会議システムで使用するカメラの種別の１つとして、魚眼レンズを搭載した魚眼カメラが存在する。魚眼カメラには、全方位画像をそのまま出力するだけではなく、複数の種類の切り取り処理及び歪補正処理を行った画像を出力可能なものがある。このようなカメラでは複数の種類の切り取り処理及び歪み補正処理を行った映像を出力することで、カメラの周囲にいる会議参加者を撮像することができる。魚眼カメラの中には、魚眼画像における特定被写体の位置に基づいて、歪み補正処理をすることで、被写体の歪みを低減するもの（特許文献２）、全方位画像から得られる注目領域の数及び位置に基づいて切り取り処理、又は歪み補正処理を行うものがある（特許文献３）。

特開平６−１１９４３３号公報 特開２０１６−３９５３９号公報 特願２０１７−２４８０１３号公報

しかしながら、特許文献２及び特許文献３のように、被写体、又は注目領域の数及び位置に基づいて、切り取り処理、又は歪み補正処理を行うだけでは、予め登録されている人物が表示されず、会議に参加していない人物、又は予め人物登録されていない人物が中心に表示されてしまう可能性がある。

本発明の画像処理装置は、会議参加者の顔情報を取得する取得手段と、魚眼レンズを用いて撮像された撮像画像から人物を検知し、前記会議参加者の顔情報を用いて検知した人物を特定する特定手段と、前記人物の数に従って、前記撮像画像から部分画像を切り取る切り取り手段と、前記人物の数に従って、前記部分画像に対して歪みを補正する補正手段と、前記補正手段により補正された部分画像を出力する出力手段と、を有する。

本発明によれば、会議に参加している人がわかりやすく映るように、適切な画像分割処理及び歪補正処理を行った画像を提供することができる。

Ｗｅｂ会議システムのシステム構成の一例を示す図である。 サーバ装置の内部構成の一例を示す図である。 会議端末装置のハードウェア構成の一例を示す図である。 パーソナルコンピュータのＰＣ本体部の内部構成を示した図である。 実施形態１のカメラの構成を示す図である。 撮像部の詳細な構成を示した図である。 ２つの領域に対して画像分割及び歪補正処理を行う前の画像を示す図である。 図７の画像に対して画像分割及び歪補正処理後に出力される画像を示す図である。 ４つの領域に対して画像分割及び歪補正処理を行う前の画像を示す図である。 図９の画像に対して画像分割及び歪補正処理後に出力される画像を示す図（その１）である。 図９の画像に対して画像分割及び歪補正処理後に出力される画像を示す図（その２）である。 実施形態１の情報処理の一例を示すフローチャートである。 変形例１の情報処理の一例を示すフローチャートである。 優先度を示すテーブルの一例を示す図である。 変形例２の情報処理の一例を示すフローチャートである。 実施形態２のカメラの構成を示す図である。

＜実施形態１＞
図１は、Ｗｅｂ会議システムのシステム構成の一例を示す図である。
Ｗｅｂ会議端末装置１０１、１０４は、その内部に通信機能を有しインターネット等に代表されるネットワーク１０８に接続される会議端末装置１０２、１０５、及び撮像装置１０３、１０６を有する。撮像装置１０３、１０６は、画像処理装置の一例である。
会議端末装置１０２、１０５はパーソナルコンピュータ（ＰＣ）によって構成され、Ｗｅｂ会議システム端末装置用プログラムによって動作する。
会議端末装置は３台以上、Ｗｅｂ会議システムに接続されてもよい。サーバ装置１０７は、その内部に通信機能を有し、ネットワーク１０８に接続されている。サーバ装置１０７はサーバ用コンピュータによって構成され、Ｗｅｂ会議システムサーバ装置用プログラムによって動作する。

図２は、サーバ装置１０７の内部構成の一例を示す図である。
サーバ装置１０７は、上述したようにサーバ用コンピュータによって構成され、Ｗｅｂ会議システムサーバ装置用プログラムデータによって動作する。
より具体的に、サーバ装置１０７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３を有する。更に、サーバ装置１０７は、ハードウェア構成として、内部記憶装置２０４、外部記憶装置２０５、ネットワークＩ／Ｆ２０６、入力機器Ｉ／Ｆ２０７、ディスプレイＩ／Ｆ２０８、キーボード２０９、マウス２１０、ディスプレイ２１１、システムバス２１２を有する。これらはネットワーク１０８に接続されている。
ＣＰＵ２０１は、サーバ用コンピュータ全体の制御に加えてＷｅｂ会議システムサーバ装置用プログラムデータが指示する処理を行う。
ＲＯＭ２０２は、読出し専用メモリである。ＲＯＭ２０２は、使用者が電気的にプログラムを書き込むことができるＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）と製造するときに内容を書き込むマスクＲＯＭとがある。実施形態１においては、何れのＲＯＭであってもよい。

ＲＡＭ２０３は、自由書き込み及び自由読み出しができるメモリである。ＲＡＭ２０３は、ＣＰＵ２０１がＷｅｂ会議システムサーバ装置用プログラムに基づき処理を行う際に一時的にデータを蓄える等の機能を有する。
内部記憶装置２０４は、情報をサーバ装置内で記憶するための装置である。内部記憶装置２０４の例としては、ハードディスク等がある。内部記憶装置２０４にはＷｅｂ会議システムサーバ装置用プログラムが格納されると共に、Ｗｅｂ会議システムサーバ装置用プログラムデータの動作に必要なデータ、端末データベース情報、会議予約情報、顔認識を行うための顔情報が格納されたデータベース情報等が格納される。予めユーザは、カメラ１０３、１０６、又はその他のカメラ等を用いて会議に参加する人物の顔の映像データをサーバ装置１０７に送り、顔識別に使用する顔情報を内部記憶装置２０４に格納しておく。顔情報は、会議参加者の顔情報の一例である。
外部記憶装置２０５は、ホストサーバ装置とは別個のメディアについて情報の読書きを行う。外部記憶装置２０５には、例えば、ＣＤ−ＲＷ、ＤＶＤ−ＲＷドライブ等がある。

ネットワークＩ／Ｆ２０６は、ネットワーク１０８に接続するための通信制御を処理する。
入力機器Ｉ／Ｆ２０７は、サーバ装置１０７が具備するキーボード２０９、マウス２１０等からの入力を処理するものであり、サーバ装置の操作に用いられるものであるが、なくてもＷｅｂ会議システムの動作に支障はない。
ディスプレイＩ／Ｆ２０８及びディスプレイ２１１は表示部であり、ＣＲＴ又は液晶ディスプレイ及びその制御回路によって構成される。サーバ装置の動作状況はこのＣＲＴ又は液晶ディスプレイ上の一部に表示されるものであるが、なくてもＷｅｂ会議システムの動作に支障はない。
システムバス２１２は、サーバ装置内の各ブロック間の各種データのやりとり及び電力の供給をするものである。システムバス２１２は、アドレス線、データ線、制御線、電源・グラウンド線等からなる。
ＣＰＵ２０１が、ＲＯＭ２０２又は内部記憶装置２０４に記憶されているＷｅｂ会議システムサーバ装置用プログラムに基づき処理を実行することによって、サーバ装置１０７の機能が実現される。

図３は、会議端末装置１０２、１０５のハードウェア構成の一例を示す図である。
会議端末装置の主な構成機器としては、パーソナルコンピュータ３０１である。
また、ディスプレイ３０４、キーボード３０３、マウス３０２、スピーカ３０６、マイク３０７等はそれぞれパーソナルコンピュータ３０１に備わっている各機器に対応する入出力端子に接続される。

図４は、Ｗｅｂ会議端末装置１０２として利用するパーソナルコンピュータのパーソナルコンピュータ３０１の内部構成を示した図である。
ＰＣ本体部３０１は、Ｗｅｂ会議システム端末装置用プログラムによって動作する。より具体的に、ＰＣ本体部３０１は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、内部記憶装置４０４、外部記憶装置４０５、ネットワークＩ／Ｆ４０６、入力機器Ｉ／Ｆ４０７、ディスプレイＩ／Ｆ４０８、音声入出力Ｉ／Ｆ４１０を有する。更に、ＰＣ本体部３０１は、キーボード３０３、マウス３０２、ディスプレイ３０４、マイク３０７、スピーカ３０６、システムバス４１３を有する。これらはネットワーク１０８に接続されている。
ＣＰＵ４０１は、パーソナルコンピュータ全体の制御に加えてＷｅｂ会議システム端末装置用プログラムデータが指示する処理を行う。
ＲＯＭ４０２は、読出し専用メモリである。ＲＯＭ４０２は、使用者が電気的にプログラムを書き込むことができるＰＲＯＭと製造するときに内容を書き込むマスクＲＯＭとがあるが、実施形態１においては何れのＲＯＭであってもよい。

ＲＡＭ４０３は、自由書き込み及び自由読み出しができるメモリである。ＲＡＭ４０３は、ＣＰＵ４０１がＷｅｂ会議システム端末装置用プログラムに基づき処理を行う際に一時的にデータを蓄える等の機能を有する。
内部記憶装置４０４は、情報を端末装置内で記憶するための装置である。内部記憶装置４０４の例としては、ハードディスク等がある。内部記憶装置４０４はＷｅｂ会議システム端末装置用プログラムデータが格納されると共に、Ｗｅｂ会議システム端末装置用プログラムデータの動作に必要なデータの格納を行う。
外部記憶装置４０５は、端末装置とは別個のメディアについて情報の読書きを行う。外部記憶装置４０５には、例えば、ＣＤ−ＲＷドライブ、ＤＶＤ−ＲＷドライブ等がある。
ネットワークＩ／Ｆ４０６は、インターネット又はイントラネット等のネットワークに接続するための通信制御を処理するが、ユーザの環境に応じてさまざまな通信インターフェースが適用される。

入力機器Ｉ／Ｆ４０７は会議端末装置１０２が具備するキーボード３０３、マウス３０２等からの入力を処理するものであり、端末装置の操作に用いられるものである。
ディスプレイＩ／Ｆ４０８及びディスプレイ３０４は表示部である。ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、フロントプロジェクタ又はリアプロジェクションテレビ及びその制御回路によって構成される。端末装置の動作状況はこの表示装置上の一部に表示されるものである。
音声入出力機器Ｉ／Ｆ４１０は、端末装置が具備するマイク３０７、スピーカ３０６からの入出力を処理するものであり、端末装置において音声通話を行う際に用いられるものである。
システムバス４１３は、端末装置内の各ブロック間の各種データのやりとり及び電力の供給をするものである。システムバス４１３は、アドレス線、データ線、制御線、電源・グラウンド線等からなる。

以下では、撮像装置としてカメラを用いる場合について説明する。
図５は、カメラ１０３及び１０６の構成を示す図である。カメラは、撮像部５０１と、画像生成部５０２と、通信部５０９と、顔認識処理部５０３と、画像分割設定部５０４と、画像分割部５０６と、歪補正処理部５０７と、出力部５０８と、を有する。
撮像部５０１は、被写体像を撮像する。画像生成部５０２は、撮像部５０１の信号から画像信号を生成する。通信部５０９は、サーバ装置１０７から顔情報等を受け取る。顔認識処理部５０３は、撮像画像及び顔情報から人物の位置を判定する。画像分割設定部５０４は、複数の画像分割パターンから撮像画像に適用する分割方法と撮像画像の分割位置を設定する。画像分割部５０６は、画像分割設定部５０４で設定された分割方法及び分割位置で画像を分割する。歪補正処理部５０７は、画像分割部５０６で分割された画像に対応する歪補正を行う。出力部５０８は、歪補正処理部５０７で歪補正された画像信号を出力する。
ここで、図６は、撮像部５０１の詳細な構成を示した図である。撮像部５０１は、数枚のレンズ群からなるレンズ６０１、ＣＣＤ、又はＣＭＯＳ等の撮像素子６０２を備える。撮像部５０１は、雑音軽減を行う相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：ＣＤＳ）６０３を備える。撮像部５０１は、カメラの利得制御を自動で行うゲインコントロール（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：ＡＧＣ）６０４を備える。撮像部５０１は、アナログ信号をデジタル信号へと変換を行うＡ／Ｄ変換６０５を備える。

上述した各構成要素の動作について詳しく説明を行う。
まず、撮像装置について、図５及び図６を用いて詳しく説明を行う。
撮像素子６０２は、撮像光学系としてのレンズ６０１を介して結像された被写体像を電気信号に変換する。レンズ６０１は歪みが多く画角が広い広角レンズ、又は魚眼レンズでもよい。実施形態１では、魚眼レンズの場合に関して説明する。
ＣＤＳ６０３は、撮像素子６０２から出力された電気信号に対して相関二重サンプリング処理等を実施する。
ＡＧＣ６０４は、ＣＤＳ６０３から出力された電気信号に対して増幅処理等を行う。
Ａ／Ｄ変換６０５は、ＡＧＣ６０４により増幅処理されたアナログ信号をデジタル信号へと変換する。
画像生成部５０２は、撮像部５０１から得られた輝度信号及び色信号からＲＧＢ画像、ＹＵＶ画像等の画像信号を生成する。

顔認識処理部５０３は、画像生成部５０２で生成された画像及び通信部５０９経由でサーバ装置１０７から受け取った顔情報を基に、人物認識及び顔認識処理を行う。ここで、サーバ装置１０７に登録された人物の識別を行うことができる。
画像分割設定部５０４は、予め用意されている分割方法を設定する。分割方法の種類としては、図８の２分割（ダブルパノラマ）、又は図１０の４分割（クアッドパノラマ）等があるが分割数は限定しないものとする。また、撮像装置は、図１１のように、切り出した画像をそれぞれ別の映像として配信することもできる。画像分割設定部５０４は、顔認識処理部５０３で判定された画像内の人物の数、位置、分布に応じて画像の分割する位置を算出し設定する。
画像分割部５０６は、画像分割設定部５０４で設定された画像分割パターン及び画像分割位置を用いて画像生成部５０２で生成された画像を分割する。歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、種々の幾何学的変換等の歪補正処理を行う。

ここで、図７及び図８を用いて画像分割部５０６及び歪補正処理部５０７でそれぞれ画像分割処理と歪補正処理される画像の例を説明する。図７の７０は屋内の机等に設置された魚眼レンズを備えたカメラで、天井に対して垂直な方向を撮像した場合の画像の例である。図８は、図７の画像７０の破線で区切られた領域７００の部分を除外して、同じく破線で区切られた領域７０１、領域７０２をそれぞれ切り出して歪補正処理部５０７で歪補正処理を行い、領域７０２を１８０度回転させて繋げた画像の例である。以降、図８に示す映像をダブルパノラマ映像と呼ぶ。ダブルパノラマ映像は、撮像画像の全体を２分割した映像の一例である。
さらに、別の画像分割及び歪補正処理の例として、カメラは、図９の領域９００〜９０３を図１０の領域９００〜９０３のように部分的に切り出して、４つの部分画像を繋げて１つの画像として出力してもよい。以降、図１０に示す映像をクアッドパノラマ映像と呼ぶ。カメラは、４つ以上の場合も同様に出力する画像の大きさに合わせて拡大縮小した後に各切り出し画像を繋げて出力してもよい。クアッドパノラマ映像は、複数の切り出し画像を結合した映像の一例である。
図１１は、カメラが図９の領域９００〜９０３を切り出して、それぞれを別の映像として生成した一例を示す図である。以降、図１１に示す映像を切り出し映像と呼ぶ。

出力部５０８は、歪補正処理部５０７で歪補正処理された画像信号に対して圧縮処理等を施した後、出力する。画像信号は、通信部５０９を介して、ネットワーク１０８の先に配信される。なお、カメラは、一つの映像に対して、複数の種類の映像を生成することも可能である。この場合、画像分割設定部５０４は、複数の分割パターンを設定する。そして、画像分割部５０６及び歪補正処理部５０７では、その分割パターンに応じて画像分割及び歪み補正処理を実行する。そして、出力部５０８は、複数の種類の映像を同時に配信する。
また、画像分割設定部５０４で分割パターンが設定されなかった場合、画像分割部５０６は、画像分割を行わない。同様に、歪補正処理部５０７でも歪み補正処理を行わない。そのため、魚眼映像がそのまま出力される。

以下、図１２を参照して、配信する映像種別を決定する情報処理について説明する。
図１２は、配信する映像種別を決定する情報処理の一例を示すフローチャートである。情報処理は、Ｗｅｂ会議開始時や、一定の間隔（例えば１秒）ごとに実行されるものとする。
Ｓ１２０１において、カメラ１０３及び１０６は、撮像部５０１及び画像生成部５０２によって魚眼画像を取得する。
Ｓ１２０２において、顔認識処理部５０３は、通信部５０９を介してサーバ装置１０７から登録された顔情報を取得する。そして、顔認識処理部５０３は、画像生成部５０２から取得した画像を用いて人物の位置を検知し、顔情報を用いて登録されている人物の顔を識別する。
Ｓ１２０３において、顔認識処理部５０３は、検知した人物の中に、登録されていない人物が存在するかどうかを判定する。顔認識処理部５０３は、登録されていない人物が存在する場合、Ｓ１２０４に進み、登録されていない人物が存在しない場合、Ｓ１２０９に進む。

Ｓ１２０４において、顔認識処理部５０３は、登録されていない人物と特定された人物とをあわせた数が、切り出し映像の配信性能以下かどうかを判定する。配信性能としては、画像分割部５０６による切り出しの数の上限、又は出力部５０８における通信帯域による制約等がある。顔認識処理部５０３は、人物の数が切り出し映像の配信性能以下の場合、Ｓ１２０５に進み、切り出し映像の配信性能以下でない場合、Ｓ１２０６に進む。
Ｓ１２０５において、画像分割設定部５０４は、人物の位置を検知し、切り出し映像のための切り出し位置を設定する。画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。そして、出力部５０８は、切り出し映像を、通信部５０９を介してネットワーク１０８に配信する。全員が特定されない人物であった場合、出力部５０８は、切り出し映像と共に、全員特定されていない旨の通知をネットワーク１０８に配信してもよい。また、全員が特定されない人物であった場合、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置を設定することで、切り出し映像の代わりにダブルパノラマ映像が出力されるようにしてもよい。

Ｓ１２０６において、顔認識処理部５０３は、特定した人物の人数が、切り出し映像の配信性能以下かどうかを判定する。顔認識処理部５０３は、特定した人物の人数が、切り出し映像の配信性能以下の場合、Ｓ１２０７に進み、特定した人物の人数が、切り出し映像の配信性能以下でない場合、Ｓ１２０８に進む。
Ｓ１２０７において、画像分割設定部５０４は、特定した人物の位置を特定し、切り出し映像のための切り出し位置を設定する。また、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置も設定する。ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、画像分割設定部５０４は、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、切り出し映像及びダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。
Ｓ１２０８において、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置を設定する。ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、画像分割設定部５０４は、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、ダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。

Ｓ１２０９において、顔認識処理部５０３は、特定した人物の人数が、切り出し映像の配信性能以下かどうかを判定する。顔認識処理部５０３は、特定した人物の人数が、切り出し映像の配信性能以下の場合、Ｓ１２１０に進み、特定した人物の人数が、切り出し映像の配信性能以下でない場合、Ｓ１２１１に進む。
Ｓ１２１０において、画像分割設定部５０４は、特定した人物の位置を特定し、切り出し映像のための切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、切り出し映像を、通信部５０９を介してネットワーク１０８に配信する。
Ｓ１２１１において、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置を設定する。画像分割設定部５０４は、ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、ダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。

以上、説明したように、実施形態１のカメラは、会議に登録された人物をできる限り個別の映像である切り出し映像として、それ以外の人物についてもダブルパノラマ映像として配信する。このことで、会議に参加している人がわかりやすく映るように表示することができる。
実施形態１では、定期的に図１２に示す情報処理が実行されるため、会議の途中で人が増減した場合、映像種別が切り替わることになる。しかし、頻繁に映像種別が切り替わるとかえって表示がみづらくなる可能性がある。したがって、カメラは、切り出し映像のみ配信するパターンからダブルパノラマ映像を配信するパターンへの変更は即時実行するが、逆は一定時間（例えば１０分等）行わないようにしてもよい。
また、Ｓ１２０７において、カメラは、特定した人物を表示するための切り出し映像と、全員を表示するためのダブルパノラマ映像との２つの映像を配信するが、ユーザにダブルパノラマ映像を表示するかどうかを選択させてもよい。

（変形例１）
実施形態１では、カメラは、会議に登録された人物をできる限り個別の映像である切り出し映像として、それ以外の人物についてもダブルパノラマ映像として配信した。しかし、登録された人物全員を同列に扱っているため、会議に必須ではない人物が大勢登録されると、会議に重要な人物を切り出し映像として表示できない場合がある。そこで変形例１では、登録された人物に優先度を設けることで、できる限り会議に重要な人物を切り出し映像として表示できるようにする。

以下、図１３、図１４を参照して、変形例１の配信する映像種別を決定する情報処理について説明する。
図１３は、配信する映像種別を決定する情報処理の一例を示すフローチャートである。図１４は、内部記憶装置４０４に格納されている登録人物の優先度を示すテーブルの一例を示す図である。
Ｓ１３０１において、カメラ１０３及び１０６は、撮像部５０１及び画像生成部５０２によって魚眼画像を取得する。
Ｓ１３０２において、顔認識処理部５０３は、通信部５０９を介してサーバ装置１０７から登録された顔情報及び各人物の優先度を示すテーブル１４００を取得する。そして、顔認識処理部５０３は、画像生成部５０２から取得した画像を用いて人物の位置を検知し、顔情報を用いて登録されている人物の顔を識別する。
Ｓ１３０３からＳ１３０７までの処理は、図１２のＳ１２０３からＳ１２０７までの処理と同様であるため、説明を省略する。

Ｓ１３０８において、顔認識処理部５０３は、テーブル１４００から会議に必須な人数を算出する。ここで、テーブル１４００について説明する。ＩＤ１４０１は、サーバ装置１０７に登録されている顔情報に紐付けられたＩＤである。優先度１４０２は、各人物の優先度を示している。優先度は、各人物の名称１４０３を登録する際にユーザが設定する。会議端末装置は、キーボード３０３、マウス３０２等を介したユーザ操作に基づき、各人物の役割（議長、タイムキーパー、書記、リーダー、傍聴者等）を設定し、それぞれについて対応する優先度を割り当てるようにしてもよい。テーブル１４００の場合、会議に必須な人数は４人ということになる。顔認識処理部５０３は、会議に必須な人物の人数が切り出し映像の配信性能以下かどうかを判定する。顔認識処理部５０３は、会議に必須な人物の人数が切り出し映像の配信性能以下だった場合、Ｓ１３０９に進み、会議に必須な人物の人数が切り出し映像の配信性能以下でなかった場合、Ｓ１３１０に進む。
Ｓ１３０９において、画像分割設定部５０４は、会議に必須な人物の位置を特定し、切り出し映像のための切り出し位置を設定する。また、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置も設定する。ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、画像分割設定部５０４は、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、切り出し映像及びダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。

Ｓ１３１０において、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置を設定する。ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、画像分割設定部５０４は、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、ダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。
Ｓ１３１１及びＳ１３１２の処理は、図１２のＳ１２０９及びＳ１２１０の処理と同様であるため、説明を省略する。

Ｓ１３１３において、顔認識処理部５０３は、テーブル１４００から会議に必須な人数を算出し、会議に必須な人物の人数が切り出し映像の配信性能以下かどうかを判定する。顔認識処理部５０３は、画像分割設定部５０４は、会議に必須な人物の人数が切り出し映像の配信性能以下だった場合、Ｓ１３１４に進み、会議に必須な人物の人数が切り出し映像の配信性能以下出なかった場合、Ｓ１３１５に進む。
Ｓ１３１４において、画像分割設定部５０４は、会議に必須な人物の位置を特定し、切り出し映像のための切り出し位置を設定する。また、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置も設定する。ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、画像分割設定部５０４は、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、切り出し映像及びダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。

Ｓ１３１５において、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置を設定する。ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、画像分割設定部５０４は、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。そして、出力部５０８は、ダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。

以上、説明したように、変形例１のカメラは、会議に登録された人物、特に会議に必須な人物を優先的に個別の映像である切り出し映像として、それ以外の人物についてもダブルパノラマ映像として配信する。このことで、会議に参加している人がわかりやすく映るように表示することができる。
変形例１は、優先度の項目として「必須」と「任意」のみを用いたが、さらに細かく分類してもよい。画像分割設定部５０４は、ダブルパノラマ映像のための切り出し位置を設定する際に、必須な人物を優先的に切れないようにしてもよい。

（変形例２）
実施形態１及び変形例１では、会議に登録された人物をできる限り個別の映像である切り出し映像として配信した。しかし、図１０のような部分画像を繋げて１つの画像とした映像の方が通信帯域を削減でき、ユーザとしても見やすい場合がある。そこで変形例２のカメラは、図１０のようなクアッドパノラマで表示可能な場合は、この形式の映像を配信する。

以下、図１５を参照して、変形例２の配信する映像種別を決定する情報処理について説明する。
図１５は、配信する映像種別を決定する情報処理の一例を示すフローチャートである。
Ｓ１５０１からＳ１５０３までの処理は、Ｓ１２０１からＳ１２０３までの処理と同様であるため、説明を省略する。
Ｓ１５０３で、顔認識処理部５０３は、登録されていない人物が存在する場合、Ｓ１５０４に進み、登録されていない人物が存在しない場合、Ｓ１５１３に進む。
Ｓ１５０４において、顔認識処理部５０３は、登録されていない人物と特定された人物をあわせた数が、クアッドパノラマ映像の切り出し画像の数である４人であるかどうかを判定する。顔認識処理部５０３は、人物の数が４人であった場合、Ｓ１５０５に進み、人物の数が４人でなかった場合、Ｓ１５０８に進む。
Ｓ１５０５において、画像分割設定部５０４は、人物の位置を検知し、切り出し映像のための切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、歪補正処理を行った各分割映像を繋げることでクアッドパノラマ映像を生成する。出力部５０８は、クアッドパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。

Ｓ１５０６において、顔認識処理部５０３は、特定された人物の数が、クアッドパノラマ映像の切り出し画像の数である４人であるかどうかを判定する。顔認識処理部５０３は、特定された人物の数が４人である場合、Ｓ１５０７に進み、特定された人物の数が４人でない場合、Ｓ１５０８に進む。
Ｓ１５０７において、画像分割設定部５０４は、人物の位置を検知し、切り出し映像のための切り出し位置を設定する。また、画像分割設定部５０４は、全体を表示するためのダブルパノラマ映像のための切り出し位置も設定する。ダブルパノラマ映像生成のために領域７０１と領域７０２とに分割する際に、画像分割設定部５０４は、人物が切れないように切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、歪補正処理を行った各分割映像を繋げることでクアッドパノラマ映像を生成する。出力部５０８で、クアッドパノラマ映像及びダブルパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。
Ｓ１５０８、Ｓ１５０９、Ｓ１５１０、Ｓ１５１１及びＳ１５１２の処理は、それぞれ、Ｓ１２０４、Ｓ１２０５、Ｓ１２０６、Ｓ１２０７及びＳ１２０８の処理と同様であるため、説明を省略する。

Ｓ１５１３において、顔認識処理部５０３は、特定された人物の数が、クアッドパノラマ映像の切り出し画像の数である４人であるかどうかを判定する。顔認識処理部５０３は、特定された人物の数が４人である場合、Ｓ１５１４に進み、特定された人物の数が４人でない場合、Ｓ１５１５に進む。
Ｓ１５１４において、画像分割設定部５０４は、特定された人物の位置を検知し、切り出し映像のための切り出し位置を設定する。そして、画像分割部５０６は、画像分割設定部５０４が設定した切り出し位置に従って、画像生成部５０２から取得した魚眼映像を分割する。そして、歪補正処理部５０７は、画像分割部５０６で分割された画像に対して、歪補正処理を行う。出力部５０８は、歪補正処理を行った各分割映像を繋げることでクアッドパノラマ映像を生成する。そして、出力部５０８は、クアッドパノラマ映像を、通信部５０９を介してネットワーク１０８に配信する。
Ｓ１５１５、Ｓ１５１６及びＳ１５１７の処理は、Ｓ１２０９、Ｓ１２１０及びＳ１２１１の処理と同様である。

以上、説明したように、変形例２のカメラは、クアッドパノラマで表示可能な場合は、この形式の映像を配信することで、会議に参加している人がわかりやすく映るように表示することができる。
変形例２のカメラは、Ｓ１５０４、Ｓ１５０６及びＳ１５１３では、人物の数が４人の場合のみクアッドパノラマ映像を出力するように判定したが、人物の数が４人以下の場合はすべてクアッドパノラマで出力するように判定してもよい。
また、変形例２のカメラでは部分画像を繋げて１つの画像とする映像の形式として４つの画像を繋げるクアッドパノラマ映像を用いたが、４つの画像である必要はない。その場合、カメラは、Ｓ１５０４及びＳ１５０６、Ｓ１５１３で判定する人数も部分画像の数に合わせて変更する。

＜実施形態２＞
実施形態１の図５は、カメラ１０３及び１０６の各構成をハードウェアで実装した場合を例に説明を行った。しかし、図５に示した構成の一部をソフトウェアとしてカメラに実装するようにしてもよい。
図１６は、カメラ１０３及び１０６のハードウェア構成の一例を示す図である。
図１６に示されるように、カメラは、撮像部５０１と、ＣＰＵ１６０１と、メモリ１６０２と、入力部１６０３と、表示部１６０４と、通信部５０９と、を有する。
撮像部５０１及び通信部５０９は、実施形態１のそれらと同様である。
ＣＰＵ１６０１は、カメラ全体を制御する。メモリ１６０２は、プログラム及びＣＰＵ１６０１がプログラムに基づき処理を実行する際に使用するデータ等を記憶する。入力部１６０３は、ボタン等を介したユーザ操作に関する上オフをＣＰＵ１０６１に入力する。表示部１６０４は、ＣＰＵ１０６１の処理の結果を表示する。
ＣＰＵ１０６１がメモリ１６０２に記憶されたプログラムに基づき処理を実行することによって、実施形態１の画像生成部５０２〜出力部５０８が、実施形態２ではソフトウェア構成として実現される。また、ＣＰＵ１０６１がメモリ１６０２に記憶されたプログラムに基づき処理を実行することによって、上述した図１２、図１３及び図１５のフローチャートの処理が実現される。
実施形態２によっても、会議に参加している人がわかりやすく映るように、適切な画像分割処理及び歪補正処理を行った画像を提供することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、ダブルパノラマ映像を、分割した領域７０１と領域７０２を図８のように上下に並べた映像としたが、領域７０１及び領域７０２を横に並べた映像としてもよい。また、フローチャートの処理を、会議端末装置が実行するようにしてもよい。

１０３、１０６ 撮像装置
１６０１ ＣＰＵ

Claims (13)

1. 会議参加者の顔情報を取得する取得手段と、
   魚眼レンズを用いて撮像された撮像画像から人物を検知し、前記会議参加者の顔情報を用いて検知した人物を特定する特定手段と、
   前記人物の数に従って、前記撮像画像から部分画像を切り取る切り取り手段と、
   前記人物の数に従って、前記部分画像に対して歪みを補正する補正手段と、
   前記補正手段により補正された部分画像を出力する出力手段と、
   を有する画像処理装置。
2. 前記切り取り手段は、前記特定手段により特定された人物の数に従って、特定された人物を切り取るよう前記撮像画像から部分画像を切り取る請求項１に記載の画像処理装置。
3. 前記切り取り手段は、前記特定手段により特定された人物の数に従って、全体を２分割した映像を生成するために前記撮像画像から部分画像を切り取る請求項１に記載の画像処理装置。
4. 前記切り取り手段は、前記特定手段により特定された人物の数に従って、複数の切り出し画像を結合した映像を生成するために前記撮像画像から部分画像を切り取る請求項１に記載の画像処理装置。
5. 前記切り取り手段は、前記特定手段により特定された人物の数に従って、切り出し映像を生成するために前記撮像画像から部分画像を切り取る請求項１に記載の画像処理装置。
6. 前記切り取り手段は、前記撮像画像から部分画像を切り取る際は、人物が切れないように前記撮像画像から部分画像を切り取る請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記補正手段は、前記特定手段により特定された人物の数に従って、前記部分画像に対して歪みを補正する請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記切り取り手段は、前記特定手段により特定された人物の数と、会議における会議参加者ごとの優先度と、に従って、前記撮像画像から部分画像を切り取る請求項１に記載の画像処理装置。
9. 前記補正手段は、前記特定手段により特定された人物の数と、会議における会議参加者ごとの優先度と、に従って、前記部分画像に対して歪みを補正する請求項１又は８に記載の画像処理装置。
10. 前記出力手段は、前記人物の数に従って、出力する部分画像を変更する請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記画像処理装置は、撮像装置である請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 会議参加者の顔情報を取得する取得工程と、
    魚眼レンズを用いて撮像された撮像画像から人物を検知し、前記会議参加者の顔情報を用いて検知した人物を特定する特定工程と、
    前記人物の数に従って前記撮像画像から部分画像を切り取る切り取り工程と、
    前記人物の数に従って前記部分画像に対して歪みを補正する補正工程と、
    前記補正工程により補正された部分画像を出力する出力工程と、
    を含む画像処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images