JP2020021211A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】遠隔地において視認性の高い表示を得る画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】撮影画角を制御できる撮影装置で撮影された映像から手書き行為を検出し、手書き行為が行われている紙に対応する画像データベースに蓄積されている画像データを特定し、手書き行為が行われている紙に対応する手書き位置を検出し、手書き位置を用いて撮影装置の画角を制御し、撮影装置が撮影した映像を送信し、手書き位置、撮影装置の画角から、画像データに手書き行為の映像を重畳表示するためのパラメータを決定する。【選択図】図２

Description

本発明は、ネットワークで接続した遠隔地でデータを表示させる技術に関するものである。

デザイン画のような複数の紙を対象としてコンペやレビューを行う場合において、レビュー責任者となる人物がコメントや指示を手書きで書き込むことがある。このようなデザイン画のレビューは、すべての対象となる紙とレビューの作成者を１ヵ所に集めて行われるのが通常であるが、人員の移動コストなどを考慮し作成者は複数の拠点にいる状態でネットワークを介してレビューを行うシステムが求められている。

ネットワークで接続された遠隔地とビデオ会議を行うシステムが存在する。通常のビデオ会議システムでは、カメラによって撮影されているライブ映像やコンピュータの画面、マイクからの音声を双方向に通信し、共有することによって会議が行われる。このようなシステムを使うことによって、遠隔地ではライブ映像と音声によってレビューの状況を共有することができる。

特許文献１では、映像中から動きのある被写体を検知して、一定の大きさで撮影できるように撮影装置のパン・チルト・ズームを制御して撮影を行っている。このような技術をビデオ会議システムに適用することによって、被写体（人物、紙）などを自動で追尾し一定の大きさで撮影を続けるシステムが構築できる。

特許文献２では、ビデオ会議システムにおいて、映像を手書き可能なスクリーンに投影し、片方で手書きされた情報を他方へ送信して合成画像を表示することが行われている。

合成画像を生成する場合において、特許文献３では、重なりあう領域を持つ２枚の画像に共通して存在する特徴点をマッチングすることによって位置ずれのない合成画像の生成が行われている。

特開２０１３−２４３６４０号公報 特開２０１１−２１７３５０号公報 特開２００５−３２８４９７号公報

ビデオ会議システムを使い、撮影装置によって手書きされた紙全体を撮影して遠隔地で表示する。撮影装置と紙の位置関係により映像には３次元的な歪みがあり、長方形の紙は台形のような形状に撮影される。カメラから遠い位置にある情報は少ない画素で構成されるため、手書き部分が不鮮明となり読みづらくなる場合がある。

逆に、映像中の手を被写体として認識し、その周辺をズームアップするように撮影装置のパン・チルト・ズームを制御して撮影を行うと、手書き部分は視認しやすくなるが、紙全体が見えないため、どの部分を指しているのかを理解することが難しくなる。

本発明は上記の課題に鑑みてなされたものであり、遠隔地において視認性の高い表示を得る画像処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は以下の構成を備える。即ち、撮影画角を制御できる撮影装置で撮影された映像から手書き行為を検出する行為検出手段と、前記手書き行為が行われている対象に対応する画像データベースに蓄積されている画像データを特定する特定手段と、前記手書き行為が行われている対象に対応する手書き位置を検出する位置検出手段と、前記手書き位置を用いて前記撮影装置の画角を制御する画角制御手段と、前記撮影装置が撮影した映像を送信する手段と、前記手書き位置、撮影装置の画角から、前記画像データに手書き行為の映像を重畳表示するためのパラメータを決定する決定手段。

本発明によれば、遠隔地において視認性の高い表示を得ることができる。

画像処理システムの構成例 レビュー地映像処理のフローチャート 遠隔地映像処理のフローチャート 紙面検出例 レビュー対象紙検出例 ズームアップ撮影画角例 ズームアップ撮影重畳映像例

［実施形態１］
レビュー地と遠隔地をネットワークで接続して行われるレビューにおいて、レビュー地にレビュー対象となる紙が全て集められており、レビュー責任者などのコメントや指示が手書きされる。レビュー対象の紙は、スキャンするか、電子データからレンダリングすることによって画像データベースにあらかじめ蓄積されているものとする。遠隔地においては、レビュー地にあるカメラによって撮影された映像がライブで投影することや、画像データベースに蓄積されている画像を投影できるものとする。

図１は実施形態１の画像処理システムの構成を示すブロック図である。

撮影装置１０１は、映像の撮影装置である。ネットワーク１０４に繋がることで、映像データを画像処理サーバ１０６や遠隔地側の表示装置１０７へ送信することができる。

マイク１０２は、レビュー地に存在するマイクである。このマイクから入力されたサウンドデータは遠隔地のスピーカー１０９に出力される。

スピーカー１０３は、レビュー地に存在するスピーカーである。このスピーカーからは遠隔地のマイク１０８から入力されたサウンドデータが出力される。

ネットワーク１０４は、レビュー地に存在する装置、遠隔地に存在する装置、画像処理サーバなどを繋ぐネットワークである。ＬＡＮで接続されても良いし、公衆回線を経由して接続されても良い。

画像データベース１０５は、レビュー対象となる紙をスキャンすることや、電子データをレンダリングすることで生成した画像データを保存するデータベースである。本システムでは、レビュー対象となる全ての紙の画像は、あらかじめ生成されて画像データベース１０５に蓄積されているものとする。本実施形態では、紙を対象として手書き行為を行う例について説明するが、対象は電子データでも良い。

画像処理サーバ１０６は、画像データベース１０５に接続されており、画像データベースから得られた画像データや撮影装置１０１で撮影された映像データに対して各種画像処理を実行する画像処理装置である。画像処理装置はＣＰＵを備え、ＣＰＵはプログラムを実行することで各種の手段として機能しても良い。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。

図１では、画像処理サーバ１０６は、１つの装置としてネットワークを介して接続されるように描いているが、撮影装置１０１と直接繋がる位置や表示装置１０７と直接繋がる位置に別の画像処理サーバとして存在し、複数台から構成されても良い。

表示装置１０７は、撮影装置１０１からの映像データや画像処理サーバ１０６で処理された画像データや映像データを遠隔地において表示するための表示装置である。複数人で見ることが想定されるため、大画面のディスプレイ装置やプロジェクタが表示装置となる。

マイク１０８は、遠隔地に存在するマイクである。このマイクから入力されたサウンドデータはレビュー地のスピーカー１０３に出力される。

スピーカー１０９は、遠隔地に存在するスピーカーである。このスピーカーからはレビュー地のマイク１０２から入力されたサウンドデータが出力される。

図１に示した構成のシステムで、レビュー地で行われた手書き部分を、手書き中や手書き行為の終了後に関わらず、遠隔地において視認性の高い表示を得る手段を説明する。

図２は実施形態１の撮影デバイスからサーバの処理を示すフローチャートである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ２０１は、終了指示があるかどうかを判定するステップである。終了の指示があるまで、Ｓ２０２以降の処理を繰り返すことになる。

ステップＳ２０２は、初期撮影画角を設定するステップである。撮影装置１０１にパン・チルト・ズームの設定をすることで初期撮影画角を設定する。初期状態においては、複数の紙面が撮影できるように広角になるようにズームを調整するものとする。

ステップＳ２０３は、撮影装置１０１から得られた映像から撮影画角内に存在する複数の紙面を検出するステップである。図４に示すように、撮影装置１０１から得られる映像には、複数の紙が３次元的な歪みをもって映っている。紙面検出は、映像から得られる１フレームの画像を使い、直線となるエッジを検出し、それらが４角形を構成する組み合わせを選ぶことで行うことができる。

ステップＳ２０４は、ステップＳ２０３の紙面検出処理によって紙面が検出できているかどうかを判定するステップである。検出できていればステップＳ２０５へ進み、検出できていなければ、ステップＳ２０３の紙面検出処理に戻る。

ステップＳ２０５は、撮影装置１０１から得られた映像内にある複数の紙面からレビュー対象となっている紙面を特定するステップである。ある紙のレビューが開始されると、書き込みや指差し行為のために映像中に手が映り込むため図５のような映像が取得できる。映像から得られる１フレームの画像を使い、手の検出処理を行う。手が検出できた場合において、検出されている複数の紙面の中からどの紙面に重なっているかを判断することによってレビュー対象の紙面を特定する。手の検出処理においては、右手・左手の区別や手の方向・姿勢も取得する。これらは機械学習で行う場合は学習データを区別して作成することによって検出が可能となる。手を検出し、手書き行為検出を行う。同時に複数の手が検出された場合は、例えば手の姿勢がペンを持つような姿勢であるか、指差しする姿勢であるかなどによって判断する。また紙を押さえるような姿勢であるものは除外することによって対象となる手の数を絞り込むこともできる。この時に袖の色情報などを取得しておくことで、次回以降の検出処理において対象を絞り込んでも良い。

ステップＳ２０６は、ステップＳ２０５の対象紙面特定処理によってレビュー対象の紙面が特定できているかどうかを判定するステップである。特定できていればステップＳ２０７へ進み、特定できていなければ、ステップＳ２０５の対象紙面特定処理に戻る。

ステップＳ２０７は、画像データベース１０５にあるレビュー対象の画像を特定するステップである。この処理では、撮影装置１０１から得られた画像からレビュー対象の紙面の領域を切り出して特徴点を抽出する。画像データベース１０５に保存されている全ての画像を対象にして同様に特徴点を抽出し、ＲＡＮＳＡＣなどの手法を使って特徴点のマッチングを行うことでレビュー対象の画像を特定することができる。

ステップＳ２０８は、ステップＳ２０７のＤＢ画像特定処理が特定できたかどうかを判定するステップである。ＤＢ画像が特定できていれば、ステップＳ２０９へ進み、特定できていなければ、ステップＳ２０７のＤＢ画像特定処理へ戻り、別のフレーム画像を使って再度特定処理を行う。

ステップＳ２０９は、遠隔地のシステムに対して、ステップＳ２０７で特定されたＤＢ画像を通知するステップである。

ステップＳ２１０は、遠隔地に手書きやジェスチャーをズームアップで撮影し、高精細映像を送信するための撮影画角を決定するステップである。この処理においては、図６に示す画像が得られており、ステップＳ２０５で得られたレビュー対象紙面と手の位置から画像の中での手の進む方向を決定し、画角を決定する。例えば横書きで書き込むことを前提とするならば、手の検出位置から手の移動方向右側と下側を広く撮影する。また、レビュー責任者の使用する使用言語やレビュー対象紙面に書き込まれている言語やその文字の並び（日本語の縦書き）の情報があれば、手の動く筆記方向を推定しても良い。手書き行為が行われている紙に対応する手書き位置検出を行って、撮影画角を決定している。

ステップＳ２１１は、遠隔地において、ズームアップ撮影された高精細映像をＤＢ画像に重畳表示するためのパラメータを決定するステップである。撮影装置１０１から得られる映像は３次元的な歪みを持つため、ＤＢ画像を重畳するときに歪みを補正し、位置を合わせるための画像変換のパラメータである。

ステップＳ２１２は、ステップＳ２１１で決定したパラメータを遠隔地のシステムへ送信するステップである。遠隔地のシステムは、このパラメータに従って撮影装置１０１から送信される映像を補正し、ＤＢ画像に位置合わせして重畳する。

ステップＳ２１３は、ステップＳ２１０で決定したズームアップ撮影の画角にしたがって撮影装置１０１のパン・チルト・ズームを設定する画角制御のステップである。以降は、遠隔地へはこの設定の映像が送信される。

ステップＳ２１４は、撮影装置１０１から得られる映像からズームアップ撮影を継続するかどうかを判定するステップである。例えば、単純な動き検出によって動きが検出できていれば継続と判定する。また、手の検出処理を行って検出されていれば継続と判定する。

ステップＳ２１５は、ステップＳ２１４のズームアップ撮影継続判定処理によって撮影を継続するかを切り替えるステップである。継続しない場合はステップステップ２１５へ進み、継続する場合はステップＳ２１４のズームアップ撮影継続判定処理に戻り、別のフレーム画像を使って再度判定処理を行う。継続しないと判定する条件を、ステップＳ２１４の結果が過去Ｎ回などあらかじめ決めた回数分継続しないと判定された場合としても良い。

ステップＳ２１６は、レビュー対象紙面に書き込まれた手書き部分をライブ映像以外でも見ることができるように永続データ化する処理を行うステップである。手書き部分は、文字だけではなく、手書きのイラストや図を含むものとする。永続化したデータを重畳した画像を生成する。

ステップＳ２１７は、遠隔地のシステムにズームアップ映像の重畳表示の終了を通知するステップである。この通知以降は、遠隔地においてはステップＳ２１６で得られた手書き部分の永続化が行われた画像が表示される。

次に遠隔地側の動作について図３を用いて説明する。

ステップＳ３０１は、遠隔地側の映像表示を撮影装置１０１の映像となるように指示するステップである。このステップ以降、遠隔地側では撮影装置１０１の映像が表示される。

ステップＳ３０２は、サーバからレビュー対象に対応するＤＢ画像の通知を受信するステップである。通常は画像を一意に決定することができるＩＤを受信する。

ステップＳ３０３は、ステップＳ３０２においてＤＢ画像のＩＤが受信したかどうかを判定するステップである。受信できていればステップＳ３０４に進み、受信できていなければステップＳ３１３に進む。

ステップＳ３０４は、ＤＢ画像と既に生成された手書き部分の永続化データを取得するステップである。

ステップＳ３０５は、ＤＢ画像と手書き部分の永続化データを静止画として表示することを指示するステップである。このステップ以降、遠隔地側ではステップＳ３０４で取得したＤＢ画像と永続化データが表示されることになる。

ステップＳ３０６は、撮影装置１０１から送られてくる手書き部分のズームアップ撮影のライブ映像をステップＳ３０４で得たＤＢ画像に対して重畳表示するためのパラメータを受信するステップである。

ステップＳ３０７は、ステップＳ３０６でパラメータを受信したかどうかを判定するステップである。受信した場合は、ステップＳ３０７に進み、受信していない場合は、ステップＳ３０６に戻り、パラメータ受信を行う。

ステップＳ３０８は、Ｓ３０４で得たＤＢ画像と手書き部分の永続化データに対してステップＳ３０６で受信したパラメータに従って撮影装置１０１から送られてくる映像を変換して重畳表示するステップである。例えば、撮影装置１０１から送られてくる映像が図７（Ａ）に示すものであった場合に、表示装置１０７に表示される映像は、図７（Ｂ）に示すものとなる。

ステップＳ３０９は、サーバからズームアップ映像表示の終了通知を受信するステップである。

ステップＳ３１０は、ステップＳ３０９で終了通知を受信できたかどうかを判定するステップである。受信できている場合は、ステップＳ３１１に進み、受信できていない場合は、ステップＳ３０８に進むことによって、重畳表示処理を続ける。

ステップＳ３１１は、サーバ側のステップＳ２１６で生成された手書き部分の永続化データを受信するステップである。

ステップＳ３１２は、ズームアップ映像の重畳表示を終了し、ＤＢ画像と手書き部分の永続化データを遠隔地の表示することを指示するステップである。このステップ以降は、遠隔地側ではステップＳ３０４で取得したＤＢ画像と永続化データに加え、ステップＳ３１１で受信した新たな永続化データが表示されることになる。このステップの後ステップＳ３０２に戻ることで、次のＤＢ画像通知が受信できるまで、Ｓ３１２で指示した表示が継続されることになる。

ステップＳ３１３は、現在の表示対象となっているものを継続して表示するステップである。

ステップＳ３１４は、システムの終了指示があるかどうかを判定するステップである。終了指示が無ければステップＳ３０２に戻ることで、次のＤＢ画像通知が受信できるまで、現在の表示が継続されることになる。終了指示があれば本フローを終了し、遠隔地側のシステムを停止する。

以上の図２、図３で説明したフローによって、レビュー地において手書き行為が行われている間は、遠隔地において手書き部分をズームアップ撮影した映像が、ＤＢ画像に位置を合わせて重畳表示される。レビュー地において手書き行為が終了すると、手書き部分の永続化データをＤＢ画像に位置合わせして重畳表示できる。よって、レビュー地で行われた手書き部分は、手書き中や手書き行為の終了後に関わらず、遠隔地において視認性の高い表示を得ることができる。

［実施形態２］
実施形態１において、遠隔地での手書き部のズームアップ撮影のライブ映像がそのままＤＢ画像に重畳表示しているが、この場合は、手が映り込むことによって隠れてしまう情報が存在する。このような場合において、ズームアップ映像を蓄積しておき、現在のフレームで手が存在する領域に対し、過去のフレームで手が重なっていないフレームを探索し、存在する場合は現在のフレームと合成することにより手を消したフレームを生成することができる。

この処理により、遠隔地では手書き部分のズームアップ映像が重畳表示されている場合において、手の隠れの少なく手書き部が多く視認できる映像を得ることができる。

以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮影装置
１０２ レビュー地のマイク
１０３ レビュー地のスピーカー
１０４ ネットワーク
１０５ 画像データベース
１０６ 画像処理サーバ
１０７ 表示装置
１０８ 遠隔地のマイク
１０９ 遠隔地のスピーカー

Claims (5)

1. 撮影画角を制御できる撮影装置で撮影された映像から手書き行為を検出する行為検出手段と、
   前記手書き行為が行われている対象に対応する画像データベースに蓄積されている画像データを特定する特定手段と、
   前記手書き行為が行われている対象に対応する手書き位置を検出する位置検出手段と、
   前記手書き位置を用いて前記撮影装置の画角を制御する画角制御手段と、
   前記撮影装置が撮影した映像を送信する手段と、
   前記手書き位置、撮影装置の画角から、前記画像データに手書き行為の映像を重畳表示するためのパラメータを決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 映像中の手の向き、前記手書き行為をする人物の使用言語、紙の横書きまたは縦書きの情報を元に筆記方向を推定する手段と、
   前記手書き位置に筆記方向を加えて撮影装置の撮影画角を決定する手段を持つことを特徴とする請求項１記載の画像処理装置。
3. 前記手書き行為が検出されなくなった場合に、
   手書き部分を永続データ化する手段と、
   紙の画像データに手書き部分を永続化したデータを重畳した画像を生成する生成手段と、
   前記生成手段で得られた画像を表示する表示手段を有することを特徴とする請求項１記載の画像処理装置。
4. 撮影画角を制御できる撮影装置で撮影された映像から手書き行為を検出する行為検出工程と、
   前記手書き行為が行われている紙に対応する画像データベースに蓄積されている画像データを特定する特定工程と、
   前記手書き行為が行われている紙に対応する手書き位置を検出する位置検出工程と、
   前記手書き位置を用いて前記撮影装置の画角を制御する画角制御工程と、
   前記撮影装置が撮影した映像を送信する送信工程と、
   前記手書き位置、撮影装置の画角から、前記画像データに手書き行為の映像を重畳表示するためのパラメータを決定する決定工程と、
   を備えることを特徴とする画像処理方法。
5. コンピュータを、
   撮影画角を制御できる撮影装置で撮影された映像から手書き行為を検出する行為検出手段と、
   前記手書き行為が行われている紙に対応する画像データベースに蓄積されている画像データを特定する特定手段と、
   前記手書き行為が行われている紙に対応する手書き位置を検出する位置検出手段と、
   前記手書き位置を用いて前記撮影装置の画角を制御する画角制御手段と、
   前記撮影装置が撮影した映像を送信する手段と、
   前記手書き位置、撮影装置の画角から、前記画像データに手書き行為の映像を重畳表示するためのパラメータを決定する決定手段と、として機能させるためのプログラム。

Images