JP2022092747A

JP2022092747A - 表示画像処理システム及び表示画像処理装置

Info

Publication number: JP2022092747A
Application number: JP2020205631A
Authority: JP
Inventors: 知樹坂; Tomoki Saka
Original assignee: Kanazawa Institute of Technology (KIT)
Current assignee: Kanazawa Institute of Technology (KIT)
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2022-06-23

Abstract

【課題】Ｗｅｂ会議システム等を利用するユーザ同士が容易に視線を合わせてコミュニケーション可能な表示画像処理システム及び表示画像処理装置の提供を目的とする。【解決手段】表示画面を視るユーザを複数のカメラから撮影して複数の撮影画像を取得する撮影画像取得手段と、前記複数の撮影画像から前記ユーザの立体情報を取得する立体情報取得手段と、前記立体情報から前記表示画面を視るユーザの正面画像を作成する画像作成手段と、前記正面画像を表示画面に表示するように制御する表示制御手段と、を備えることを特徴とする。【選択図】図１

Description

本発明は、表示画像処理システム及び表示画像処理装置に関する。

近年、ネットワークを介して互いに音声や画像を送受信することにより対話ができるＷｅｂ会議システムが、会議や面接、飲み会等の様々な場面で利用されている。
例えば、特許文献１のような画像入力装置付きラップトップ型コンピュータを使用した場合には、表示画面（平面ディスプレイ）の上部の略中央部に配設したカメラ（小型カメラ）から被写体であるユーザの画像を撮影できる。
また、特許文献２のように携帯端末を用いてＷｅｂ会議システムを利用する場合には、表示画面（表示器）の上部等にあらかじめ搭載されているカメラを用いて画像を撮影できる。

上記のようにカメラで撮影した画像は、カメラから視たユーザの画像として相手ユーザの表示画面に表示される。
すなわち、ユーザがカメラを視ながら話をすれば、表示画面に表示されるユーザの目は相手ユーザを直視しているような画像となり、まるで対面で会話しているような自然な感じに映る。
しかしながら、カメラを視ることで表示画面から視線が外れ、表示画面に表示される相手ユーザの顔などを確認できないために、多くのユーザは自然と表示画面を視ながら話をし、カメラから視線をずらしてしまう。
これにより、表示画面に表示されるユーザの目は下などを向いてしまう。
このように、ユーザ同士が視線を合わせて対話することが難しいため、Ｗｅｂ会議等において相手ユーザとの良好なコミュニケーションは取りづらいものとなっている。
また、表示画面の中央付近にカメラを設置することで表示画面を視るユーザを正面から
撮影できるが、この場合にはカメラが表示画面を遮蔽してしまう問題がある。

特開平５－６６８５５号公報特開２０１５－８２２０７号公報

本発明は、Ｗｅｂ会議システム等を利用するユーザ同士が容易に視線を合わせてコミュニケーション可能な表示画像処理システム及び表示画像処理装置の提供を目的とする。

本発明に係る表示画像処理システムは、表示画面を視るユーザを複数のカメラから撮影して複数の撮影画像を取得する撮影画像取得手段と、前記複数の撮影画像から前記ユーザの立体情報を取得する立体情報取得手段と、前記立体情報から前記表示画面を視るユーザの正面画像を作成する画像作成手段と、前記正面画像を表示画面に表示するように制御する表示制御手段と、を備えることを特徴とする。
複数のカメラから撮影して得られる複数の撮影画像は、いずれも２次元の画像データである。
この２次元の画像データから３次元の情報である立体情報を得ることで、立体情報の中からユーザの正面画像を作成するのに必要なデータを得ることができる。
これにより、ユーザが実際にカメラを視ていなくても、まるで表示画面内に設けたカメラから撮影したような表示画面を視るユーザの正面画像を仮想的に作成できる。

本発明において、前記表示画面は前記複数のカメラの間に介在し、前記撮影画像取得手段は、前記表示画面を視るユーザの顔領域を特定可能であることが好ましい。
複数のカメラは、例えば、表示画面の両脇（上下方向又は左右方向等）に表示画面を挟むように設置されていても、設置可能であってもよい。
また、本発明において、前記立体情報取得手段は、ステレオマッチングにより立体情報を取得してもよい。

本発明において、前記画像作成手段は、表示画面内に仮想カメラを設けて撮影したような該仮想カメラを視るユーザの正面画像を作成することが好ましい。
仮想カメラは、表示画面内であれば特にその位置は限定されない。
また、前記画像作成手段は、仮想カメラ位置における前記ユーザの特徴点の透視投影像を作成してもよい。

本発明に係る表示画像処理装置は、上記に記載の表示画像処理システムを備えた表示画像処理装置であって、複数のカメラと、該複数のカメラの間に介在する表示画面とを有することを特徴とする。

本発明によれば、ユーザがカメラではなく表示画面を視たままの状態で、まるで表示画面内に設けたカメラを視ているような画像を仮想的に作成できるため、Ｗｅｂ会議システム等を利用するユーザ同士の視線を合わせた対話を容易に可能とする。

本発明に係る表示画像処理システムの構成例をブロック図で示す。表示画像処理システムによる処理の流れをフローチャートで示す。（ａ）、（ｂ）は本発明に係る表示画像処理装置の構成例の一部を模式図で示し、（ｃ）はその表示画面に表示される画像の一例を示す。本発明に係る技術思想を説明するための模式図を示す。（ａ）、（ｂ）は従来装置の構成例の一部を模式図で示し、（ｃ）はその表示画面に表示される画像の一例を示す。

本発明に係る表示画像処置システム及び表示画像処理装置について、以下、図に基づいて説明する。
図１に本発明に係る表示画像処理システムの構成例をブロック図で示し、図２にその処理の流れをフローチャートで示す。
また、図３に本発明に係る表示画像処理装置の構成例の一部を模式図で示し、図４に本発明に係る技術思想を説明するための模式図を、図５に従来装置２０の構成例の一部を模式図で示す。

従来装置２０は、プロセッサ、メモリ、ストレージ、通信インタフェース等の他に、表示画面１１とカメラ１２を備えるパーソナルコンピュータなどであり、ネットワークを介して会議サーバへアクセスできる。
例えば、プロセッサにＷｅｂ会議の開始指示が入力されることで、特定のコンピュータプログラムを実行し、会議サーバへアクセスする。
会議サーバは、従来装置２０等を使用するユーザ間での会議を実現するためのサーバである。

従来装置２０を用いてＷｅｂ会議をする場合、例えば図５（ａ）に示すように表示画面１１の上側に配置したカメラ１２を用いてユーザ１を撮影することで、図５（ｃ）に示す表示画面１１内のグラフィカルユーザインタフェースである表示部１１ａにユーザ１が表示される。
このとき、ユーザ１がカメラ１２ではなく表示画面１１を視ることで、カメラ１２にはカメラ１２よりも下側の表示画面１１を視るユーザ１が撮影され、カメラ１２が出力した撮影画像はそのまま表示部１１ａに表示される。
これにより、表示部１１ａにはユーザ１の視線が下側を向いた状態、すなわち目２の下側に黒目２ａが位置する画像として表示される。
また、図５（ｂ）に示すように表示画面１１の右側に配置したカメラ１２を用いてユーザ３を撮影することで、図５（ｃ）に示すように表示画面１１内の表示部１１ｂにユーザ３が表示される。
このとき、ユーザ３がカメラ１２ではなく表示画面１１を視ることで、表示部１１ｂにはユーザ３の視線が左側を向いた状態、すなわち目４の左側に黒目４ａが位置する画像として表示される。
そのため、従来装置２０を用いたＷｅｂ会議では、表示画面１１に表示されるユーザ１，３（相手ユーザ及び／又はユーザである自分）と、表示画面１１を視るユーザ３，１とが、視線を合わせて対話することが困難であった。

そこで、本発明に係る表示画像処理装置１０は、表示画面１１を挟むように複数のカメラ１２，１３を配置し、会議サーバへアクセスするとプロセッサ等が表示画像処理装置システム１００を機能させるものとした。
図４に示すように、例えばユーザ１が図３（ａ）に示す表示画像処理装置１０の表示画面１１を視ると、表示画面１１の左側に配置したカメラ１２からは撮影画像１２ａが撮影され、表示画面１１の右側に配置したカメラ１３からは撮影画像１３ａが撮影される。
このとき、撮影画像１２ａに表示されるユーザ１の目２は、黒目２ａが右側に位置し、撮影画像１３ａでは黒目２ａが左側に位置することになる。
そこで、本発明においては、例えばカメラ１２，１３のおよそ中央位置に仮想カメラ１４があると仮想的に設定し、仮想カメラ１４から視たユーザ１の正面画像（仮想画像１４ａ）を作成することで、これを表示画面１１に表示する。
これにより、ユーザ１がカメラ１２、１３ではなく表示画面１１を視ながら話をしても、表示画面１１内に仮想カメラ１４を設けて撮影したようなユーザ１の正面画像、具体的には、図３（ｃ）に示すようにユーザ１の目２のおよそ中央に黒目２ａが位置するような画像として表示部１１ａに表示可能となる。
以下、本発明に係る表示画像処置システム１００及び表示画像処理装置１０について、より詳細に説明する。

表示画像処理装置１０は、例えばネットワーク通信機能を備えるパーソナルコンピュータ、タブレット端末、携帯端末などであり、ネットワークを介して会議サーバとデータ通信が可能である。
会議サーバは、表示画像処理装置１０等を使用するユーザ間での会議を実現するためのサーバであり、表示画像処理装置１０が会議サーバへアクセスすることで、Ｗｅｂ会議システムの利用が可能となる。
表示画像処理装置１０は、プロセッサ、メモリ、ストレージ、通信インタフェース等の他に、少なくとも図３に示すような表示画面１１と、複数のカメラ１２、１３を備える。
表示画面１１は、例えば音声を出力するスピーカを内蔵した液晶ディスプレイなどであり、プロセッサにより制御されて各種情報を表示する。
複数のカメラ１２、１３は、少なくとも２台以上のカメラであり、表示画面１１を挟むように表示画面１１の両脇（上下方向、左右方向又は対角方向等）に配置され、表示画面１１を視るユーザを撮影する。
例えば図３（ａ）に示すように、カメラ１２、１３を表示画面１１の左右方向両脇に配置した横長の表示画像処理装置１０は、９０度回転することで図３（ｂ）に示すような縦長の表示画像処理装置１０として使用してもよい。
また、表示画像処理装置１０は、表示画面１１の両脇にカメラ１２、１３を設置した状態で市場に流通するものであってもよく、カメラ１２、１３等を表示画面１１に対して後から備え付け可能なものであってもよい。
カメラ１２，１３は、例えばマイクロフォンが内蔵されており、マイクロフォンにより集音された音声成分を含む撮影画像を撮影でき、カメラ１２、１３が出力した撮影画像はプロセッサに入力される。
表示画像処理装置１０は、プロセッサ等に予め表示画像処理システム１００を備えているものであってもよいし、後から表示画像処理システム１００を備え付けられるものであってもよい。

以下、図３に示す表示画像処理装置１０に備えた表示画像処理システム１００を実施例にして、詳細に説明する。
表示画像処理システム１００は、図１に示すように撮影画像取得手段１１０と、立体情報取得手段１２０と、画像作成手段１３０と、表示制御手段１４０を備える。
図２に、この表示画像処理システム１００による処理の流れをフローチャートで示す。

撮影画像取得手段１１０は、表示画面１１を視るユーザ１を複数のカメラ１２，１３から撮影して複数の撮影画像を取得する。
撮影画像取得手段１１０による処理の流れとしては、図２に示すようなカメラ起動Ｓ１１１，カメラキャリブレーションＳ１１２、顔認識ニューラルネットワーク読み込みＳ１１３、仮想カメラ初期位置設定Ｓ１１４を含んでもよい。
カメラ起動Ｓ１１１は、表示画面１１を視るユーザ１を撮影するためのカメラ１２、１３を起動させる。
カメラキャリブレーションＳ１１２は、カメラレンズ焦点距離などの内部パラメータ、カメラ１２，１３の位置・姿勢を表す外部パラメータ、カメラレンズの歪収差係数を求め、カメラ１２、１３で撮影した撮影画像を補正処理する。
カメラキャリブレーションＳ１１２は、例えばＺｈａｎｇの手法を用いてもよい。
顔認識ニューラルネットワーク読み込みＳ１１３は、ニューラルネットワークによりユーザ１の顔領域を特定する。
顔認識ニューラルネットワーク読み込みＳ１１３は、ディープランニング等によりユーザ１の目２（黒目２ａ）の動きを追うことが好ましい。
仮想カメラ初期位置設定Ｓ１１４は、表示画面１１内に仮想カメラ１４の位置を仮想的に設定する。
仮想カメラ１４の位置は、カメラ１２，１３の位置等を計算することで、表示画面１１内に自由に設定できる。

立体情報取得手段１２０は、上記により撮影した撮影画像からユーザ１の立体情報を取得する。
立体情報取得手段１２０としては、ステレオマッチングＳ１２１、特徴点の３Ｄ座標計算Ｓ１２２、顔領域検出Ｓ１２３を含むことが好ましい。
ステレオマッチングＳ１２１は、複数のカメラ１２，１３で撮影した撮影画像である２次元の画像データを基に、３次元の情報であるユーザ１の立体情報を推定する。
特徴点の３Ｄ座標計算Ｓ１２２は、上記ステレオマッチングＳ１２１より推定された立体情報から、具体的にユーザ１の特徴点、例えば顔領域の目、鼻、口などの各パーツの立体座標を計算する。
顔領域検出Ｓ１２３は、上記特徴点の３Ｄ座標計算により求めたユーザ１の顔領域の座標数値を検出する。

画像作成手段１３０は、仮想カメラ１４を視るユーザ１の正面画像を作成する。
画像作成手段１３０による処理の流れとしては、仮想カメラ位置更新Ｓ１３１，仮想カメラ位置における特徴点の透視投影像作成Ｓ１３２を含む。
仮想カメラ位置更新Ｓ１３１は、顔認識ニューラルネットワーク読み込みＳ１１３によりユーザ１の目の動きを追うことで、表示画面１１を視るユーザ１の視点の先に仮想カメラ１４の位置を再設定する。
仮想カメラ位置における特徴点の透視投影像作成Ｓ１３２は、顔領域検出Ｓ１２３により検出した特徴点の３Ｄ座標数値から、表示画面１１内の仮想カメラ１４を視るユーザ１の正面画像、具体的には黒目２ａの位置が目２のおよそ中央になる透視投影像を作成する。

表示制御手段１４０は、上記透視投影像を表示画面１１に表示するように制御する。
仮想カメラ透視投影像の表示Ｓ１４１は、仮想カメラ位置における特徴点の透視投影像作成Ｓ１３２により作成した透視投影像を、表示画面１１内の表示部１１ａ等に表示するように制御する。
本発明に係る画像表示処理システム１００は、撮影画像取得手段１１０、立体情報取得手段１２０、画像作成手段１３０、表示制御手段１４０をＷｅｂ会議又はカメラ撮影を終了するまで繰り返し実施する。
具体的には、顔認識ニューラルネットワーク解放Ｓ１５１を経て、カメラ停止Ｓ１５２を実施することで、Ｗｅｂ会議を終了する又はカメラ１２，１３での撮影を終了することになる。

本実施例においては、表示画面１１を１人のユーザが視る場合で説明したが、表示画面１１を２人以上のユーザで視る場合にも適応できる。
具体的には、例えば装置画像処理装置１０の表示画面１１をユーザ１，３の２人で視る場合には、図３（ｃ）に示すように表示画面１１内に表示部１１ａ、１１ｂを別々に設けることで、表示部１１ａ、１１ｂに目２，４のおよそ中央に黒目２ａ、４ａが位置する各ユーザ１，３の画像を表示することも可能である。
表示画像処理システム１００は、さらに補完手段を有していてもよい。
補完手段により、画像作成手段１３０や表示制御手段１４０等を補完することで、透視投影像をより綺麗な画像に表示することができ、実際のカメラで撮影した画像により近づけることができる。

本発明により、Ｗｅｂ会議システム等を利用するユーザ同士の視線を合わせた対話が容易に可能となるが、本発明に係る技術思想を証明写真機に応用することもできる。
証明写真機に応用することで、撮影者はカメラを視ないで表示画面を視たまま、鏡を視るように証明写真を撮影することができる。

１ユーザ
１０表示画像処理装置
１１表示画面
１２カメラ
１３カメラ
１４仮想カメラ
１００表示画像処理システム
１１０撮影画像取得手段
１２０立体情報取得手段
１３０画像作成手段
１４０表示制御手段

Claims

表示画面を視るユーザを複数のカメラから撮影して複数の撮影画像を取得する撮影画像取得手段と、
前記複数の撮影画像から前記ユーザの立体情報を取得する立体情報取得手段と、
前記立体情報から前記表示画面を視るユーザの正面画像を作成する画像作成手段と、
前記正面画像を表示画面に表示するように制御する表示制御手段と、
を備えることを特徴とする表示画像処理システム。
前記表示画面は前記複数のカメラの間に介在し、
前記撮影画像取得手段は、前記表示画面を視るユーザの顔領域を特定可能であることを特徴とする請求項１に記載の表示画像処理システム。
前記立体情報取得手段は、ステレオマッチングにより立体情報を取得することを特徴とする請求項１又は２に記載の表示画像処理システム。
前記画像作成手段は、表示画面内に仮想カメラを設けて撮影したような該仮想カメラを視るユーザの正面画像を作成することを特徴とする請求項１～３のいずれかに記載の表示画像処理システム。
前記画像作成手段は、仮想カメラ位置における前記ユーザの特徴点の透視投影像を作成することを特徴とする請求項４に記載の表示画像処理システム。
請求項１～５のいずれかに記載の表示画像処理システムを備えた表示画像処理装置であって、
複数のカメラと、該複数のカメラの間に介在する表示画面とを有することを特徴とする表示画像処理装置。