JP2013232830A - 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】自端末で撮像した画像の一部に相手側には視認されたくない画像の領域がある場合に、相手側では当該領域の画像を視認されなくする。
【解決手段】パラメータ算出部２２ａは、画像取得部１２ａにより取得された画像データのうち非表示領域の座標範囲内にある画像データに対して送信を禁止し、非表示領域の座標範囲内では画像データとは別の画像データを相手側のテレビ会議装置１００に送信し、非表示領域の座標範囲外では画像データを相手側のテレビ会議装置１００に送信する。
【選択図】図４

Description

本発明は、通信回線を介して画像データを送信するのに好適な画像処理システム、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、画像処理システムとしては、少なくとも２つの遠隔地に設けられた画像処理装置の間でネットワークを介して、互いに映像データおよび音声データを送受信するテレビ会議システムが既に知られている。
また、近年、画像処理システムとしては、一方側の画像処理装置において撮像素子上に結像した被写体を撮像装置で撮像して画像データを取得し、マイクロフォンで収集した音声話をＡ／Ｄ変換して音声データを取得し、ネットワークに接続して画像データおよび音声データを他方の画像処理装置へ送信する。他方側の画像処理装置において、受信した画像データをプロジェクタからスクリーンに投射し、受信した音声データをスピーカから外部に出力するように構成されたテレビ会議システムが知られている。
また、撮像装置に広角レンズを使用して所望の部分のみを切り出して画像データを伝送するように構成されたテレビ会議装置を複数備えたものが知られている。

しかし、従来の画像処理装置では、相手側のカメラの位置を自由に操作することができず、視認したい箇所がディスプレイに表示されない場合、相手側にいる会議の参加者にカメラの回転操作を依頼する必要があり、会議のスムーズな進行を中断させ、会議の進行に多大な影響を与えてしまうといった問題があった。
また、遠隔地側から撮影画像の切出し領域を指示するデジタルパン・チルト機能を備えたカメラも存在する。
しかし、マイクロフォン、ネットワーク制御部、スピーカなどを一体化したテレビ会議装置では持ち運びを可能にしたいという要望もある。実験室やオフィスなどの狭いスペースで会議を行った際、相手側から映像範囲の移動操作ができてしまうと、相手側には視認されたくない（見せたくない）場所や物品まで視認されてしまう可能性があるといった問題があった。

また、会議参加者のみを切り出して表示するトリミング技術も知られているが、会議参加者のみを切り出すと会議の臨場感を損ねてしまうといった問題があった。
特許文献１には、コンパクトな構成でコストのかからない長寿命なカメラ用パン・チルト装置を提供する目的で、遠隔操作によりカメラから外部に出力する画像データの取り出し位置を指定する方法が開示されている。特に、特許文献１には、遠隔地側からカメラの画像データの取り出し位置を指定する点が開示されている。
しかし、遠隔地側にいる参加者には視認されたくない（見せたくない）場所や物品まで視認されてしまう可能性があるといった問題は解消できていない。
そこで、遠隔地側からデジタルパン・チルト機能を可能にし、撮影する画像を自由に容易に操作することを可能にし、会議のスムーズな進行を可能とするとともに、遠隔地側から視認されたくない箇所は視認される心配が無く、より臨場感のあるテレビ会議システムの提供が切望されている。

本発明は、上記に鑑みてなされたもので、その目的としては、一方側で撮像した画像の一部に他方側には視認されたくない画像の領域がある場合に、他方側では当該領域の画像を視認されなくすることが可能となる画像処理システム、画像処理装置、画像処理方法および画像処理プログラムを提供することにある。

本発明は、通信回線を介して互いに画像データを送受信する画像処理装置を少なくとも２つ以上備えた画像処理システムであって、一方側の前記画像処理装置は、撮像対象を撮影して画像データを取得する画像取得手段と、前記画像データの一部を他方側の画像処理装置に表示しないために非表示領域の座標を入力する座標入力手段と、前記画像取得手段により取得された画像データのうち前記非表示領域の座標範囲内にある画像データに対して送信を禁止し、前記非表示領域の座標範囲内では前記画像データとは別の画像データを他方側の画像処理装置に送信し、前記非表示領域の座標範囲外では前記画像データを他方側の画像処理装置に送信するように制御する送信制御手段と、を有することを特徴とする画像処理システムである。

本発明によれば、一方側の画像処理装置は、撮像対象を撮影して画像データを取得し、画像データの一部を他方側の画像処理装置に表示しないために非表示領域の座標を入力し、取得された画像データのうち非表示領域の座標範囲内にある画像データに対して送信を禁止し、非表示領域の座標範囲内では画像データとは別の画像データを他方側の画像処理装置に送信し、非表示領域の座標範囲外では画像データを他方側の画像処理装置に送信するように制御することで、一方側の画像処理装置で撮像した画像の一部に他方側の画像処理装置に相手側には視認されたくない画像の領域がある場合に、他方側では当該領域の画像を視認されなくすることが可能となる。
これにより、遠隔地側から視認されたくない箇所は視認される心配が無く、より臨場感を得ることができる。

本発明の実施形態に係わる画像処理装置を用いた画像通信システムの構成について説明するための図である。 図１に示すテレビ会議端末の外観図である。 図１に示す撮像装置１０と処理装置２０とのハードウェア構成について説明するための図である。 図３に示す撮像装置１０と処理装置２０の機能ブロックを示す図である。 会議風景のイメージを示す図である。 図５に示した環境において撮影された画像のイメージを示す図である。 撮影された画像の中にある棚７４の領域（非表示領域７７）を指定することを示す説明図である。 撮影された画像の中の表示範囲８１を示す図である。 表示範囲８１の中にある非表示領域８３に対して画素を１色に塗りつぶしたことを示す図である。 （ａ）、（ｂ）は飛ばし処理を施し、非表示領域７７以外の画像を出力することを示す図である。 操作ボタン示す上面図である。 図１に示すテレビ会議装置による全体の処理の流れを示すフローチャートである。 図１２に示す座標決定処理について説明するためのサブローチンのフローチャートである。 図２に示す遠隔操作許可確認信号送信処理を示すサブルーチンのフローチャートである。 図１に示すテレビ会議装置が利用するパラメータのリストを示す表である。 図４に示す処理装置２０の操作部に操作ボタンを追加した操作部３１を示す図である。

本発明の実施形態に係わるテレビ会議装置は、映像伝送に先立って、表示エリアの座標をカメラ出力部のメモリに記憶し、メモリに記憶した座標を読み出して表示することで、表示エリアを調整する手間を減らし、さらに表示しない（非描画）エリアを指定できるもので、要するに、出力エリアをメモリに記憶する点と、相手側（他方側）には視認されたくない場所を非表示領域にする点に特徴がある。

以下、本発明の特徴について、図面を参照して詳しく説明する。
図１を参照して、本発明の実施形態に係わる画像処理装置を用いた画像通信システム１の機能構成について説明する。
図１に、本実施形態に係わるテレビ会議システム１の概略構成図を示す。本テレビ会議システム１は、拠点Ａ、Ｂ、Ｃに設置された複数のテレビ会議端末１００ａ、１００ｂ、１００ｃと、これらテレビ会議端末が接続されるネットワークＮで構成される。テレビ会議端末１００は撮像装置１０と処理装置２０を備えている。テレビ会議端末１００は、マイク５、スピーカ６、ディスプレイ７なども備え、撮像装置１０と同様に、処理装置２０に接続されている。

例えば、拠点Ａに設置されたテレビ会議端末１００ａの撮像装置１０で撮影された画像（静止画像又は動画像）は、撮像装置１０と処理装置２０との連携動作により画像データに補正処理を施し、当該テレビ会議端末１００内のディスプレイ７（図２参照）に画像を表示すると同時に、この補正処理を施した画像データは、ネットワークＮに接続された拠点Ｂに設置されている相手側のテレビ会議端末１００Ｂにも伝送されて、そのディスプレイ７に画像が表示される。
例えば、拠点Ｂに設置されているテレビ会議端末１００ａにおいて、操作者が操作部（図４参照）の拡大／縮小ボタンを押下すると、当該テレビ会議端末１００ａ内に設けられた同じく撮像装置１０と処理装置２０と連携動作によりデジタルズーム処理が施され、デジタルズーム画像が当該テレビ会議端末１００ａのディスプレイ７に表示されると同時に、ネットワークＮに接続された拠点Ｂに設置されているテレビ会議端末１００Ｂにも画像データが伝送されて、そのディスプレイ７に画像表示される。
このテレビ会議システム１によれば、ネットワークＮに接続された複数のテレビ会議端末において、撮影した画像データを正面位置から撮影した正面画像に補正するあおり補正処理（台形歪補正処理）や、ズーム倍率に応じて画像データを拡大するデジタルズーム処理が施された画像データをリアルタイムに表示することが可能になる。

次に、図２を参照して、図１に示すテレビ会議端末１００の具体的な外観について説明する。以下、テレビ会議端末１００の長手方向をＸ軸方向とし、水平面内でＸ軸方向と直交する方向をＹ軸方向（幅方向）とし、Ｘ軸方向およびＹ軸方向に直交する（鉛直方向、高さ方向）をＺ軸方向として説明する。
テレビ会議端末１００は、筐体４０、アーム５０、ハウジング５２を備えている。このうち、筐体４０の右側壁面４１には、音収音用の孔４２が設けられる。当該音収音用の孔４２を通過した、外部からの音声が内部に設けられたマイク５（図１参照）により収音される。

また、上面部４３には、電源スイッチ４４と、音出力用の孔４５が設けられる。操作者が、電源スイッチ４４をＯＮ操作することで、テレビ会議端末１００を起動することができる。また、スピーカ７（図１参照）から出力された音声は、音出力孔４５を介して外部に出力される。
また、筐体４０の左側壁面４７側には、アーム５０及びカメラハウジング５２を収容するための、凹形状の収容部４６が形成されている。また、筐体４０の左側壁面４７には、接続口（図示せず）が設けられている。接続口は、映像出力ユニット２４と、ディスプレイ７とを接続するためのケーブル７ａが接続されている。
また、アーム５０は、トルクヒンジ５１を介して、筐体４０に取り付けられている。アーム５０が、筐体４０に対して、１３５度のチルト角ω１の範囲で、上下方向に回転可能に構成されている。図２では、チルト角ω１が９０度の状態であることを示している。チルト角ω１を０度に設定することで、アーム５０及びカメラハウジング５２を収容部４６に収容することができる。

カメラハウジング５２には、内蔵型の撮像装置１０が収容されている。当該撮像装置１０により、人物（例えば、テレビ会議の参加者）や、用紙に記載された文字や記号、部屋などを撮影することができる。また、カメラハウジング５２には、トルクヒンジ５３が形成されている。カメラハウジング５２は、トルクヒンジ５３を介してアーム５０に取り付けられている。カメラハウジング５２がアーム５０に対して、図２に示す状態を０度として、±１８０度のパン角ω２の範囲で、かつ、±４５度のチルト角ω３の範囲で、上下左右方向に回転可能に構成されている。
また、テレビ会議端末１００は、図２に記載されたものではなく、他の構成であっても良い。例えば、ＰＣ（Personal Computer）に、スピーカ６やマイク５を外部接続したものを用いてもよい。また、本テレビ会議端末１００をスマートフォンなどの携帯型端末に適用しても良い。

次に、図３を参照して、図１に示す撮像装置１０と処理装置２０とのハードウェア構成について説明する。
テレビ会議端末１００は少なくとも撮像装置１０と処理装置２０で構成される。処理装置２０は、例えばパーソナルコンピュータである。撮像装置１０と処理装置２０の間は有線（ＵＳＢ等）あるいは無線で接続される。
撮像装置１０は、被写体像が入射するレンズ１１と、レンズ１１によって結像された撮像対象の光学像をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの画像センサ１２と、アナログ電気信号をＡ／Ｄ変換してデジタル信号であるフレーム画像に対して各種画像処理を行うＩＳＰ（Image Signal Processor）などから構成される画像処理ユニット１３と、フレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などを処理装置２０との間で送受信するＩ／Ｆユニット１４などを備えて構成される。

処理装置２０は、撮像装置１０との間でフレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などを送受信するＩ／Ｆユニット２１と、種々の処理を実行するＣＰＵ（Central Processing Unit）２２、ＣＰＵ２２の処理に必要な各種ソフトウエアやデータ、フレーム画像や各種画像処理済みフレーム画像などを格納するメモリ２３と、処理装置２０に接続したモニタ７などに映像信号を伝送する映像出力ユニット２４と、画像データや制御データなどをネットワークＮに接続された相手側のテレビ会議端末に送信する通信ユニット２５と、装置全体を制御する制御ユニット２６と、各ユニットを接続するバス２７などで構成される。メモリ２３は、揮発性メモリであるＲＡＭ、ＲＯＭ、ＨＤＤ（Hard Disk Drive）などの総称である。他に操作者からの指示を受け付ける操作指示受付ユニットなどもあるが、図３では省略してある。

次に、図４を参照して、図３に示す撮像装置１０と処理装置２０との機能ブロックの構成について説明する。
撮像装置１０において、画像センサ１２は、撮像対象を撮影して画像信号を取得して画像変換部１３ａに伝送する画像取得部１２ａを備える。
画像処理ユニット１３は、画像取得部１２ａから受信した画像信号をＡ／Ｄ変換して画像データを出力画像伝送部１４ａに出力するとともに、パラメータ設定部１３ｂにより設定されたパラメータに基づいて、表示すべき画像範囲を切り出して出力用の画像データを生成する画像変換部１３ａと、パラメータ伝送部２１ａから受信したパラメータを画像変換部１３ａに設定するパラメータ設定部１３ｂとを備える。
Ｉ／Ｆユニット１４は、画像変換部１３ａにより生成された画像データを映像出力ユニット２４および通信ユニット２５に伝送する出力画像伝送部１４ａを備える。
処理装置２０には、上述したように、画像データをディスプレイ７に出力する映像出力ユニット２４と、画像データや制御データなどをネットワークに接続された相手側のテレビ会議端末に送信する通信ユニット２５とを備えている。

操作部３１は、操作者が各種ボタン（図示しない）を押下したことを検出して操作信号をパラメータ算出部２２ａに出力する。
ＣＰＵ２２は、操作部３１又は遠隔操作部３０から伝送されてくる操作信号に基づいて、出力する画像データの座標範囲をパラメータとして算出し、算出した座標範囲のパラメータをパラメータ伝送部２１ａに出力するパラメータ算出部２２ａを備えている。
Ｉ／Ｆユニット２１は、パラメータ算出部２２ａにより算出された座標範囲のパラメータをパラメータ設定部１３ｂに伝送する。
なお、遠隔操作を行う場合、拠点Ｂに設置された相手側のテレビ会議端末１００ｂのパラメータ算出部２２ａにおいてパラメータ算出を行い、パラメータ伝送部２１ａからネットワークＮを介して、拠点Ａに設置されたテレビ会議端末１００ａのパラメータ伝送部２１ａへパラメータを伝送するように構成しても良い。

次に、図４を参照して、図３に示す撮像装置１０と処理装置２０の機能ブロックの動作について説明する。
画像取得部１２ａは、撮像対象を撮影して画像信号を取得して画像変換部１３ａに伝送する。画像変換部１３ａは、受信した画像信号をＡ／Ｄ変換して得た画像データに対してパラメータ設定部１３ｂの値に応じた画像処理を行い出力画像伝送部１４ａに出力する。出力画像伝送部１４ａは、画像データを処理装置２０に設けられた映像出力ユニット２４および通信ユニット２５に伝送する。映像出力ユニット２４は、出力画像伝送部１４ａから伝送された画像データをディスプレイ７に出力して画像を表示する。通信ユニット２５は、出力画像伝送部１４ａから伝送された画像データを、ネットワークＮを介して相手側のテレビ会議端末１００に送信する。
パラメータ算出部２２ａは、操作部３１又は遠隔操作部３０から伝送されてくる操作信号、出力画像の表示エリア（水平画素数と垂直画素数）に基づいて、出力する画像データの座標範囲を示すパラメータを算出する。パラメータ算出部２２ａが算出した座標のパラメータは、パラメータ伝送部２１ａからパラメータ設定部１３ｂに伝送する。

撮像装置１０では、パラメータ伝送部２１ａから伝送されてくるパラメータをパラメータ設定部１３ｂによって受信し、パラメータ設定部１３ｂが受信したパラメータを画像変換部１３ａに設定する。
画像変換部１３ａは、画像取得部１２ａによって取得された画像データに対して歪曲収差補正処理などの画像処理を施し、パラメータ設定部１３ｂに設定された座標範囲のパラメータに基づいて、画像データから表示すべき画像範囲を切り出して出力用の画像データを生成し、画像伝送部１４ａに出力する。画像伝送部１４ａは画像データを映像出力ユニット２４および通信ユニット２５に伝送する。
映像出力ユニット２４は、画像データをディスプレイ７に表示し、通信ユニット２５は、ネットワークＮを介して接続された拠点Ｂに設置されている相手側のテレビ会議端末１００ｂに画像データを送信する。

次に、図５〜図１０を参照してテレビ会議の風景を示すイメージについて説明する。
まず、図５を参照して、会議風景のイメージについて説明する。
図５に示すように、テレビ会議端末１００が机７２上に配置されている。テレビ会議端末１００の画像取得部１２ａには３台のカメラが設けられており、３台のカメラによって３方向の画像を撮影していることとして説明する。なお、カメラの台数、カメラの種類（３６０度カメラや広角といったもの）には制限はなく、撮影範囲が広くなるほど効果が期待できる。
図５に示す会議風景のイメージでは、１台のカメラで会議参加者７３ａ、７３ｂ、７３ｃの三人が撮影され、他の１台のカメラでホワイトボード７１が撮影され、もう１台のカメラで棚７４が撮影される。

次に、図６を参照して、図５に示した環境で撮影された画像のイメージについて説明する。
図６に示した画像のイメージの座標範囲内において、遠隔地側の拠点Ｂに設置されているテレビ会議端末１００ｂから撮影画像の切出し領域を指示するデジタルパン・チルト機能を実行することが可能である。
しかし、棚７４には、例えば、開発段階の試作機、タイトルに社外秘情報が含まれている書類などの機密情報が保管されており、例えば、会議相手が他社の場合、情報を知られてはいけない相手となる遠隔地側から自由に切出し領域を操作されてしまうと、相手側に機密情報が視認されてしまう可能性がある。
そこで、本実施形態では、図７に示すように、拠点Ｂに設置されている相手側のテレビ会議端末１００ｂとネットワークＮを介して接続する前に、拠点Ａに設置されているテレビ会議端末１００ａに対して、操作者が操作部３１を操作して棚７４の領域を含む非表示領域７７を指定すると、座標範囲データがパラメータ算出部２２ａに入力される。

ここで、パラメータ算出部２２ａで算出された非表示領域７７の座標範囲データが、パラメータ伝送部２１ａからパラメータ設定部１３ｂへ送信されてくる。
パラメータ設定部１３ｂが受信した非表示領域７７の座標範囲（ｘ_ｈ１１，ｙ_ｈ１１）−（ｘ_ｈ１２，ｙ_ｈ１２）を画像変換部１３ａで読み取る。そして、画像変換部１３ａは、表示領域に非表示領域７７が含まれていると、非表示領域７７の画像データを画像伝送部１４ａに出力することを禁止し、非表示領域７７を除いた領域の画像データを画像伝送部１４ａに出力する。
例えば、図８に示すような表示範囲８１を出力する場合、画像変換部１３ａは、非表示領域７７に相当する領域（規制領域８３ａ）に対して、図９に示すように黒色に塗り潰すなどの画像処理を施す。この処理は図９に示すように、非表示領域の画像データに対して画素を１色（例えば黒色）に塗りつぶしても良いし、非表示領域の画像データに対してぼかし処理や、モザイク処理を施しても良い。

また、図１０（ａ）に示すように、画像変換部１３ａは、非表示領域７７に相当する領域（規制領域８３ｂ）を非表示領域７７の読み出しアドレス範囲（ｘ_ｈ１１，ｙ_ｈ１１）−（ｘ_ｈ１２，ｙ_ｈ１２）内の画像に対してのみ読み飛ばす飛ばし処理を施し、非表示領域７７以外の画像データを出力させても良い。
なお、画像変換部１３ａにおいて、上記飛ばし処理により読み飛ばす対象となるのは、図１０（ａ）の飛ばし領域８５であり、表示されるのは領域８４となる。この結果、図１０（ｂ）に示す会議場所の背景もディスプレイ７に表示可能になり、臨場感のある会議を行うことができる。

次に、図１１を参照して操作ボタンを用いた操作について説明する。
操作部３１の操作ボタンは、テレビ会議装置１００の上面に設けても良いし、リモコンでも良い。
操作者は、上下左右ボタン９１を用いて出力範囲を操作する。拡大ボタン９４が押された場合、拡大ボタン９４が押されたことを示す操作信号がパラメータ算出部２２ａに入力されて操作パラメータが生成され、パラメータ算出部２２ａからパラメータ伝送部２１ａ、パラメータ設定部１３ｂを介して画像変換部１３ａに入力される。
画像変換部１３ａでは、拡大処理により画像を拡大（出力画素数が減る）し、拡大された画像データが画像変換部１３ａから出力画像伝送部１４ａを介して映像出力ユニット２４に入力され、ディスプレイ７に表示される。

一方、操作者により縮小ボタン９５が押された場合、縮小ボタン９５が押されたことを示す操作信号がパラメータ算出部２２ａに入力されて操作パラメータが生成され、パラメータ算出部２２ａからパラメータ伝送部２１ａ、パラメータ設定部１３ｂを介して画像変換部１３ａに入力される。
画像変換部１３ａでは、縮小処理により画像を縮小（出力画素数が増える）し、縮小された画像データが画像変換部１３ａから出力画像伝送部１４ａを介して映像出力ユニット２４に入力され、ディスプレイ７に表示される。
なお最終的な出力解像度は固定値であるため、出力画素数が出力解像度より大きい場合は画像変換部１３ａで縮小処理を施し、出力画素数が出力解像度より小さい場合は、画像変換部１３ａで拡大処理を施し、出力解像度の画像データにして、画像伝送部１４ａから処理装置２０に出力される。

非表示領域選択ボタン９２が押されると、非表示領域７７を選択するモードになり、さらに、上下左右ボタン９１が操作されると、非表示領域７７の左上にある画素と対角になる右下の画素の座標を選択する。座標を決定する場合は上下左右ボタン９１の中央にある決定ボタン９６を押せばよい。ここで、決定ボタン９６が押されると、選択された座標がパラメータ算出部２２ａに入力され座標データが生成される。
次いで、再び非表示領域選択ボタン９２が押されると、非表示領域選択モードが終了する。
また、遠隔操作ボタン９３が押されると、遠隔操作モードとなり接続されている相手側の画像表示エリアを操作できるようになる。再び遠隔操作ボタン９３が押されると遠隔操作モードが終了し自端末側の画像表示エリアを操作できるようになる。

次に、図１２、図１３、図１４に示すフローチャートを参照してデータ処理について説明する。まず、図１２を参照して、全体の処理の流れについて説明する。
拠点Ａに設置されているテレビ会議装置１００ａの電源スイッチ４４がＯＮ操作され、電源が投入されると、ＣＰＵ２２はメモリ２３から制御プログラムを読み出して順次に実行する。
自端末側の処理装置２０が各種処理プログラムを実行可能になる（Ｓ１０）と、操作部３１からパラメータ算出部２２ａへの操作信号の受信を待ち（Ｓ１５）、操作部３１からパラメータ算出部２２ａへの操作信号を受信すると、パラメータ算出部２２ａは受信した操作信号に含まれている操作モードを確認する（Ｓ２０）。
ここで、操作モードが指定されていない場合は、ステップＳ２５のサブルーチンをコールし、操作内容に合わせて座標決定処理を行う（Ｓ２５）（詳細は図１３で説明する）する。
そして、座標決定処理（Ｓ２５）が終了して復帰した場合に操作信号の待ち処理を行うステップＳ１５へ戻る。

一方、ステップＳ２０において、操作モードが非表示領域選択モードである場合、パラメータ算出部２２ａは、操作者が操作部３１の上下左右ボタン９１を用いて座標を移動させ（Ｓ３０）、決定ボタン９６を押して非表示領域７７の左上の座標（ｘ_ｈ１１，ｙ_ｈ１１）を決定すると座標データをメモリ２３に記憶する（Ｓ３５）。
そして、パラメータ算出部２２ａは、再び操作者が操作部３１の上下左右ボタン９１を用いて座標を移動させ（Ｓ４０）、決定ボタン９６を押して非表示領域７７の右下の座標（ｘ_ｈ１２，ｙ_ｈ１２）を決定すると座標データをメモリ２３に記憶する（Ｓ４５）。
なお、操作者が操作部３１の上下左右ボタン９１を用いて座標を移動させる操作を行った場合、座標の移動に応じた座標データがパラメータ算出部２２ａからパラメータ伝送部２１ａ、パラメータ設定部１３ｂを介して画像変換部１３ａに伝送され、画像変換部１３ａに展開されている画像メモリ上に座標データで示される例えばカーソルや破線が描画され、この描画された画像データが画像変換部１３ａから出力画像伝送部１４ａを介して映像出力ユニット２４に入力され、ディスプレイ７に表示される。
次いで、非出力領域選択モードを終了する場合（Ｓ５０ ＹＥＳ）は、パラメータ算出部２１ａがパラメータをパラメータ設定部１３ｂに送信し（Ｓ５５）、操作信号の待ち処理を行うステップＳ１５へ戻る。
非表示領域選択モードを終了しない場合（Ｓ５０ ＹＥＳ）は、さらに非表示領域を選択するため、ステップＳ３０〜Ｓ４５の処理を繰り返す。

ところで、拠点Ｂに設置されている相手側のテレビ会議装置１００ｂからネットワークＮを介してパラメータ算出部２２ａに遠隔操作信号が送信され、パラメータ算出部２２ａが遠隔操作信号を受信した場合、すなわち、操作モードが遠隔操作モードの場合は、ステップＳ６０のサブルーチンをコールし、遠隔操作許可確認信号送信処理（Ｓ６０ 図１４）を行う。

次に、パラメータ算出部２１ａは、拠点Ｂに設置されている相手側のテレビ会議装置１００ｂからの応答が許可信号（Ｓ６５ ＹＥＳ）の場合には、遠隔操作を開始（Ｓ７０）し、操作内容に合わせて座標を決定するため座標決定処理（Ｓ２５ 図１３）を行う。そして操作信号の待ち処理を行うステップＳ１５へ戻る。
パラメータ算出部２１ａは、相手側のテレビ会議装置１００からの応答が拒否信号（Ｓ６５ ＮＯ）の場合には、遠隔操作を拒否されたことを示すメッセージをディスプレイ７に表示（Ｓ７５）し、操作信号の待ち処理を行うＳ１５へ戻る。
この結果、パラメータ算出部２２ａは、画像取得部１２ａにより取得された画像データのうち非表示領域７７の座標範囲（ｘ_ｈ１１，ｙ_ｈ１１）−（ｘ_ｈ１２，ｙ_ｈ１２）内にある画像データに対して送信を禁止するために、非表示領域７７の座標範囲をパラメータ算出部２２ａからパラメータ伝送部２１ａ、パラメータ設定部１３ｂを介して画像変換部１３ａに伝送し、画像変換部１３ａに設定する。

また、画像変換部１３ａは、非表示領域７７の座標範囲（ｘ_ｈ１１，ｙ_ｈ１１）−（ｘ_ｈ１２，ｙ_ｈ１２）内では画像データとは別の画像データを出力画像伝送部１４ａ、通信ユニット２５、ネットワークＮを介して拠点Ｂに設置されている相手側のテレビ会議装置１００ｂに送信する。
一方、画像変換部１３ａは、非表示領域７７の座標範囲（ｘ_ｈ１１，ｙ_ｈ１１）−（ｘ_ｈ１２，ｙ_ｈ１２）外では画像データを出力画像伝送部１４ａ、通信ユニット２５、ネットワークＮを介して拠点Ｂに設置されている相手側のテレビ会議装置１００ｂに送信することができる。
これにより、自端末で撮像した画像の一部に相手側には視認されたくない画像の領域がある場合に、相手側では当該領域の画像を視認されなくすることが可能となる。

次に、図１３を参照して、座標決定処理（Ｓ２５）について説明する。
パラメータ算出部２１ａは、座標決定処理（Ｓ２５）が開始されると、相手側のテレビ会議装置１００の操作部３０から受信した操作信号が、上下左右ボタン９１によるものであるか否かを判定する（Ｓ１００）。
パラメータ算出部２１ａは、上下左右ボタン９１の場合（Ｓ１００ ＹＥＳ）、パラメータ算出部２２ａが出力座標のパラメータ算出（Ｓ１０５）を行う。
パラメータ算出部２１ａは、上下左右ボタン９１ではない場合（Ｓ１００ ＮＯ）、拡大９４／縮小ボタン９５によるものか否かを判定（Ｓ１１０）し、拡大／縮小ボタン９５への操作の場合（Ｓ１１０ ＹＥＳ）、パラメータ算出部２２ａが垂直画素数／水平画素数のパラメータを算出する（Ｓ１１５）。

一方、パラメータ算出部２１ａは、拡大／縮小ボタン９５ではない場合、座標決定処理を終了する。パラメータ算出部２２ａによるパラメータ算出の後に、パラメータ算出部２１ａは、パラメータ伝送部２１ａからパラメータ設定部１３ｂへパラメータを伝送（Ｓ７）させ、パラメータ設定部１３ｂを介して画像変換部１３ａに入力される。次いで、パラメータ算出部２１ａは、座標決定処理を終了する。
画像変換部１３ａに対する出力座標を変更する処理は、パラメータ算出部２２ａが操作者により操作部３０に設けられた上下左右それぞれどのボタンが押されたか否かを判定した後に、出力座標を移動する。画像変換部１３ａに設定された出力座標の上下左右の座標がディスプレイ７の表示画面上の設定可能値を超えた場合は、それ以上座標の移動は行わない。

しかし、３６０度カメラを使用した場合に、画像変換部１３ａは左右の最大値を超えたときは最小値に設定され、最小値を超えたときは最大値に設定される。
画像変換部１３ａに対して垂直画素数／水平画素数を変更する処理は、パラメータ算出部２２ａが操作者により操作部３１の拡大ボタン９４が押されたと判断した後に行なわれる。パラメータ算出部２２ａに拡大ボタン９４の操作信号が入力された場合、パラメータ算出部２１ａは、拡大処理を示すパラメータをパラメータ伝送部２１ａからパラメータ設定部１３ｂへ伝送させ、パラメータ設定部１３ｂを介して画像変換部１３ａに設定する。
画像変換部１３ａでは、表示領域のアスペクト比が変わらないように、垂直画素数／水平画素数を低減する。

また、パラメータ算出部２２ａが操作者により操作部３１の縮小ボタン９５が押されたと判断した後に行なわれる。パラメータ算出部２２ａに縮小ボタン９５の操作信号が入力された場合、パラメータ算出部２１ａは、縮小処理を示すパラメータをパラメータ伝送部２１ａからパラメータ設定部１３ｂへ伝送させ、パラメータ設定部１３ｂを介して画像変換部１３ａに設定する。
画像変換部１３ａでは、表示領域のアスペクト比が変更されないように、垂直画素数／水平画素数を増加する。例えば、表示画像のアスペクト比が１６：９であれば、変化量も１６：９で変化させる。

次に、図１４を参照して、パラメータ算出部２２ａが遠隔操作信号を受信した時の処理について説明する。
ここで、遠隔操作信号の受信処理は、パラメータ算出部２２ａに設けられたＣＰＵ２２に割り込み信号が入力された場合での割り込み処理により受信処理を行うこととする。
パラメータ算出部２２ａが、拠点Ｂに設置されている相手側のテレビ会議端末１００ｂからネットワークＮを介して遠隔操作信号を受信すると、パラメータ算出部２２ａは、遠隔操作を許可するか拒否するかを判断（Ｓ２００）する。なお、遠隔操作を許可するか拒否するかは、相手側のテレビ会議端末１００との間の接続前に予め操作者によって設定される。
パラメータ算出部２２ａは、遠隔操作を拒否する場合（Ｓ２００ ＮＯ）は、パラメータ算出部２２ａが遠隔操作拒否を示すメッセージを拠点Ｂに設置されている相手側のテレビ会議端末１００ｂに通知（Ｓ２０５）し、処理を終了する。

一方、パラメータ算出部２２ａは、遠隔操作を許可する場合（Ｓ２００ ＹＥＳ）は、パラメータ算出部２２ａが遠隔操作許可を示すメッセージをネットワークＮを介して相手側のテレビ会議端末１００ｂに通知（Ｓ２１０ ＹＥＳ）し、遠隔操作信号の受信を待つ（Ｓ２１５）。
パラメータ算出部２２ａは、遠隔操作信号を受信すると、遠隔操作信号に含まれるパラメータに基づいて出力座標データのパラメータを変更し、パラメータ算出を行い、パラメータ設定部１３ｂへパラメータを送信（Ｓ２２５）する。

また、拠点Ｂに設置されている遠隔地側のテレビ会議端末１００ｂにおいてパラメータ算出処理を行う場合は、ネットワークＮを介してテレビ会議端末１００ａのパラメータ算出部２２ａが信号（パラメータ）を受信すると、パラメータ算出部２２ａはパラメータ設定部１３ｂへパラメータを送信する。
パラメータ算出部２２ａは、相手側のテレビ会議端末１００から画像データの切出し領域の座標範囲（ｘ_ｋ１，ｙ_ｋ１）−（ｘ_ｋ２，ｙ_ｋ２）を指示する操作情報を受信した場合に、切出し領域の座標範囲（ｘｋ１，ｙｋ１）−（ｘｋ２，ｙｋ２）をパラメータ算出部２２ａからパラメータ伝送部２１ａ、パラメータ設定部１３ｂを介して画像変換部１３ａに伝送し、画像変換部１３ａに設定する。

画像変換部１３ａでは、受信した切出し領域の座標範囲（ｘｋ１，ｙｋ１）−（ｘｋ２，ｙｋ２）が非表示領域７７の座標範囲（ｘ_ｈ１１，ｙ_ｈ１１）−（ｘ_ｈ１２，ｙ_ｈ１２）内にあるときに、非表示領域７７の座標範囲内にある画像データに対して、送信を禁止するように制御することで、非表示領域７７の座標範囲内にある画像データが通信ユニット２５からネットワークＮを介して拠点Ｂに設置されている相手側のテレビ会議端末１００ｂに送信されることを禁止することができる。
これにより、自端末で撮像した画像の一部に相手側には視認されたくない画像の領域がある場合に、相手側のテレビ会議端末１００ｂから画像データの切出し領域の座標範囲を指示されたとしても、相手側のテレビ会議端末１００ｂでは当該領域の画像を視認されなくすることが可能となる。

次に、図１５を参照して、上述したパラメータのリストについて説明する。
パラメータは、出力画像の左上座標（例えば、（１６００，３００））、出力の垂直画素数（例えば、７２０）、出力の水平画素数（例えば、１２８０）、非表示領域７７の左上座標１（ｘ_ｈ１１，ｙ_ｈ１１）（例えば、（１６００，３００））、非表示領域７７の右下座標１（ｘ_ｈ１２，ｙ_ｈ１２）（例えば、（２０００，７２０））、非表示領域の左上座標２（ｘ_ｈ２１，ｙ_ｈ２１）（例えば、（０，０））、非表示領域の右下座標２（ｘ_ｈ２２，ｙ_ｈ２２）（例えば、（０，０））・・・非表示領域の左上座標ｎ（ｘ_ｈｎ１，ｙ_ｈｎ１）（例えば、（０，０））、非表示領域の右下座標ｎ（ｘ_ｈｎ２，ｙ_ｈｎ２）（例えば、（０，０））であり、非表示領域座標は複数のｎ個持っており複数の領域を指定できる。
このように、テレビ会議端末は、非表示領域を複数設定することで、より正確に非表示領域を設けることができ、複数の機密情報を守り易くなる。

また、パラメータを複数設けることで、一度設定した表示領域をメモリ２３に記憶させ、メモリ２３に記憶させた左上の座標、出力水平画素数、出力垂直画素数を読み出すように構成してもよく、この場合、表示領域を何度も設定する手間を省くことができる。例えば図８に示すように、会議参加者７３や、ホワイトボード７１を対象としてデジタルパン・チルト機能を実行することで撮影することができる。
このように、表示領域をメモリ２３に複数記憶することで、会議毎に表示領域を設定する必要がなくなり会議をスムーズに進行することができる。

しかし、テレビ会議では、会議参加者７３やホワイトボード７１を交互に撮影しながら進めることになり、何度も設定を変えるのは会議の進行上大きな影響を与えることが想定できる。
この対策として、表示領域をメモリ２３に記憶することで、会議をスムーズに進行することができる。また、パラメータを複数設ける場合は、非表示領域は共通とすると良い。パラメータの追加は遠隔操作でも可能にした方が効率は良い。非表示領域が共通で無い場合と比較して機密情報を守ることができるようになる。また、非表示領域を共通にすることで、メモリ消費量を抑えることができる。
このように、メモリ２３には、表示領域を複数記憶する場合、非表示領域は共通のパラメータとして別途記憶することで、遠隔地からパラメータを追加した場合に、非表示領域が無いと機密情報を守ることができない。また、遠隔地からパラメータを追加できないと、相手方に操作を依頼する必要があるので、会議に割り込んでしまい、会議をスムーズに進行することができなくなる。
この対策として、本実施形態によれば、パラメータは非表示領域を共通とすることで、遠隔地からパラメータを追加しても、機密情報を守ることができ、会議もスムーズに進めることができる。
さらに、パラメータを追加する場合、操作ボタンを新たに追加するように構成しても良い。

また、例えば新たな表示領域を指定した場合に、パラメータを追加するか否かを相手側のテレビ会議端末１００ｂの操作者に問い合わせても良い。
また、メモリ２３に記憶されているパラメータを読み出す場合、操作ボタンを追加しても良いが、現在表示している座標で決定ボタン９６を押すとメモリ２３に記憶している表示領域を撮影するか否かを相手側のテレビ会議端末１００ｂの操作者に問い合わせるように構成し、表示領域を選択できるようにしても良い。
このとき、表示される画像は拠点Ａに配置されている自テレビ会議端末１００ａ、又は拠点Ｂに設置されている相手側のテレビ会議端末１００ｂに予め複数の静止画を記録しておき、どの静止画を用いるかを選択できるようにしても良いし、相手側のテレビ会議端末１００ｂが選択モードになったことを察知し、表示領域を変更して画像データを送信するように構成し、それらの中から選択できるようにしても良い。
このように、表示領域を選択する際に複数の静止画を表示することで、表示領域を視認することができ、表示領域を選択し易くなる。また、動画よりもデータ通信の負荷が少ない。
また、表示領域を選択する際に複数の動画像を表示することで、動画像であるため現在の状況が視認でき、より表示領域を視認することができ、表示領域を選択し易くなる。

次に、図１６を参照して、操作ボタンを追加した操作部３１について説明する。
操作者により操作部３１のパラメータ追加ボタン９７が押されると、パラメータ算出部２２ａは、パラメータ追加ボタン９７が押されたと判断した後に、現在のパラメータをメモリ２３に記憶することができる。
また、操作者により操作部３１のパラメータ読み出しボタン９８が押されると、パラメータ算出部２２ａは、パラメータ読み出しボタン９８が押されたと判断した後に、メモリ２３に記憶されている複数の表示領域のパラメータを読み出して、パラメータ算出部２２ａからパラメータ伝送部２１ａ、パラメータ設定部１３ｂを介して画像変換部１３ａに伝送し、画像変換部１３ａに設定する。これにより、ディスプレイに複数の表示領域が表示され、操作ボタンの操作に応じて複数の表示領域の中から１つの表示領域を選択することができる。

＜他の実施形態＞
上記実施形態では、相手側のテレビ会議端末１００では視認されたくない画像の領域を非表示領域として扱ったが、本発明はこれに限定されるものではなく、相手側には視認されたくない画像の領域の送信を禁止するための非送信領域として扱ってもよい。
また、上記実施形態では、一方側の画像処理装置から他方側の画像処理装置への非表示領域に関する画像データの送信を禁止することとして扱ったが、本発明はこれに限定されるものではなく、一方側の画像処理装置から他方側の複数の画像処理装置への非表示領域の画像データの送信を禁止することとして扱ってもよい。

７…ディスプレイ、１０…撮像装置、１１…レンズ、１２…画像センサ、１２ａ…画像取得部、１３…画像処理ユニット、１３ａ…画像変換部、１３ｂ…パラメータ設定部、１４…Ｉ／Ｆユニット、１４ａ…出力画像伝送部、２０…処理装置、２１…Ｉ／Ｆユニット、２１ａ…パラメータ伝送部、２２…ＣＰＵ、２２ａ…パラメータ算出部、２３…メモリ、２４…映像出力ユニット、２５…通信ユニット、２６…制御ユニット、２７…バス、３０…遠隔操作部、３１…操作部、７４…棚、７７…非表示領域、１００…テレビ会議端末、Ｎ…ネットワーク

特開２００５−１７６０８５公報

Claims (6)

1. 通信回線を介して互いに画像データを送受信する画像処理装置を少なくとも２つ以上備えた画像処理システムであって、
   一方側の前記画像処理装置は、
   撮像対象を撮影して画像データを取得する画像取得手段と、
   前記画像データの一部を他方側の画像処理装置に表示しないために非表示領域の座標を入力する座標入力手段と、
   前記画像取得手段により取得された画像データのうち前記非表示領域の座標範囲内にある画像データに対して送信を禁止し、前記非表示領域の座標範囲内では前記画像データとは別の画像データを他方側の画像処理装置に送信し、前記非表示領域の座標範囲外では前記画像データを他方側の画像処理装置に送信するように制御する送信制御手段と、を有することを特徴とする画像処理システム。
2. 前記送信制御手段は、前記他方側の画像処理装置から画像データの切出し領域の座標範囲を指示する操作情報を受信した場合に、受信した前記切出し領域の座標範囲が前記非表示領域の座標範囲内にあるときに、前記非表示領域の座標範囲内にある画像データに対して送信を禁止するように制御することを特徴とする請求項１記載の画像処理システム。
3. 他方側の画像処理装置は、
   前記一方側の前記画像処理装置から受信した前記非表示領域に対応する前記別の画像データを表示するとともに、前記非表示領域の座標範囲外に対応する前記画像データを表示するように制御する表示制御手段を有することを特徴とする請求項１記載の画像処理システム。
4. 通信回線を介して画像データを送信する画像処理装置であって、
   撮像対象を撮影して画像データを取得する画像取得手段と、
   前記画像データの一部を送信先側に表示しないために非表示領域の座標を入力する座標入力手段と、
   前記画像取得手段により取得された画像データのうち前記非表示領域の座標範囲内にある画像データに対して送信を禁止し、前記非表示領域の座標範囲内では前記画像データとは別の画像データを送信先側に送信し、前記非表示領域の座標範囲外では前記画像データを送信先側に送信するように制御する送信制御手段とを有することを特徴とする画像処理装置。
5. 通信回線を介して画像データを送信する画像処理装置により実行される画像処理方法であって、
   撮像対象を撮影して画像データを取得する画像取得ステップと、
   前記画像データの一部を送信先側に表示しないために非表示領域の座標を入力する座標入力ステップと、
   前記画像取得手段により取得された画像データのうち前記非表示領域の座標範囲内にある画像データに対して送信を禁止し、前記非表示領域の座標範囲内では前記画像データとは別の画像データを送信先側に送信し、前記非表示領域の座標範囲外では前記画像データを送信先側に送信するように制御する送信制御ステップとを有することを特徴とする画像処理方法。
6. 通信回線を介して画像データを送信する画像処理装置のプロセッサにより実行される画像処理プログラムであって、
   撮像対象を撮影して画像データを取得する画像取得ステップと、
   前記画像データの一部を送信先側に表示しないために非表示領域の座標を入力する座標入力ステップと、
   前記画像取得手段により取得された画像データのうち前記非表示領域の座標範囲内にある画像データに対して送信を禁止し、前記非表示領域の座標範囲内では前記画像データとは別の画像データを送信先側に送信し、前記非表示領域の座標範囲外では前記画像データを送信先側に送信するように制御する送信制御ステップとを前記プロセッサに実行させることを特徴とする画像処理プログラム。

Images