JP2018074543A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】表示面に入力される描画情報を表示する画像処理装置において、会議画像等の子画面をＰｉｎＰ表示させたときの利便性を向上させる。【解決手段】画像処理装置は、表示面に対する指示操作により指示される座標を検出する座標検出部と、前記座標検出部が検出した前記座標に対応する描画情報を前記表示面に表示させる第１の表示制御部と、画像を送受信する通信の画像を前記表示面の所定の表示領域に表示させる第２の表示制御部と、前記所定の表示領域と前記描画情報との間の距離を算出する算出部と、前記所定の表示領域と前記描画情報との間の距離に応じて、前記表示面における前記所定の表示領域の表示位置を変更する変更部と、を有する。【選択図】図６

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

電子黒板、又はインタラクティブホワイトボード（IWB: Interactive White Board）等と呼ばれる画像処理装置が知られている。利用者は、インタラクティブホワイトボード（以下、ＩＷＢと呼ぶ）の表示面に文字や図形等の描画情報を手書き入力して、描画情報を表示させると共に、描画情報を情報端末にキャプチャしたり、描画情報を他の情報端末等と共有したりすることができる。

また、通信先の会議参加者の画像を表示する親画面に、通信元の画像を表示する子画面を表示するテレビ会議装置において、親画面内の適切な位置に子画面をＰｉｎＰ（Picture in Picture）表示させる技術が知られている（例えば、特許文献１参照）。

ＩＷＢの表示面に、利用者が手書き入力した描画情報に加えて、例えば、テレビ会議の会議画像等の子画面をＰｉｎＰ表示することが考えられる。これにより、１つのＩＷＢを用いて、テレビ会議と、手書きの描画情報の共有とを行う遠隔会議システムを実現することができるようになる。

しかし、テレビ会議の会議画像は、通信先の会議参加者の表情等が判るように比較的広い表示領域を利用するため、ＩＷＢに会議画像等をＰｉｎＰ表示させると、ホワイトボードとして利用可能な領域が減少し、使い勝手が悪くなるという問題がある。

なお、このような課題はＩＷＢに限られず、表示面に入力される描画情報を表示する他の画像処理装置、例えば、タッチパネル付きのディスプレイやプロジェクタ等にも共通に存在する。

本発明の実施の形態は、上記の問題点に鑑みてなされたものであって、表示面に入力される描画情報を表示する画像処理装置において、会議画像等の子画面をＰｉｎＰ表示させたときの利便性を向上させることを目的とする。

上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、表示面に対する指示操作により指示される座標を検出する座標検出部と、前記座標検出部が検出した前記座標に対応する描画情報を前記表示面に表示させる第１の表示制御部と、画像を送受信する通信の画像を前記表示面の所定の表示領域に表示させる第２の表示制御部と、前記所定の表示領域と前記描画情報との間の距離を算出する算出部と、前記所定の表示領域と前記描画情報との間の距離に応じて、前記表示面における前記所定の表示領域の表示位置を変更する変更部と、を有する。

本発明の一実施形態によれば、表示面に入力される描画情報を表示する画像処理装置において、会議画像等の子画面をＰｉｎＰ表示させたときの利便性を向上させることができる。

一実施形態に係る画像処理システムの構成の一例を示す図である。 一実施形態に係る画像処理システムの構成の別の一例を示す図である。 一実施形態に係るＩＷＢの一例の概要について説明するための図（１）である。 一実施形態に係るＩＷＢの一例の概要について説明するための図（２）である。 一実施形態に係るＩＷＢのハードウェア構成の例を示す図である。 一実施形態に係るＩＷＢの機能構成図である。 一実施形態に係る描画データの例を示す図である。 一実施形態に係るＩＷＢの処理の例を示すフローチャートである。 第１の実施形態に係る表示位置の変更処理の一例を示すフローチャートである。 第１の実施形態に係る変更処理による表示画面の例を示す図である。 第１の実施形態に係る空き領域の抽出処理の例を示すフローチャートである。 第１の実施形態に係る空き領域の抽出処理について説明するための図（１）である。 第１の実施形態に係る空き領域の抽出処理について説明するための図（２）である。 第１の実施形態に係る空き領域の抽出処理について説明するための図（３）である。 第１の実施形態に係る表示位置の変更処理の別の一例を示すフローチャートである。 第２の実施形態に係る表示位置の変更処理の例を示すフローチャートである。 第２の実施形態に係る変更処理による表示画面の例を示す図である。 第３の実施形態に係るＩＷＢの機能構成図である。 第３の実施形態に係る描画速度について説明するための図である。 第３の実施形態に係るＩＷＢの処理の例を示すフローチャートである。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

＜システムの構成＞
図１は、一実施形態に係る画像処理システムの構成の一例を示す図である。画像処理システム１００は、例えば、インターネットやＬＡＮ（Local Area Network）等のネットワーク１５０に接続されるインタラクティブホワイトボード（以下、ＩＷＢと呼ぶ）１１０を含む。

ＩＷＢ（Interactive White Board）１１０は、例えば、電子黒板、電子ホワイトボード等とも呼ばれる画像処理装置であり、表示面に利用者によって手書き入力される文字や図形等の描画情報を表示させると共に、他の情報端末１３０等と共有することができる。

また、図１の例では、ＩＷＢ１１０は、カメラ、マイク、スピーカ、及びテレビ会議用のアプリケーションプログラム（以下、アプリと呼ぶ）を備え、ネットワーク１５０を介して、テレビ会議装置１２０、情報端末１３０等とテレビ会議を行うことができる。また、本実施形態に係るＩＷＢ１１０は、ＩＷＢ１１０の表示面に、利用者が手書き入力した描画情報に加えて、テレビ会議の会議画像等の子画面をＰｉｎＰ（Picture in Picture）表示することができる。

なお、ＩＷＢ１１０は、テレビ会議装置１２０、情報端末１３０等と、ネットワーク１５０を介して直接テレビ会議を行うものであっても良いし、テレビ会議を管理するサーバ装置１４０を介してテレビ会議を行うものであっても良い。

テレビ会議装置１２０は、例えば、カメラ、マイク、スピーカ等を備え、ＩＷＢ１１０、他のテレビ会議装置、情報端末１３０等と、画像を送受信することにより、テレビ会議を実現する電子機器である。

情報端末１３０は、例えば、ＰＣ（Personal Computer）や、タブレット端末等の汎用の情報処理装置であり、テレビ会議用のアプリを実行することにより、ＩＷＢ１１０、テレビ会議装置１２０等とテレビ会議を行うテレビ会議装置として機能する。

上記の構成により、ＩＷＢ１１０は、ネットワーク１５０を介して、テレビ会議装置１２０や、情報端末１３０等とテレビ会議を行い、テレビ会議の会議画像等を子画面にＰｉｎＰ表示することができる。

図２は、一実施形態に係る画像処理システムの構成の別の一例を示す図である。図１の例では、ＩＷＢ１１０が、テレビ会議装置の機能を有しているものとして説明を行ったが、ＩＷＢ１１０は、テレビ会議装置の機能を有していなくても良い。

図２の例では、ＩＷＢ１１０は、テレビ会議装置１２０−１に接続され、テレビ会議装置１２０−１が出力する会議画像を、ＩＷＢ１１０の表示面にＰｉｎＰ表示する。

なお、ＩＷＢ１１０は、本実施形態に係る画像処理装置の一例である。本実施形態に係る画像処理装置は、例えば、タッチパネル付きのディスプレイやプロジェクタ等の画像表示装置や、画像表示装置に画像を表示させる情報処理装置等であっても良い。ここでは、画像処理装置がＩＷＢ１１０であるものとして以下の説明を行う。

＜ＩＷＢの概要＞
図３は、一実施形態に係るＩＷＢの一例の概要について説明するための図である。ＩＷＢ１１０の利用者は、入力ペン３０６のペン先等を表示面３０７に接触させることにより、表示面３０７に文字や図形等を書込し、表示させることができる。

入力ペン３０６は、例えば、ペン先が表示面３０７に接触すると、筆記検知信号を無線信号として送信する。また、ＩＷＢ１１０は、入力ペン３０６から送信された筆記検知信号を受信すると、表示面３０７に書込された座標を検知し、検知された座標位置に文字や図形等の描画情報３１０を表示する。

なお、ＩＷＢ１１０の座標検出方法には様々な方法があるが、ここでは座標検出方法の一例を挙げて概要のみ説明する。なお、本実施形態に係るＩＷＢ１１０の座標検出方法は任意の方法によるものであって良い。

図３において、ＩＷＢ１１０は、赤外線カメラ３０１、３０２、赤外線ＬＥＤ（Light Emitting Diode）３０３、３０４、３０５、及び、画像を表示すると共に入力ペン３０６等による指示操作を受付する表示面３０７等を有する。

赤外線ＬＥＤ３０３、３０４、３０５は、例えば、表示面３０７の３辺に配置され、座標検出用の赤外線を出力する光源である。

好ましくは、赤外線ＬＥＤ３０３、３０４、３０５は、表示面３０７の各辺を略均一に発光させるＬＥＤアレイ等で構成される。

赤外線カメラ３０１、３０２は、赤外線ＬＥＤ３０３、３０４、３０５が出力する光を撮影するカメラであり、例えば、図３に示すように、表示面３０７の上部の２隅に配置されている。例えば、赤外線カメラ３０１は、対向する２辺に備えられた赤外線ＬＥＤ３０３、３０４が撮影範囲に入るように配置され、赤外線カメラ３０２は、対向する２辺に備えられた赤外線ＬＥＤ３０４、３０５が撮影範囲に入るように配置されている。

上記の構成において、ＩＷＢ１１０は、赤外線カメラ３０２で撮影された画像から、例えば、図４（ａ）に示すような、赤外線カメラ３０２に対する角度と、赤外線カメラ３０２が受光した光の強度である信号強度との関係を取得する。同様に、ＩＷＢ１１０は、例えば、赤外線カメラ３０１で撮影された画像から、例えば、図４（ｂ）に示すような、赤外線カメラ３０１に対する角度と、赤外線カメラ３０２が受光した光の強度である信号強度との関係を取得する。

ここで、例えば、図３に示すように、表示面３０７に入力ペン３０６が接触すると、図４（ｃ）に示すように、赤外線カメラ３０２に対する角度αに対応する位置の光が遮られるので、角度αに対応する位置の信号強度にピークが発生する。このピークを利用して、ＩＷＢ１１０は、赤外線カメラ３０２を中心とする、２つの赤外線カメラ３０１、３０２を結ぶ基線３０８と、入力ペン３０６が接触した点との間の角度αを特定する。

同様に、図３に示すように、表示面３０７に入力ペン３０６が接触すると、図４（ｄ）に示すように、赤外線カメラ３０１に対する角度βに対応する位置の光が遮られるので、角度βに対応する位置の信号強度にピークが発生する。このピークを利用して、ＩＷＢ１１０は、赤外線カメラ３０１を中心とする、基線３０８と、入力ペン３０６が接触した点との間の角度βを特定する。

ＩＷＢ１１０は、２つの赤外線カメラ３０１、３０２の間を結ぶ基線３０８の長さと、前述した角度α、角度βとを用いて、既知の三角測量により、入力ペン３０６が接触した位置の座標を算出することができる。

また、本実施形態に係るＩＷＢ１１０は、テレビ会議の会議画像等を表示する子画面３１１を、表示面３０７の一部にＰｉｎＰ表示することができる。

＜ハードウェア構成＞
図５は、一実施形態に係るＩＷＢのハードウェア構成の例を示す図である。ＩＷＢ１１０は、制御部５１０、タッチパネル５２０、表示部５３０、ペン信号受信部５４０、ネットワークＩ／Ｆ５５０、ＶＧＡ入力ポート５６０、ＵＳＢポート５７０、カメラ５０２、マイク５０３、及びスピーカ５０４等を有する。このうち、カメラ５０２、マイク５０３、スピーカ５０４等は、ＩＷＢ１１０の外部に設けられているものであっても良いし、図２に示すテレビ会議装置１２０−１等に設けられているものであっても良い。

制御部５１０は、ＣＰＵ（Central Processing Unit）５１１、フラッシュＲＯＭ（Read Only Memory）５１２、及びＲＡＭ（Random Access Memory）５１３等を含む。ＣＰＵ５１１は、所定のプログラムを実行することにより、ＩＷＢ１１０の各機能を実現する演算装置である。フラッシュＲＯＭ５１２は、ＣＰＵ５１１によって実行される各種のプログラム、各種の情報、データ等を記憶するストレージデバイスである。ＲＡＭ５１３は、ＣＰＵ５１１のワークエリア等として用いられる揮発性のメモリである。

タッチパネル５２０は、タッチパネルドライバ５２１、タッチパネルコントローラ５２２、及び前述した赤外線ＬＥＤ３０３〜３０５、赤外線カメラ３０１、３０２等を有する。タッチパネル５２０は、入力ペン３０６等の物体による入力操作を受付し、入力ペン３０６等による入力操作が行われた座標を検知する。

タッチパネルドライバ５２１は、例えば、赤外線ＬＥＤ３０３〜３０５による赤外線の輝度や、発光のオン／オフ等を制御する。

タッチパネルコントローラ５２２は、赤外線カメラ３０１、３０２により撮影された画像から、表示面３０７における赤外線ＬＥＤ３０３〜３０５からの赤外線を遮る物体、即ち入力ペン３０６等の位置（座標）を算出する。なお、入力ペン３０６等の位置の算出は、制御部５１０で行われるものであっても良い。

表示部５３０は、制御部５１０の指示に従って、表示面３０７に書込みされた文字や図形等の描画情報（ストローク）を表示すると共に、会議画像等を表示する子画面３１１を表示面３０７に表示する表示デバイスである。

ペン信号受信部５４０は、入力ペン３０６からの無線信号として出力された操作中信号（筆記操作中信号又は消去操作中信号等）を受信する。ペン信号受信部５４０は、入力ペン３０６から出力された操作中信号を受信すると、受信した操作中信号をタッチパネル５２０に入力する。

これにより、タッチパネル５２０の制御回路であるタッチパネルコントローラ５２２は、入力ペン３０６から出力された操作中信号により入力ペン３０６による入力操作が行われていることを認識（検知）し、制御部５１０に、操作検知信号を出力する。なお、操作検知信号には、例えば、入力ペン３０６等の位置を示す座標（又は座標を算出するためのデータ等）が含まれる。

制御部５１０は、例えば、タッチパネル５２０のタッチパネルコントローラ５２２から出力された入力ペン３０６等の座標に基づいて表示面３０７に書込みされた文字や図形等の描画情報（ストローク）を表示する。

また、制御部５１０は、外部接続端子として、ＵＳＢ（Universal Serial Bus）ケーブルを接続可能なＵＳＢポート５７０、ＶＧＡ（Video Graphics Array）ケーブルが接続されるＶＧＡ入力ポート５６０を備えている。これらのＵＳＢポート５７０、ＶＧＡ入力ポート５６０を介して、例えば、テレビ会議装置１２０−１やＰＣ等の外部装置５０１を、ＩＷＢ１１０に接続することができる。また、制御部５１０は、ＩＷＢ１１０をネットワーク１５０に接続するためのネットワークＩ／Ｆ（インターフェイス）５５０を備えている。

また、ＩＷＢ１１０は、会議画像を撮影するカメラ５０２、会議の音声を取得するマイク５０３、及び会議の音声を出力するスピーカ５０４等を備えていても良い。

＜機能構成＞
図６は、一実施形態に係るＩＷＢの機能構成図である。ＩＷＢ１１０は、座標検出部６０１、描画情報管理部６０２、第１の表示制御部６０３、通信制御部６０４、第２の表示制御部６０５、算出部６０６、変更部６０７、抽出部６０８、及び記憶部６０９等を有する。

座標検出部６０１は、例えば、図５のタッチパネルコントローラ５２２、又は制御部５１０等で実行されるプログラム等によって実現され、表示面３０７に対する指示操作により指示される座標を検出する。

例えば、座標検出部６０１は、赤外線カメラ３０１、３０２で撮影した画像から、図４（ａ）、（ｂ）に示すような角度と信号強度の関係を取得して、入力ペン３０６等により指示される点の角度α、βを取得する。また、図３に示すように、三角測量の基線３０８となる赤外線カメラ３０１、３０２の間の距離と、取得した角度α、βとを用いて、既知の三角測量により、入力ペン３０６等により指示される点の座標を検出する。

描画情報管理部６０２は、制御部５１０で実行されるプログラム等によって実現され、座標検出部６０１が取得した座標を、例えば、図７に示すような描画データ（ストロークデータ）７０１として、記憶部６０９に記憶して管理する。

図７は、一実施形態に係る描画データの例を示す図である。図７（ａ）は、描画中の描画データ７０１の例を示している。図７の例では、描画データ７０１には、「データ種別」、「座標」、「時間」、「色」等の情報が含まれている。

「データ種別」の情報は、各座標が、描画の開始を示す「開始」座標であるか、描画中を示す「移動」座標であるか、描画終了を示す「終了」座標であるかを示す情報である。

「座標」の情報は、座標検出部６０１が検出した座標である。

「時間」の情報は、座標検出部６０１が座標を検出した時間を示す情報である。

「色」の情報は、例えば、ペン信号受信部５４０が、入力ペン３０６から受信した描画の色を示す情報である。

描画情報管理部６０２は、新たな描画の開始が検出されると、データ種別を「開始」として、検出された座標を描画データ７０１に記憶する。また、描画情報管理部６０２は、描画の終了が検出されるまで、検出された座標を順次にデータ種別を「移動」として、描画データ７０１に記憶する。

また、描画情報管理部６０２は、描画の終了が検出されると、図７（ｂ）に示すように、データ種別を「終了」として座標を記憶し、描画データ７０１を確定させる。

第１の表示制御部６０３は、制御部５１０で実行されるプログラムによって実現され、座標検出部６０１が検出した座標に対応する描画情報３１０を、表示面３０７に表示させる。例えば、第１の表示制御部６０３は、描画情報管理部６０２が記憶部６０９に記憶した描画データ７０１に含まれる座標を順次に接続して、文字や図形等の描画情報３１０を表示部５３０に表示させる。

通信制御部６０４は、制御部５１０で実行されるプログラムによって実現され、ネットワークＩ／Ｆ５５０、カメラ５０２、マイク５０３、スピーカ５０４等を用いて、テレビ会議装置１２０や情報端末１３０等とのテレビ会議の制御を行う。なお、図２に示すように、ＩＷＢ１１０の外部にテレビ会議装置１２０−１が接続されている場合、通信制御部６０４は、テレビ会議装置１２０−１に含まれるので、ＩＷＢ１１０は、通信制御部６０４を有していなくても良い。

第２の表示制御部６０５は、制御部５１０で実行されるプログラムによって実現され、テレビ会議の会議画像（画像を送受信する通信の画像の一例）を表示する子画面３１１を、表示面３０７のＰｉｎＰ領域（所定の表示領域の一例）に表示させる。

算出部６０６は、制御部５１０で実行されるプログラムによって実現され、第１の表示制御部６０３が表示させる描画情報３１０と、第２の表示制御部６０５が表示させる子画面３１１を表示する所定の表示領域との間の距離を算出する。例えば、算出部６０６は、第２の表示制御部６０５から、子画面３１１が表示されている所定の表示領域の座標を取得し、記憶部６０９に記憶された描画データ７０１と、最も近い座標間の距離を算出する。

変更部６０７は、制御部５１０で実行されるプログラムによって実現され、算出部６０６が算出した所定の表示領域と描画情報と間の距離に応じて、表示面３０７における所定の表示領域の表示位置を変更する。例えば、変更部６０７は、子画面３１１を表示する所定の表示領域と、描画情報３１０と間の距離がしきい値以下である場合、所定の表示領域の表示位置を、描画情報３１０が描画されていない空き領域に変更する。

抽出部６０８は、制御部５１０で実行されるプログラムによって実現され、子画面３１１を表示する所定の表示領域を表示可能な空き領域を抽出する。例えば、抽出部６０８は、表示面３０７を複数の領域（例えば４つの領域）に分割し、分割した領域毎に、所定の領域を表示可能な空き領域を抽出する。

記憶部６０９は、例えば、制御部５１０のフラッシュＲＯＭ５１２、及び制御部５１０で実行されるプログラム等によって実現され、例えば、図７に示されるような描画データ７０１等を記憶する。

＜処理の流れ＞
続いて、一実施形態に係るＩＷＢ１１０における画像処理方法の処理の流れについて説明する。

図８は、一実施形態に係るＩＷＢの処理の例を示すフローチャートである。利用者が、入力ペン３０６等により、ＩＷＢ１１０の表示面３０７に対する指示操作を行ったときの、ＩＷＢ１１０における処理の概要を示している。

ステップＳ８０１において、ＩＷＢ１１０の座標検出部６０１は、利用者による、表示面３０７に対する指示操作により指示される座標（指示座標）を検出する。

ステップＳ８０２において、描画情報管理部６０２は、座標検出部６０１が検出した座標を、例えば、図７に示すような描画データ７０１に記憶する。また、第１の表示制御部６０３は、描画データ７０１が更新されると、更新された座標を用いて、表示面３０７に描画した描画情報３１０を更新する。

ステップＳ８０３において、算出部６０６は、更新された描画情報３１０と、子画面３１１を表示する所定の表示領域との間の距離を算出する。

ステップＳ８０４において、変更部６０７は、算出部６０６によって算出された距離が、予め定められたしきい値（例えば、５ｃｍ〜１５ｃｍ程度）以下であるかを判断する。

算出された距離がしきい値以下でない場合、変更部６０７は、処理をステップＳ８０１に戻して、同様の処理を再度実行させる。一方、算出された距離がしきい値以下である場合、変更部６０７は、処理をステップＳ８０５に移行させる。

ステップＳ８０５に移行すると、変更部６０７は、子画面３１１を表示する所定の表示領域の表示位置を変更する。

続いて、変更部６０７による表示位置の変更処理について、具体的な実施形態を例示して説明する。

［第１の実施形態］
（表示位置の変更処理）
図９は、第１の実施形態に係る表示位置の変更処理の一例を示すフローチャートである。この処理は、図８のステップＳ８０５において、変更部６０７が、子画面３１１を表示する所定の表示領域の表示位置を変更する処理の一例を示している。

例えば、図１０（ａ）に示すように、ＩＷＢ１１０の表示面３０７に利用者が描画する描画情報１０１１と、テレビ会議の会議画像を表示する子画面３１１との間の距離が、しきい値以下になると、変更部６０７は、図９に示すような表示位置の変更処理を実行する。

ステップＳ９０１において、変更部６０７は、子画面３１１を表示する所定の表示領域を表示可能な空き領域を抽出する。

ステップＳ９０２において、変更部６０７は、子画面３１１を表示する所定の表示領域を表示可能な空き領域があるか否かに応じて、処理を分岐させる。

子画面３１１を表示する所定の表示領域を表示可能な空き領域がない場合、変更部６０７は、処理を終了させる。一方、子画面３１１を表示する所定の表示領域を表示可能な空き領域がある場合、処理をステップＳ９０３に移行させる。

ステップＳ９０３に移行すると、変更部６０７は、子画面３１１を表示する所定の表示領域の表示位置を、抽出された空き領域に変更する。

例えば、図１０（ａ）の例では、ＩＷＢ１１０の表示面３０７の下半分には描画情報が表示されていないので、変更部６０７は、例えば、図１０（ｂ）に示すように、表示面３０７の右下等に、子画面３１１を表示する所定の表示領域の表示位置を変更する。これにより、利用者は、表示面３０７に描画情報１０１１の続きを書込みすることができるようになる。

また、例えば、図１０（ｃ）の例では、ＩＷＢ１１０の表示面３０７の右下には、描画情報１０２１が表示されており、空き領域がない。この場合、変更部６０７は、例えば、図１０（ｄ）に示すように、所定の表示領域を表示可能な空き領域がある表示面３０７の左下等に、子画面３１１を表示する所定の表示領域の表示位置を変更する。これにより、利用者は、図１０（ｄ）に示すように、表示面３０７の右下に描画情報１０２１があるときでも、描画情報１０１１の続きを書込みすることができるようになる。

なお、変更部６０７は、ステップＳ９０３において、子画面３１１を表示する所定の表示領域を表示可能な空き領域が複数ある場合、例えば、表示面３０７の右下、左下、左上等、所定の順序で１つの空き領域を選択する。或いは、変更部６０７は、子画面３１１を表示する所定の表示領域を表示可能な空き領域が複数ある場合、ランダムに１つの空き領域を選択するもの等であっても良い。

（空き領域の抽出処理）
図１１は、第１の実施形態に係る空き領域の抽出処理の例を示すフローチャートである。この処理は、例えば、図９のステップＳ９０１において、抽出部６０８が、子画面３１１を表示する所定の表示領域を表示可能な空き領域の抽出する処理の一例を示している。この処理は、空き領域の抽出処理の一例であり、抽出部６０８が空き領域を抽出する方法は、他の方法によるものであっても良い。

ステップＳ１１０１において、抽出部６０８は、表示面３０７に画像を表示する表示部５３０の表示画面の座標情報を取得し、表示画面を、例えば、図１２（ａ）に示すように、領域Ａ〜Ｄの４つの領域に分割する。

図１２（ａ）において、表示画面１２００は、領域Ａ１２１０−１、領域Ｂ１２１０−２、領域Ｃ１２１０−３、及び領域Ｄ１２１０−４の４つの領域に分割されている。また、表示画面１２００の４隅は、それぞれ、領域Ａの基準点１２１１−１、領域Ｂの基準点１２１１−２、領域Ｃの基準点１２１１−３、及び領域Ｄの基準点１２１１−４として定められている。

ステップＳ１１０２において、抽出部６０８は、表示面３０７に表示されている描画情報の座標情報を取得する。ここでは、図１２（ｂ）に示すように、各領域に描画情報１２２−１〜１２２０−４が描画されているものとする。例えば、図１２（ｂ）において、領域Ａ１２１０−１には、描画情報１２２０−２が描画されている。

ステップＳ１１０３において、抽出部６０８は、各領域（領域Ａ〜Ｄ）で、基準点を含む空き領域の候補を特定する。

ここで、図１２〜１４を用いて、各領域（領域Ａ〜Ｄ）で、基準点を含む空き領域を抽出する方法の例について説明する。

例えば、図１３（ａ）の領域Ａ１２１０−１において、抽出部６０８は、描画情報１２２０−２のｘ座標が、領域Ａの基準点１２１１−１に最も近い位置から、ｘ方向（図１３の左方向）に、領域Ａ１２１０−１に沿って矩形１２３０−１を描画する。また、抽出部６０８は、描画情報１２２０−３のｙ座標が、領域Ａの基準点１２１１−１に最も近い位置から、ｙ方向（図１３の下方向）に、領域Ａ１２１０−１に沿って矩形１２３０−２を描画する。

続いて、抽出部６０８は、２つの矩形１２３０−１及び矩形１２３０−２が重なり合う領域を、図１３（ｂ）に示すように、領域Ａ１２１０−１の表示不可領域１３１１−１とする。同様にして、抽出部６０８は、領域Ｂ１２１０−２の表示不可領域１３１１−１、領域Ｃ１２１０−３の表示不可領域１３１１−３、及び領域Ｄ１２１０−４の表示不可領域１３１１−４を特定する。

なお、各領域内には複数の描画情報が含まれている場合がある。例えば、図１４（ａ）では、領域Ａ１２１０−１内に複数の描画情報１４１１、１４１２、１４１３が含まれている。この場合も、描画情報１４１１〜１４１３の各々に対して、図１３（ａ）、（ｂ）と同様にして、表示不可領域を特定することにより、図１４（ａ）に示すように、領域Ａ１２１０−１の表示不可領域１４１４を特定することができる。

抽出部６０８は、各領域（領域Ａ〜Ｄ）において、同様の方法で表示不可領域を特定し、各領域において、表示不可領域を除いた領域を、各領域で、基準点を含む空き領域の候補とする。

図１１のステップＳ１１０４において、抽出部６０８は、各領域（領域Ａ〜Ｄ）において、空き領域の候補の中から、横幅が子画面３１１の横幅（所定の表示領域の横幅）以上の空き領域を抽出する。

この処理により、例えば、図１４（ｂ）の領域Ａ１２１０−１において、描画情報１４１３の右側の領域は、子画面３１１の横幅より狭いので、空き領域の候補から除外される。

ステップＳ１１０５において、抽出部６０８は、ステップＳ１１０４で抽出された空き領域の中から、縦幅が子画面の縦幅以上の空き領域を抽出する。

この処理により、例えば、図１４（ｂ）の領域Ａ１２１０−１において、描画情報１４１１、及び描画情報１４１２の上側の領域は、子画面３１１の縦幅より狭いので、空き領域の候補から除外される。

上記の処理により、抽出部６０８は、例えば、図１４（ｃ）に示すように、領域Ａの基準点１２１１−１を含む領域Ａの空き領域１４０１を抽出することができる。抽出部６０８は、他の領域（領域Ｂ〜Ｄ）においても、同様にして、各領域の基準点を含む各領域の空き領域を抽出する。

（別の一例）
変更部６０７は、図９のステップＳ９０３において、子画面３１１を表示する所定の表示領域を表示可能な空き領域が複数ある場合、空き領域の面積が最大の領域に、所定の表示領域の表示位置を変更するものであっても良い。

図１５は、第１の実施形態に係る表示位置の変更処理の別の一例を示すフローチャートである。なお、図１５のステップＳ９０１、Ｓ９０２の処理は、図９のステップＳ９０１、Ｓ９０２に示す処理と同様なので、ここでは、図９に示す処理との相違点を中心に説明を行う。

ステップＳ１５０１において、抽出部６０８は、例えば、図１２（ａ）に示す領域Ａ〜Ｄのうち、表示可能な空き領域がある各領域における空き領域の面積を算出する。

ステップＳ１５０２において、抽出部６０８は、領域Ａ〜Ｄのうち、表示可能な空き領域があり、かつ空き領域の面積が最大の領域を抽出する。

ステップＳ１５０３において、領域Ａ〜Ｄのうち、表示可能な空き領域があり、かつ空き領域の面積が最大の領域が複数あるかを判断する。

領域Ａ〜Ｄのうち、表示可能な空き領域があり、かつ空き領域の面積が最大の領域が複数ない場合、抽出部６０８は、処理をステップＳ１５０４に移行させる。一方、領域Ａ〜Ｄのうち、表示可能な空き領域があり、かつ空き領域の面積が最大の領域が複数ある場合、抽出部６０８は、処理をステップＳ１５０５に移行させる。

ステップＳ１５０４に移行すると、抽出部６０８は、空き領域の面積が最大の領域を、子画面３１１を表示する所定の表示領域を表示する領域に決定する。

ステップＳ１５０５に移行すると、抽出部６０８は、空き領域の面積が最大の領域の中から、所定の順序（例えば、Ｂ、Ｃ、Ｄ、Ａ）の順に、一の領域を決定する。

ステップＳ１５０６において、変更部６０７は、抽出部６０８によって決定された領域に、子画面３１１を表示する所定の表示領域の表示位置を変更する。

以上、本実施形態によれば、利用者がＩＷＢ１１０の表示面３０７に描画する描画情報３１０と、会議画像等を表示する子画面３１１との距離がしきい値以下になると、子画面３１１の表示位置が、自動的に空き領域に変更される。これにより、利用者は、子画面３１１の表示位置を意識することなく、表示面３０７に描画を行うことができるようになる。

このように、本実施形態によれば、表示面３０７に入力される描画情報３１０を表示するＩＷＢ（画像処理装置）１１０において、会議画像等の子画面３１１をＰｉｎＰ表示させたときの利便性を向上させることができる。

［第２の実施形態］
第２の実施形態では、子画面３１１を表示する所定の表示領域を表示可能な空き領域がない場合の処理の例について説明する。

（表示位置の変更処理）
図１６は、第２の実施形態に係る表示位置の変更処理の例を示すフローチャートである。この処理は、例えば、図８のステップＳ８０５に示す所定の表示領域の表示位置を変更する処理に対応している。

ステップ１６０１において、ＩＷＢ１１０の抽出部６０８は、例えば、図１２〜１４で説明した方法等により、子画面３１１を表示する所定の表示領域を表示可能な第１の空き領域を抽出する。

ステップＳ１６０２において、抽出部６０８は、第１の空き領域があるか否かを判断する。

第１の空き領域がある場合、ＩＷＢ１１０は処理をステップＳ１６０３に移行させる。

一方、第１の空き領域がない場合、ＩＷＢ１１０は処理をステップＳ１６０４に移行させる。

図１７（ａ）は、表示面３０７において、描画情報１０１１と子画面３１１を表示する所定の表示領域との間の距離がしきい値以下であり、描画情報１０１１、１０２１、１７１１により、所定の表示領域を表示可能な空き領域がない状態の一例を示している。このような場合、第１の実施形態では、子画面３１１を表示する所定の表示領域を表示する表示位置の変更を行わずに、処理を終了させている。

ステップＳ１６０３に移行すると、ＩＷＢ１１０の変更部６０７は、例えば、第１の実施形態と同様にして、抽出された第１の空き領域に所定の表示領域の表示位置を変更する。

一方、ステップＳ１６０４に移行すると、ＩＷＢ１１０の抽出部６０８は、所定の縮小率（例えば５０％等）で縮小した、子画面を表示する所定の表示領域を表示可能な第２の空き領域を抽出する。なお、所定の縮小率は、例えば、ＩＷＢ１１０の大きさや、会議室の大きさ等に応じて予め設定されているものとする。

ステップＳ１６０５において、抽出部６０８は、第２の空き領域があるか否かを判断する。

第２の空き領域がない場合、抽出部６０８は処理を終了させる。一方、第２の空き領域がある場合、抽出部６０８は処理をステップＳ１６０６に移行させる。

ステップＳ１６０６に移行すると、第２の表示制御部６０５は、１つ以上の第２の空き領域のうち、最大の第２の空き領域に合わせて、子画面３１１を表示する所定の表示領域を縮小する。なお、最大の第２の空き領域は、例えば、最小の縮小率で所定の表示領域を表示可能な空き領域であっても良いし、面積が最大の第２の空き領域等であっても良い。

ステップＳ１６０７において、第２の表示制御部６０５は、最大の第２の空き領域に、縮小した子画面１７２１を表示する所定の表示領域を表示させる。

上記の処理により、例えば、図１７（ｂ）に示すように、表示面３０７に、子画面３１１を表示する所定の表示領域を表示可能な空き領域がない場合でも、縮小した子画面１７２１を、空き領域に表示させることができるようになる。

［第３の実施形態］
第３の実施形態では、利用者が手書き入力する速度に応じて、所定の表示領域の表示位置を変更するか否かを判断するためのしきい値を変える場合の例について説明する。

＜機能構成＞
図１８は、第３の実施形態に係るＩＷＢの機能構成図である。図１８に示す第３の実施形態に係るＩＷＢ１１０は、図６に示す一実施形態に係るＩＷＢ１１０の機能構成に加えて、推定部１８０１を有している。なお、他の機能構成は、図６に示す一実施形態に係るＩＷＢ１１０と同様なので、ここでは、第１の実施形態との相違点を中心に説明を行う。

推定部１８０１は、例えば、制御部５１０で実行されるプログラムによって実現され、利用者が手書き入力する描画情報の描画速度を推定する。本実施形態に係る描画速度は、入力ペン３０６が移動する速度ではなく、入力されている描画情報が占める領域が、所定の方向に増加する速度を示すものとする。

図１９は、第３の実施形態に係る描画速度について説明するための図である。例えば、ＩＷＢ１１０の表示面に、図１９に示すように「ＡＢＣＤＥＦ」の文字列が、入力ペン３０６で手書き入力されるものとする。

この場合、入力された文字列が占める描画領域１９０１のｘ方向における増加量Δｘ（距離、又はピクセル数）は、入力が開始された時間からの経過時間ｔに応じて増加する。推定部１８０１は、例えば、この描画領域１９０１の増加量Δｘを、経過時間ｔで割った値を、描画情報の描画速度として算出する。

なお、ここでは、説明を容易にするために、描画領域１９０１の増加量を、ｘ方向における増加量Δｘとして説明を行ったが、描画領域１９０１の増加量は、ｙ方向における増加量Δｙであっても良い。

また、描画領域１９０１の増加量は、描画領域１９０１から子画面１０１２へ向かう方向における描画領域１９０１の増加量であっても良い。

＜処理の流れ＞
図２０は、第３の実施形態に係るＩＷＢの処理の例を示すフローチャートである。なお、図２０のステップＳ８０１、Ｓ８０２、及びＳ８０５の処理は、図８に示す一実施形態に係るＩＷＢの処理と同様なので、ここでは、図８に示す処理との相違点を中心に説明を行う。

ステップＳ２００１において、推定部１８０１は、ステップＳ８０２で更新された描画情報の描画速度を算出する。例えば、推定部１８０１は、前述したように、描画情報が占める描画領域の増加量を、経過時間ｔで割って、描画速度を算出する。

ステップＳ２００２において、推定部１８０１は、ステップＳ２００１で算出した描画速度が、予め設定された基準速度より速いか否かを判断する。

描画速度が、予め設定された基準速度より速い場合、推定部１８０１は、処理をステップＳ２００３に移行させる。一方、描画速度が、予め設定された基準速度より速くない場合、推定部１８０１は、処理をステップＳ２００４に移行させる。

ステップＳ２００３に移行すると、変更部６０７は、子画面１０１２を表示する所定の表示領域との間の距離ｄが、第１のしきい値（例えば、１５ｃｍ程度）以下であるかを判断する。

なお、第１のしきい値は、描画速度が基準速度より速い場合に用いられるしきい値であり、描画速度が基準速度より遅い場合に用いられる第２のしきい値より大きい値が予め設定されている。これは、描画速度が速い場合、描画速度が遅い場合より短時間で描画情報が子画面１０１２に達してしまうため、より速く子画面１０１２の表示位置を変更することが望ましいためである。

所定の表示領域との間の距離ｄが、第１のしきい値以下でない場合、変更部６０７は、処理をステップＳ８０１に戻して、同様の処理を再び実行させる。一方、所定の表示領域との間の距離ｄが、第１のしきい値以下である場合、変更部６０７は、処理をステップＳ８０４に移行させる。

一方、ステップＳ２００４に移行すると、変更部６０７は、子画面１０１２を表示する所定の表示領域との間の距離ｄが、第１のしきい値より小さい第２のしきい値（例えば、５ｃｍ程度）以下であるかを判断する。

所定の表示領域との間の距離ｄが、第２のしきい値以下でない場合、変更部６０７は、処理をステップＳ８０１に戻して、同様の処理を再び実行させる。一方、所定の表示領域との間の距離ｄが、第２のしきい値以下である場合、変更部６０７は、処理をステップＳ８０４に移行させる。

ステップＳ８０５に移行すると、ＩＷＢ１１０は、第１の実施形態と同様に、表示位置の変更処理を実行する。

上記の処理により、ＩＷＢ１１０は、描画情報の描画速度に応じて、適切なタイミングで、子画面１０１２を表示する所定の表示領域の表示位置を変更することができるようになる。

なお、上記の各実施形態は、本発明の実施形態の一例である。本発明は、上記の各実施形態に限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

例えば、ＩＷＢ１１０は、子画面を表示する所定の表示領域の大きさを、ＩＷＢ１１０の表示面３０７に描画されている描画情報の割合や空き領域の面積等に応じて、所定の範囲内で変更するものであっても良い。例えば、ＩＷＢ１１０は、ＩＷＢ１１０の表示面３０７に表示されている描画情報が所定の量より少ない場合、子画面を表示する所定の表示領域の大きさを所定の大きさ（例えば、表示面３０７の面積の１／４等）まで拡大するものであっても良い。また、ＩＷＢ１１０は、ＩＷＢ１１０の表示面３０７に表示されている描画情報が所定の量より多い場合、子画面を表示する所定の表示領域の大きさを所定の大きさ（例えば、表示面３０７の面積の１／１６等）まで縮小するものであっても良い。

また、上記の各実施形態では、画像処理装置がＩＷＢ１１０であるものとして説明を行ったが、本発明はこれに限定されるものではなく、画像処理装置は、タッチパネルの機能を有する表示装置や、プロジェクタ等であっても良い。

１００ 画像処理システム
１１０ ＩＷＢ（画像処理装置）
６０１ 座標検出部
６０３ 第１の表示制御部
６０５ 第２の表示制御部
６０６ 算出部
６０７ 変更部
６０８ 抽出部
１８０１ 推定部

特開２００８−２５８７７９号公報

Claims (10)

1. 表示面に対する指示操作により指示される座標を検出する座標検出部と、
   前記座標検出部が検出した前記座標に対応する描画情報を前記表示面に表示させる第１の表示制御部と、
   画像を送受信する通信の画像を前記表示面の所定の表示領域に表示させる第２の表示制御部と、
   前記所定の表示領域と前記描画情報との間の距離を算出する算出部と、
   前記所定の表示領域と前記描画情報との間の距離に応じて、前記表示面における前記所定の表示領域の表示位置を変更する変更部と、
   を有する画像処理装置。
2. 前記変更部は、
   前記所定の表示領域と前記描画情報との間の距離がしきい値以下になったとき、前記所定の表示領域の表示位置を、前記表示面において前記描画情報が表示されていない空き領域に変更する請求項１に記載の画像処理装置。
3. 前記変更部は、
   前記所定の表示領域と前記描画情報との間の距離が前記しきい値以下になったとき、前記空き領域のうち、前記所定の表示領域を表示可能な領域に前記所定の表示領域の表示位置を変更する請求項２に記載の画像処理装置。
4. 前記表示面を複数の領域に分割し、分割した領域毎に前記所定の表示領域を表示可能な空き領域を抽出する抽出部を有する請求項３に記載の画像処理装置。
5. 前記描画情報の描画領域が所定の方向に増加する速度である描画速度を推定する推定部を有し、
   前記変更部は、
   前記描画速度が基準速度以上のとき、前記しきい値を、前記しきい値より大きい別のしきい値に変更する請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記第２の表示制御部は、
   前記所定の表示領域と前記描画情報との間の距離がしきい値以下になったときに、前記所定の表示領域を表示可能な空き領域がない場合、前記所定の表示領域の大きさを縮小する請求項２乃至５のいずれか一項に記載の画像処理装置。
7. 前記画像処理装置は、
   インタラクティブホワイトボードであることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 表示面に対する指示操作により指示される座標を検出する座標検出部と、
   前記座標検出部が検出した前記座標に対応する描画情報を前記表示面に表示させる第１の表示制御部と、
   画像を送受信する通信の画像を前記表示面の所定の表示領域に表示させる第２の表示制御部と、
   前記所定の表示領域と前記描画情報との間の距離を算出する算出部と、
   前記所定の表示領域と前記描画情報との間の距離に応じて、前記表示面における前記所定の表示領域の表示位置を変更する変更部と、
   を有する画像処理システム。
9. 画像処理装置によって実行される画像処理方法であって、
   表示面に対する指示操作により指示される座標を検出するステップと、
   前記検出した座標に対応する描画情報を前記表示面に表示させるステップと、
   画像を送受信する通信の画像を前記表示面の所定の表示領域に表示させるステップと、
   前記所定の表示領域と前記描画情報との間の距離を算出するステップと、
   前記所定の表示領域と前記描画情報との間の距離に応じて、前記表示面における前記所定の表示領域の表示位置を変更するステップと、
   を含む画像処理方法。
10. 請求項９に記載の画像処理方法を画像処理装置に実行させるためのプログラム。