JP2020145623A

JP2020145623A - 電子黒板および映像補正方法

Info

Publication number: JP2020145623A
Application number: JP2019041986A
Authority: JP
Inventors: 宣正銀川; Nobumasa Gingawa
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-03-07
Filing date: 2019-03-07
Publication date: 2020-09-10
Anticipated expiration: 2039-03-07
Also published as: JP7298200B2

Abstract

【課題】ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制する。【解決手段】電子黒板１６は、操作体による描画が可能なディスプレイと、ディスプレイに取り付けられたカメラと、カメラによって撮像された映像の揺れを補正する揺れ補正部とを備える。揺れ補正部５０４は、タッチパネル・ディスプレイに対して操作体が近接したことが検知された場合、揺れ補正を行う。少なくとも操作体による描画が行われている間、カメラによって撮影された映像の揺れ補正を行う【選択図】図５

Description

本発明は、電子黒板および映像補正方法に関する。

下記特許文献１には、電子黒板機能およびビデオ会議機能を有することにより、ディスプレイに描画された画像や、カメラによって撮像された画像を、他拠点の電子黒板、ビデオ会議端末、およびＰＣと共有することができる電子黒板が開示されている。

しかしながら、上記特許文献１の電子黒板では、ビデオ会議中にディスプレイに描画を行った場合、筆圧によってディスプレイに取り付けられているカメラが揺れてしまい、他拠点に揺れた映像が送信されてしまう虞がある。

本発明は、上述した従来技術の課題を解決するため、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できるようにすることを目的とする。

上述した課題を解決するために、本発明の電子黒板は、操作体による描画が可能なディスプレイと、ディスプレイに取り付けられたカメラと、カメラによって撮像された映像の揺れを補正する揺れ補正部とを備える。

本発明によれば、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。

第１実施形態に係るビデオ会議システムのシステム構成図第１実施形態に係る電子黒板のハードウェア構成図第１実施形態に係る電子黒板の使用例を示す図第１実施形態に係る電子黒板におけるタッチパネル・ディスプレイのホバリング検知機能について説明する図第１実施形態に係る電子黒板の機能構成を示すブロック図第１実施形態に係る電子黒板による処理の手順を示すフローチャート第１実施形態に係る電子黒板においてカメラによって撮影された映像（揺れ補正部による揺れ補正前）の一例を示す図第１実施形態に係る電子黒板においてカメラによって撮影された映像（揺れ補正部による揺れ補正後）の一例を示す図第１実施形態に係る電子黒板においてカメラによって撮影された映像（揺れ補正部による揺れ補正後）の一例を示す図第２実施形態に係る電子黒板の機能構成を示すブロック図第２実施形態に係る電子黒板による処理の手順を示すフローチャート

〔第１実施形態〕
以下、図面を参照して、本発明の第１実施形態について説明する。

（ビデオ会議システム１の構成）
図１は、第１実施形態に係るビデオ会議システム１のシステム構成図である。図１に示すビデオ会議システム１は、複数の拠点に設置された複数の電子黒板１６の間で、ビデオ会議を行うことが可能である。図１に示すように、ビデオ会議システム１は、会議サーバ１２、会議予約サーバ１４、および複数の電子黒板１６を備える。

各電子黒板１６は、インターネット、イントラネット、ＬＡＮ（Local Area Network）等の通信ネットワーク１８を介して、会議サーバ１２、会議予約サーバ１４、および他の電子黒板１６と接続されている。各電子黒板１６は、通信ネットワーク１８を介して、他の電子黒板１６とビデオ会議を行うことができる。

各電子黒板１６は、ビデオ会議が行われている間、ビデオ会議に参加している他の電子黒板１６に対して各種データを送信したり、ビデオ会議に参加している他の電子黒板１６から各種データを受信したりすることにより、ビデオ会議に参加している他の電子黒板１６と各種データを共有することができる。

なお、ビデオ会議において共有される各種データとしては、例えば、カメラによって撮像された画像データ、マイクから入力された音声データ、タッチパネル・ディスプレイに書き込まれた描画データ等が挙げられる。また、各電子黒板１６は、他の電子黒板１６に限らず、ビデオ会議端末、ＰＣ等とも、ビデオ会議を行うことも可能である。

会議サーバ１２は、ビデオ会議に関する各種制御を行う。例えば、会議サーバ１２は、ビデオ会議の開始時においては、各電子黒板１６と会議サーバ１２との通信接続状態の監視、各電子黒板１６に対する呼び出し等を行う。また、会議サーバ１２は、ビデオ会議中においては、複数の電子黒板１６の間における各種データの転送処理等を行う。

会議予約サーバ１４は、ビデオ会議に関する会議情報を管理する。例えば、会議の主催者は、端末装置から、会議予約サーバ１４に対して、事前に会議情報を入力する。電子黒板１６は、起動時等において会議予約サーバ１４に対して会議情報の問い合わせを行い、該当する会議情報が存在する場合、その会議情報に基づいてビデオ会議を実施する。会議情報には、例えば、開催日時、場所、会議参加者、役割、使用する電子黒板１６等の情報が含まれる。

（電子黒板１６のハードウェア構成）
図２は、第１実施形態に係る電子黒板１６のハードウェア構成図である。図２に示されているように、電子黒板１６は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。

これらのうち、ＣＰＵ２０１は、電子黒板１６全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークコントローラ２０５は、通信ネットワーク１８との通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

また、電子黒板１６は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４ａ、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ(Personal Computer))２７０のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２１４ｂ等へ出力するために画面表示の制御及び管理を行う。

接触センサ２１４ａは、ディスプレイ２１４ｂとともにタッチパネル・ディスプレイ２１４を構成する。接触センサ２１４ａは、ディスプレイ２１４ｂの表面に対する操作体（電子ペン２９０、ユーザの手Ｈ等）の近接状態（距離および位置）を検知する。接触センサ２１４ａは、静電容量方式による座標の入力及び座標の検出を行う。接触センサ２１４ａは、ディスプレイ２１４ｂに対する操作体の近接状態に応じて、ディスプレイ２１４ｂに格子状に重ねて配置された検出電極における静電容量が変化する。センサコントローラ２１５は、この静電容量の変化に基づいて、操作体の近接状態を特定する。

電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ２１４ｂへのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、電子黒板１６の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ２１４ｂの表示の明暗や色合い等を調整するためのスイッチ群である。

更に、電子黒板１６は、バスライン２１０を備えている。バスライン２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

（電子黒板１６の使用例）
図３は、第１実施形態に係る電子黒板１６の使用例を示す図である。図３に示すように、電子黒板１６は、タッチパネル・ディスプレイ２１４を備えており、電子ペン２９０等により、タッチパネル・ディスプレイ２１４に対する書き込みを行うことが可能である。なお、タッチパネル・ディスプレイ２１４は、図２に示すディスプレイ２１４ｂと接触センサ２１４ａとが組み合わされたものである。

電子黒板１６は、タッチパネル・ディスプレイ２１４に書き込まれたデータを、通信ネットワーク１８を介して、他拠点の電子黒板１６と共有することができる。また、電子黒板１６は、カメラ２６０によって撮像された自拠点の映像と、マイク２４０によって取得された自拠点の音声とを、通信ネットワーク１８を介して、他拠点の電子黒板１６と共有することができる。

また、電子黒板１６は、他拠点の電子黒板１６から送信された他拠点の映像および音声を、ディスプレイ２１４ｂおよびスピーカ２５０から出力することができる。なお、図３に示す例では、カメラ２６０は、タッチパネル・ディスプレイ２１４の周囲の額縁部に設けられているが、これに限らず、カメラ２６０は、タッチパネル・ディスプレイ２１４の周囲のその他の部分に取り付けられたものであってもよい。

（ホバリング検知機能）
図４は、第１実施形態に係る電子黒板１６におけるタッチパネル・ディスプレイ２１４のホバリング検知機能について説明する図である。図４は、操作体（電子ペン２９０、指等）がタッチパネル・ディスプレイ２１４に近づいて接触した後、操作体がタッチパネル・ディスプレイ２１４から離れていくときの、操作体とタッチパネル・ディスプレイ２１４との間の距離と時間との関係を表す。

図４に示すように、操作体がタッチパネル・ディスプレイ２１４に近づいていく場合において（時間０〜ｔ１）、操作体とタッチパネル・ディスプレイ２１４との間の距離が距離ｄ１となったとき（時間ｔ０）、タッチパネル・ディスプレイ２１４はホバリング検知が可能となる。さらに、操作体をタッチパネル・ディスプレイ２１４に近づけてゆくと、操作体がタッチパネル・ディスプレイ２１４に接触する（時間ｔ１）。

また、図４に示すように、操作体がタッチパネル・ディスプレイ２１４に接触しているとき（時間ｔ１〜ｔ２）、操作体とタッチパネル・ディスプレイ２１４との間の距離は変化しない（０で一定である）。

また、図４に示すように、操作体がタッチパネル・ディスプレイ２１４から離れていく場合において（時間ｔ２〜）、操作体とタッチパネル・ディスプレイ２１４との間の距離が距離ｄ１よりも大きくなったとき（時間ｔ３〜）、タッチパネル・ディスプレイ２１４はホバリング検知が不可能となる。

（電子黒板１６の機能構成）
図５は、第１実施形態に係る電子黒板１６の機能構成を示すブロック図である。図５に示すように、電子黒板１６は、映像取得部５０１、近接判定部５０２、揺れ補正制御部５０３、揺れ補正部５０４、および映像出力部５０５を備える。

映像取得部５０１は、カメラ２６０によって撮影された映像を取得する。

近接判定部５０２は、タッチパネル・ディスプレイ２１４に対する操作体の近接状態を判定する。

例えば、近接判定部５０２は、タッチパネル・ディスプレイ２１４が操作体のホバリングを検知したか否かを判定する。ホバリングとは、タッチパネル・ディスプレイ２１４が検知可能な距離ｄ１まで、操作体が近接したことを意味する。

また、例えば、近接判定部５０２は、タッチパネル・ディスプレイ２１４が操作体の接触を検知したか否かを判定する。また、例えば、近接判定部５０２は、タッチパネル・ディスプレイ２１４から操作体が離間したか否かを判定する。

例えば、タッチパネル・ディスプレイ２１４は、操作体の近接状態に応じて静電容量が変化するため、この静電容量の変化に基づいて、操作体のホバリング、接触、および離間を検知することができる。

揺れ補正制御部５０３は、近接判定部５０２による判定結果に基づいて、映像取得部５０１によって取得された映像に対する揺れ補正を、揺れ補正部５０４に行わせるか否かを制御する。

例えば、揺れ補正制御部５０３は、近接判定部５０２によってタッチパネル・ディスプレイ２１４が操作体のホバリングを検知したと判定された場合、揺れ補正を揺れ補正部５０４に開始させる。

また、例えば、揺れ補正制御部５０３は、近接判定部５０２によってタッチパネル・ディスプレイ２１４が操作体の離間を検知したと判定された場合、揺れ補正を揺れ補正部５０４に終了させる。

揺れ補正部５０４は、映像取得部５０１によって取得された映像に対して揺れ補正を行う。例えば、揺れ補正部５０４は、揺れ補正制御部５０３から揺れ補正の開始が指示された場合、映像取得部５０１によって取得された映像に対して揺れ補正を開始する。そして、揺れ補正部５０４は、揺れ補正制御部５０３から揺れ補正の終了が指示された場合、映像取得部５０１によって取得された映像に対する揺れ補正を終了する。すなわち、揺れ補正部５０４は、揺れ補正制御部５０３から揺れ補正の指示がなされていない場合、映像取得部５０１によって取得された映像に対して揺れ補正を行わない。

映像出力部５０５は、揺れ補正部５０４による揺れ補正が行われている期間においては、揺れ補正部５０４によって揺れ補正がなされた映像を、後続の処理部へ出力する。一方、映像出力部５０５は、揺れ補正部５０４による揺れ補正が行われていない期間においては、映像取得部５０１によって取得された映像を、そのまま後続の処理部へ出力する。例えば、映像処理部による映像処理を後続処理として行う必要がある場合、映像出力部５０５は、当該映像処理部へ、映像を出力する。また、例えば、映像送信部による映像送信処理を後続処理として行う必要がある場合、映像出力部５０５は、当該映像送信部へ、映像を出力する。

なお、上記した電子黒板１６の各機能は、例えば、電子黒板１６において、補助記憶装置（ＲＯＭ２０２、ＳＳＤ２０４等）に記憶されたプログラムを、ＣＰＵ２０１が実行することにより実現される。このプログラムは、予め電子黒板１６に導入された状態で提供されてもよく、外部から提供されて電子黒板１６に導入されるようにしてもよい。後者の場合、このプログラムは、外部記憶媒体（例えば、ＵＳＢメモリ、メモリカード、ＣＤ−ＲＯＭ等）によって提供されてもよく、ネットワーク（例えば、インターネット等）上のサーバからダウンロードすることによって提供されるようにしてもよい。

また、上記した電子黒板１６の機能の一部は、ＣＰＵ２０１以外のハードウェアによって実現されてもよい。例えば、映像取得部５０１、揺れ補正部５０４、および映像出力部５０５はカメラ２６０が備える処理回路等によって実現されてもよい。

また、上記した電子黒板１６の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

（電子黒板１６による処理の手順）
図６は、第１実施形態に係る電子黒板１６による処理の手順を示すフローチャートである。

まず、近接判定部５０２が、タッチパネル・ディスプレイ２１４が操作体のホバリングを検知したか否かを判断する（ステップＳ６０１）。ステップＳ６０１において、ホバリングを検知していないと判断された場合（ステップＳ６０１：Ｎｏ）、近接判定部５０２は、ステップＳ６０１の処理を再度実行する。

一方、ステップＳ６０１において、ホバリングを検知したと判断された場合（ステップＳ６０１：Ｙｅｓ）、揺れ補正制御部５０３が、映像取得部５０１によって取得された映像に対する揺れ補正を、揺れ補正部５０４に開始させる。これに応じて、揺れ補正部５０４は、映像取得部５０１によって取得された映像に対する揺れ補正を開始する（ステップＳ６０２）。

その後、近接判定部５０２が、タッチパネル・ディスプレイ２１４が操作体の接触を検知したか否かを判断する（ステップＳ６０３）。

ステップＳ６０３において、接触を検知していないと判断された場合（ステップＳ６０３：Ｎｏ）、揺れ補正制御部５０３が、ステップＳ６０１で操作体のホバリングが検知されてから、一定時間が経過したか否かを判断する（ステップＳ６０４）。

ステップＳ６０４において、一定時間が経過していないと判断された場合（ステップＳ６０４：Ｎｏ）、電子黒板１６は、ステップＳ６０３へ処理を戻す。

一方、ステップＳ６０４において、一定時間が経過したと判断された場合（ステップＳ６０４：Ｙｅｓ）、揺れ補正制御部５０３が、映像取得部５０１によって取得された映像に対する揺れ補正を、揺れ補正部５０４に終了させる。これに応じて、揺れ補正部５０４は、映像取得部５０１によって取得された映像に対する揺れ補正を終了する（ステップＳ６０５）。そして、電子黒板１６は、ステップＳ６０１へ処理を戻す。

ステップＳ６０３において、接触を検知したと判断された場合（ステップＳ６０３：Ｙｅｓ）、近接判定部５０２が、タッチパネル・ディスプレイ２１４から操作体が離間したか否かを判断する（ステップＳ６０６）。

ステップＳ６０６において、離間を検知していないと判断された場合（ステップＳ６０６：Ｎｏ）、揺れ補正制御部５０３は、ステップＳ６０６の処理を再度実行する。

一方、ステップＳ６０６において、離間を検知したと判断された場合（ステップＳ６０６：Ｙｅｓ）、その後、近接判定部５０２が、タッチパネル・ディスプレイ２１４が操作体の接触を検知したか否かを判断する（ステップＳ６０７）。

ステップＳ６０７において、接触を検知したと判断された場合（ステップＳ６０７：Ｙｅｓ）、電子黒板１６は、ステップＳ６０６へ処理を戻す。

一方、ステップＳ６０７において、接触を検知していないと判断された場合（ステップＳ６０７：Ｎｏ）、揺れ補正制御部５０３が、ステップＳ６０６で操作体の離間が検知されてから、一定時間が経過したか否かを判断する（ステップＳ６０８）。

ステップＳ６０８において、一定時間が経過していないと判断された場合（ステップＳ６０８：Ｎｏ）、電子黒板１６は、ステップＳ６０７へ処理を戻す。

一方、ステップＳ６０８において、一定時間が経過したと判断された場合（ステップＳ６０８：Ｙｅｓ）、揺れ補正制御部５０３が、映像取得部５０１によって取得された映像に対する揺れ補正を、揺れ補正部５０４に終了させる。これに応じて、揺れ補正部５０４は、映像取得部５０１によって取得された映像に対する揺れ補正を終了する（ステップＳ６０９）。

その後、電子黒板１６は、ビデオ会議が終了したか否かを判断する（ステップＳ６１０）。ステップＳ６１０において、ビデオ会議が終了していないと判断された場合（ステップＳ６１０：Ｎｏ）、電子黒板１６は、ステップＳ６０１へ処理を戻す。一方、ステップＳ６１０において、ビデオ会議が終了したと判断された場合（ステップＳ６１０：Ｙｅｓ）、電子黒板１６は、図６に示す一連の処理を終了する。

図６に示す一連の処理により、第１実施形態の電子黒板１６は、操作体のホバリングが検知されると、カメラ２６０によって撮影された映像の揺れ補正を開始し、操作体の離間が検知されてから一定時間経過後、カメラ２６０によって撮影された映像の揺れ補正を終了することができる。これにより、第１実施形態の電子黒板１６は、少なくとも操作体による描画が行われている間、カメラ２６０によって撮影された映像の揺れ補正を行うことができる。したがって、第１実施形態の電子黒板１６は、筆圧によってカメラ２６０が揺れてしまった場合であっても、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。また、第１実施形態の電子黒板１６は、操作体の離間が検知されてから一定時間経過後、揺れ補正を終了するため、揺れ補正の開始および終了が、頻繁に切り替わってしまうことを抑制することができる。

（電子黒板１６による揺れ補正の具体例）
図７は、第１実施形態に係る電子黒板１６においてカメラ２６０によって撮影された映像（揺れ補正部５０４による揺れ補正前）の一例を示す図である。図７に示す映像７００は、揺れ補正部５０４による揺れ補正前の映像の一例である。映像７００は、複数のフレーム画像を有して構成されている。なお、図７に示す時間ｔ０,ｔ１，ｔ２,ｔ３は、図４に示す時間ｔ０,ｔ１，ｔ２,ｔ３に対応している。

図７に示すように、操作体による描画が行われたために、操作体がタッチパネル・ディスプレイ２１４に接触している間（時間ｔ１〜ｔ２）、タッチパネル・ディスプレイ２１４の振動に伴って、タッチパネル・ディスプレイ２１４に取り付けられたカメラ２６０に揺れが発生し、したがって、映像７００に揺れが発生する。すなわち、複数のフレーム画像の間で、被写体の位置が一定に定まらない。

一方、図７に示すように、操作体がタッチパネル・ディスプレイ２１４に接触を開始する以前（〜時間ｔ１）、および、操作体がタッチパネル・ディスプレイ２１４に接触を終了した以後（時間ｔ２〜）は、カメラ２６０に揺れが発生しないため、映像７００に揺れが発生しない。すなわち、複数のフレーム画像の間で、被写体の位置が一定に定まる。

図８および図９は、第１実施形態に係る電子黒板１６においてカメラ２６０によって撮影された映像（揺れ補正部５０４による揺れ補正後）の一例を示す図である。図８に示す映像８００および図９に示す映像９００は、図７に示す映像７００に対する、揺れ補正部５０４による揺れ補正後の映像の一例である。なお、図８および図９に示す時間ｔ０,ｔ１，ｔ２,ｔ３は、図４に示す時間ｔ０,ｔ１，ｔ２,ｔ３に対応している。

電子黒板１６は、タッチパネル・ディスプレイ２１４が操作体のホバリングを検知した時点で（時間ｔ０）、カメラ２６０によって撮像された映像に対する揺れ補正を開始する。このため、図８および図９に示すように、操作体がタッチパネル・ディスプレイ２１４に接触している間（時間ｔ１〜ｔ２）、揺れ補正後の映像８００，９００では、揺れが生じていない。すなわち、揺れ補正後の映像８００，９００では、複数のフレーム画像の間で、被写体の位置が一定に定まっている。なお、図９に示す映像９００は、図８に示す映像８００と比較して、被写体が写し出されている領域が、予め切り出されて拡大されたものとなっている。

なお、揺れ補正部５０４は、公知の揺れ補正技術を用いて、カメラ２６０によって撮像された映像に対する揺れ補正を行う。この揺れ補正技術は、如何なる方法によるものであってもよい。例えば、揺れ補正部５０４は、映像から検出される被写体の揺れに基づいて、映像の揺れ補正を行うようにしてもよい。また、例えば、揺れ補正部５０４は、各種センサによって検出されるカメラ２６０の揺れに基づいて、映像の揺れ補正を行うようにしてもよい。

〔第２実施形態〕
次に、図面を参照して、本発明の第２実施形態について説明する。なお、第２実施形態では、第１実施形態からの変更点について説明する。

（電子黒板１６の機能構成）
図１０は、第２実施形態に係る電子黒板１６の機能構成を示すブロック図である。図１０に示すように、第２実施形態の電子黒板１６は、映像取得部５０１の代わりに予備動作検知部５０６を備える点で、第１実施形態の電子黒板１６と異なる。

予備動作検知部５０６は、タッチパネル・ディスプレイ２１４に対して操作体による描画が行われることが予想される動作である所定の予備動作を検知する。所定の予備動作の検知の一例として、以下が挙げられる。

・ペンホルダにホールセンサを設け、ホールセンサによってペンホルダから電子ペン２９０が持ち上げられることを検知する。
・電子ペン２９０に加速度センサを設け、加速度センサによって電子ペン２９０に動きがあることを検知する。
・電子黒板１６に人感センサを設け、人感センサによって電子黒板１６に対して人が所定距離まで近づいたことを検知する。

揺れ補正制御部５０３は、予備動作検知部５０６による検知結果に基づいて、映像取得部５０１によって取得された映像に対する揺れ補正を、揺れ補正部５０４に行わせるか否かを制御する。例えば、揺れ補正制御部５０３は、予備動作検知部５０６によって所定の予備動作が検知された場合、揺れ補正を揺れ補正部５０４に開始させる。また、例えば、揺れ補正制御部５０３は、予備動作検知部５０６によって所定の予備動作が解除されたことが検知された場合、揺れ補正を揺れ補正部５０４に終了させる。

（電子黒板１６による処理の手順）
図１１は、第２実施形態に係る電子黒板１６による処理の手順を示すフローチャートである。

まず、予備動作検知部５０６が、所定の予備動作を検知したか否かを判断する（ステップＳ１１０１）。ステップＳ１１０１において、所定の予備動作を検知していないと判断された場合（ステップＳ１１０１：Ｎｏ）、予備動作検知部５０６が、ステップＳ１１０１の処理を再度実行する。

一方、ステップＳ１１０１において、所定の予備動作を検知したと判断された場合（ステップＳ１１０１：Ｙｅｓ）、揺れ補正制御部５０３が、映像取得部５０１によって取得された映像に対する揺れ補正を、揺れ補正部５０４に開始させる。これに応じて、揺れ補正部５０４は、映像取得部５０１によって取得された映像に対する揺れ補正を開始する（ステップＳ１１０２）。

その後、予備動作検知部５０６が、所定の予備動作が解除されたことを検知したか否かを判断する（ステップＳ１１０３）。

ステップＳ１１０３において、所定の予備動作が解除されたことを検知していないと判断された場合（ステップＳ１１０３：Ｎｏ）、予備動作検知部５０６が、ステップＳ１１０３の処理を再度実行する。

一方、ステップＳ１１０３において、所定の予備動作が解除されたことを検知したと判断された場合（ステップＳ１１０３：Ｙｅｓ）、揺れ補正制御部５０３が、映像取得部５０１によって取得された映像に対する揺れ補正を、揺れ補正部５０４に終了させる。これに応じて、揺れ補正部５０４は、映像取得部５０１によって取得された映像に対する揺れ補正を終了する（ステップＳ１１０４）。

その後、電子黒板１６は、ビデオ会議が終了したか否かを判断する（ステップＳ１１０５）。ステップＳ１１０５において、ビデオ会議が終了していないと判断された場合（ステップＳ１１０５：Ｎｏ）、電子黒板１６は、ステップＳ１１０１へ処理を戻す。一方、ステップＳ１１０５において、ビデオ会議が終了したと判断された場合（ステップＳ１１０５：Ｙｅｓ）、電子黒板１６は、図１１に示す一連の処理を終了する。

図１１に示す一連の処理により、第２実施形態の電子黒板１６は、所定の予備動作が検知されると、カメラ２６０によって撮影された映像の揺れ補正を開始し、所定の予備動作が解除されたことが検知されると、カメラ２６０によって撮影された映像の揺れ補正を終了することができる。これにより、第２実施形態の電子黒板１６は、少なくとも操作体による描画が行われている間、カメラ２６０によって撮影された映像の揺れ補正を行うことができる。したがって、第２実施形態の電子黒板１６は、筆圧によってカメラ２６０が揺れてしまった場合であっても、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。また、第２実施形態の電子黒板１６は、第１実施形態の電子黒板１６と比較して、簡易的な処理により、揺れ補正の開始および終了が、頻繁に切り替わってしまうことを抑制することができる。

以上説明したように、上記各実施形態の電子黒板１６は、カメラ２６０によって撮像された映像の揺れを補正する揺れ補正部５０４を備える。これにより、上記各実施形態の電子黒板１６は、タッチパネル・ディスプレイ２１４に対して操作体による描画が行われたことにより、筆圧によってカメラ２６０が揺れてしまった場合であっても、カメラ２６０によって撮影された映像の揺れ補正を行うことができる。したがって、上記各実施形態の電子黒板１６によれば、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。

また、第１実施形態の電子黒板１６において、揺れ補正部５０４は、タッチパネル・ディスプレイ２１４に対して操作体が近接したことが検知された場合、揺れ補正を行う。これにより、第１実施形態の電子黒板１６は、少なくとも操作体による描画が行われている間、カメラ２６０によって撮影された映像の揺れ補正を行うことができるため、不必要に揺れ補正を行うことを抑制することができる。

また、上記第２実施形態の電子黒板１６において、揺れ補正部５０４は、タッチパネル・ディスプレイ２１４に対して操作体による描画が行われることが予想される所定の予備動作が検知された場合、揺れ補正を行う。これにより、第２実施形態の電子黒板１６は、少なくとも操作体による描画が行われている間、カメラ２６０によって撮影された映像の揺れ補正を行うことができるため、不必要に揺れ補正を行うことを抑制することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

例えば、揺れ補正部５０４による揺れ補正の開始タイミングおよび終了タイミングは、上記実施形態で説明したものに限らず、如何なるタイミングであってもよい。但し、少なくともタッチパネル・ディスプレイ２１４に対して描画が行われている間、揺れ補正部５０４による揺れ補正が行われるように、揺れ補正部５０４による揺れ補正の開始タイミングおよび終了タイミングを定めることが好ましい。

１ビデオ会議システム
１２会議サーバ
１４会議予約サーバ
１６電子黒板
２１４タッチパネル・ディスプレイ
２１４ａ接触センサ
２１４ｂディスプレイ
１８通信ネットワーク
２５０スピーカ
２６０カメラ
２９０電子ペン
５０１映像取得部
５０２近接判定部
５０３揺れ補正制御部
５０４揺れ補正部
５０５映像出力部
５０６予備動作検知部

国際公開第２０１６／１７８３６５号

Claims

操作体による描画が可能なディスプレイと、
前記ディスプレイに取り付けられたカメラと、
前記カメラによって撮像された映像の揺れを補正する揺れ補正部と
を備えることを特徴とする電子黒板。
前記揺れ補正部は、
前記ディスプレイに対して前記操作体が近接したことが検知された場合、前記補正を行う
ことを特徴とする請求項１に記載の電子黒板。
前記揺れ補正部は、
前記ディスプレイに対して前記操作体による描画が行われることが予想される所定の予備動作が検知された場合、前記補正を行う
ことを特徴とする請求項１に記載の電子黒板。
前記所定の予備動作は、
ペンホルダから前記操作体である電子ペンが持ち上げられること、前記電子ペンに動きが生じたこと、前記電子黒板に対して人が所定距離まで近づいたこと、のいずれかである
ことを特徴とする請求項３に記載の電子黒板。
操作体による描画が可能なディスプレイと、前記ディスプレイに取り付けられたカメラとを備えた電子黒板に用いられる映像補正方法であって、
前記カメラによって撮像された映像の揺れを補正する揺れ補正工程
を含むことを特徴とする映像補正方法。