JP7298200B2 - Electronic blackboard and image correction method - Google Patents
Electronic blackboard and image correction method Download PDFInfo
- Publication number
- JP7298200B2 JP7298200B2 JP2019041986A JP2019041986A JP7298200B2 JP 7298200 B2 JP7298200 B2 JP 7298200B2 JP 2019041986 A JP2019041986 A JP 2019041986A JP 2019041986 A JP2019041986 A JP 2019041986A JP 7298200 B2 JP7298200 B2 JP 7298200B2
- Authority
- JP
- Japan
- Prior art keywords
- shake correction
- electronic blackboard
- image
- shake
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、電子黒板および映像補正方法に関する。 The present invention relates to an electronic blackboard and an image correction method.
下記特許文献1には、電子黒板機能およびビデオ会議機能を有することにより、ディスプレイに描画された画像や、カメラによって撮像された画像を、他拠点の電子黒板、ビデオ会議端末、およびPCと共有することができる電子黒板が開示されている。
しかしながら、上記特許文献1の電子黒板では、ビデオ会議中にディスプレイに描画を行った場合、筆圧によってディスプレイに取り付けられているカメラが揺れてしまい、他拠点に揺れた映像が送信されてしまう虞がある。
However, with the electronic blackboard of
本発明は、上述した従来技術の課題を解決するため、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できるようにすることを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to solve the above-described problems of the prior art, and to suppress transmission of shaky video to other sites during a video conference.
上述した課題を解決するために、本発明の電子黒板は、操作体による描画が可能なディスプレイと、ディスプレイに取り付けられたカメラと、カメラによって撮像された映像の揺れを補正する揺れ補正部とを備える。 In order to solve the above-described problems, the electronic blackboard of the present invention includes a display on which drawing can be performed by an operating body, a camera attached to the display, and a shake correcting section for correcting shake of an image captured by the camera. Prepare.
本発明によれば、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。 According to the present invention, it is possible to prevent a shaky image from being transmitted to another site during a video conference.
〔第1実施形態〕
以下、図面を参照して、本発明の第1実施形態について説明する。
[First embodiment]
A first embodiment of the present invention will be described below with reference to the drawings.
(ビデオ会議システム1の構成)
図1は、第1実施形態に係るビデオ会議システム1のシステム構成図である。図1に示すビデオ会議システム1は、複数の拠点に設置された複数の電子黒板16の間で、ビデオ会議を行うことが可能である。図1に示すように、ビデオ会議システム1は、会議サーバ12、会議予約サーバ14、および複数の電子黒板16を備える。
(Configuration of video conference system 1)
FIG. 1 is a system configuration diagram of a
各電子黒板16は、インターネット、イントラネット、LAN(Local Area Network)等の通信ネットワーク18を介して、会議サーバ12、会議予約サーバ14、および他の電子黒板16と接続されている。各電子黒板16は、通信ネットワーク18を介して、他の電子黒板16とビデオ会議を行うことができる。
Each
各電子黒板16は、ビデオ会議が行われている間、ビデオ会議に参加している他の電子黒板16に対して各種データを送信したり、ビデオ会議に参加している他の電子黒板16から各種データを受信したりすることにより、ビデオ会議に参加している他の電子黒板16と各種データを共有することができる。
While the video conference is being held, each
なお、ビデオ会議において共有される各種データとしては、例えば、カメラによって撮像された画像データ、マイクから入力された音声データ、タッチパネル・ディスプレイに書き込まれた描画データ等が挙げられる。また、各電子黒板16は、他の電子黒板16に限らず、ビデオ会議端末、PC等とも、ビデオ会議を行うことも可能である。
Various data shared in the video conference include, for example, image data captured by a camera, audio data input from a microphone, drawing data written to a touch panel display, and the like. Further, each
会議サーバ12は、ビデオ会議に関する各種制御を行う。例えば、会議サーバ12は、ビデオ会議の開始時においては、各電子黒板16と会議サーバ12との通信接続状態の監視、各電子黒板16に対する呼び出し等を行う。また、会議サーバ12は、ビデオ会議中においては、複数の電子黒板16の間における各種データの転送処理等を行う。
The
会議予約サーバ14は、ビデオ会議に関する会議情報を管理する。例えば、会議の主催者は、端末装置から、会議予約サーバ14に対して、事前に会議情報を入力する。電子黒板16は、起動時等において会議予約サーバ14に対して会議情報の問い合わせを行い、該当する会議情報が存在する場合、その会議情報に基づいてビデオ会議を実施する。会議情報には、例えば、開催日時、場所、会議参加者、役割、使用する電子黒板16等の情報が含まれる。
The
(電子黒板16のハードウェア構成)
図2は、第1実施形態に係る電子黒板16のハードウェア構成図である。図2に示されているように、電子黒板16は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F205、及び、外部機器接続I/F(Interface)206を備えている。
(Hardware Configuration of Electronic Blackboard 16)
FIG. 2 is a hardware configuration diagram of the
これらのうち、CPU201は、電子黒板16全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、電子黒板用のプログラム等の各種データを記憶する。ネットワークコントローラ205は、通信ネットワーク18との通信を制御する。外部機器接続I/F206は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ230、外付け機器(マイク240、スピーカ250、カメラ260)である。
Among these, the
また、電子黒板16は、キャプチャデバイス211、GPU212、ディスプレイコントローラ213、接触センサ214a、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、及び近距離通信回路219のアンテナ219a、電源スイッチ222及び選択スイッチ類223を備えている。
The
これらのうち、キャプチャデバイス211は、外付けのPC(Personal Computer))270のディスプレイに対して映像情報を静止画または動画として表示させる。GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、GPU212からの出力画像をディスプレイ214b等へ出力するために画面表示の制御及び管理を行う。
Among them, the
接触センサ214aは、ディスプレイ214bとともにタッチパネル・ディスプレイ214を構成する。接触センサ214aは、ディスプレイ214bの表面に対する操作体(電子ペン290、ユーザの手H等)の近接状態(距離および位置)を検知する。接触センサ214aは、静電容量方式による座標の入力及び座標の検出を行う。接触センサ214aは、ディスプレイ214bに対する操作体の近接状態に応じて、ディスプレイ214bに格子状に重ねて配置された検出電極における静電容量が変化する。センサコントローラ215は、この静電容量の変化に基づいて、操作体の近接状態を特定する。
Contact
電子ペンコントローラ216は、電子ペン290と通信することで、ディスプレイ214bへのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ222は、電子黒板16の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、ディスプレイ214bの表示の明暗や色合い等を調整するためのスイッチ群である。
The electronic pen controller 216 communicates with the
更に、電子黒板16は、バスライン210を備えている。バスライン210は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Furthermore, the
(電子黒板16の使用例)
図3は、第1実施形態に係る電子黒板16の使用例を示す図である。図3に示すように、電子黒板16は、タッチパネル・ディスプレイ214を備えており、電子ペン290等により、タッチパネル・ディスプレイ214に対する書き込みを行うことが可能である。なお、タッチパネル・ディスプレイ214は、図2に示すディスプレイ214bと接触センサ214aとが組み合わされたものである。
(Usage example of the electronic blackboard 16)
FIG. 3 is a diagram showing a usage example of the
電子黒板16は、タッチパネル・ディスプレイ214に書き込まれたデータを、通信ネットワーク18を介して、他拠点の電子黒板16と共有することができる。また、電子黒板16は、カメラ260によって撮像された自拠点の映像と、マイク240によって取得された自拠点の音声とを、通信ネットワーク18を介して、他拠点の電子黒板16と共有することができる。
The
また、電子黒板16は、他拠点の電子黒板16から送信された他拠点の映像および音声を、ディスプレイ214bおよびスピーカ250から出力することができる。なお、図3に示す例では、カメラ260は、タッチパネル・ディスプレイ214の周囲の額縁部に設けられているが、これに限らず、カメラ260は、タッチパネル・ディスプレイ214の周囲のその他の部分に取り付けられたものであってもよい。
In addition, the
(ホバリング検知機能)
図4は、第1実施形態に係る電子黒板16におけるタッチパネル・ディスプレイ214のホバリング検知機能について説明する図である。図4は、操作体(電子ペン290、指等)がタッチパネル・ディスプレイ214に近づいて接触した後、操作体がタッチパネル・ディスプレイ214から離れていくときの、操作体とタッチパネル・ディスプレイ214との間の距離と時間との関係を表す。
(Hovering detection function)
FIG. 4 is a diagram for explaining the hovering detection function of the
図4に示すように、操作体がタッチパネル・ディスプレイ214に近づいていく場合において(時間0~t1)、操作体とタッチパネル・ディスプレイ214との間の距離が距離d1となったとき(時間t0)、タッチパネル・ディスプレイ214はホバリング検知が可能となる。さらに、操作体をタッチパネル・ディスプレイ214に近づけてゆくと、操作体がタッチパネル・ディスプレイ214に接触する(時間t1)。
As shown in FIG. 4, when the operating body approaches the touch panel display 214 (
また、図4に示すように、操作体がタッチパネル・ディスプレイ214に接触しているとき(時間t1~t2)、操作体とタッチパネル・ディスプレイ214との間の距離は変化しない(0で一定である)。
Further, as shown in FIG. 4, when the operating body is in contact with the touch panel display 214 (time t1 to t2), the distance between the operating body and the
また、図4に示すように、操作体がタッチパネル・ディスプレイ214から離れていく場合において(時間t2~)、操作体とタッチパネル・ディスプレイ214との間の距離が距離d1よりも大きくなったとき(時間t3~)、タッチパネル・ディスプレイ214はホバリング検知が不可能となる。
Further, as shown in FIG. 4, when the operating body moves away from the touch panel display 214 (from time t2), when the distance between the operating body and the
(電子黒板16の機能構成)
図5は、第1実施形態に係る電子黒板16の機能構成を示すブロック図である。図5に示すように、電子黒板16は、映像取得部501、近接判定部502、揺れ補正制御部503、揺れ補正部504、および映像出力部505を備える。
(Functional Configuration of Electronic Blackboard 16)
FIG. 5 is a block diagram showing the functional configuration of the
映像取得部501は、カメラ260によって撮影された映像を取得する。
The
近接判定部502は、タッチパネル・ディスプレイ214に対する操作体の近接状態を判定する。
The
例えば、近接判定部502は、タッチパネル・ディスプレイ214が操作体のホバリングを検知したか否かを判定する。ホバリングとは、タッチパネル・ディスプレイ214が検知可能な距離d1まで、操作体が近接したことを意味する。
For example, the
また、例えば、近接判定部502は、タッチパネル・ディスプレイ214が操作体の接触を検知したか否かを判定する。また、例えば、近接判定部502は、タッチパネル・ディスプレイ214から操作体が離間したか否かを判定する。
Also, for example, the
例えば、タッチパネル・ディスプレイ214は、操作体の近接状態に応じて静電容量が変化するため、この静電容量の変化に基づいて、操作体のホバリング、接触、および離間を検知することができる。
For example, the
揺れ補正制御部503は、近接判定部502による判定結果に基づいて、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に行わせるか否かを制御する。
The shake
例えば、揺れ補正制御部503は、近接判定部502によってタッチパネル・ディスプレイ214が操作体のホバリングを検知したと判定された場合、揺れ補正を揺れ補正部504に開始させる。
For example, when the
また、例えば、揺れ補正制御部503は、近接判定部502によってタッチパネル・ディスプレイ214が操作体の離間を検知したと判定された場合、揺れ補正を揺れ補正部504に終了させる。
Further, for example, when the
揺れ補正部504は、映像取得部501によって取得された映像に対して揺れ補正を行う。例えば、揺れ補正部504は、揺れ補正制御部503から揺れ補正の開始が指示された場合、映像取得部501によって取得された映像に対して揺れ補正を開始する。そして、揺れ補正部504は、揺れ補正制御部503から揺れ補正の終了が指示された場合、映像取得部501によって取得された映像に対する揺れ補正を終了する。すなわち、揺れ補正部504は、揺れ補正制御部503から揺れ補正の指示がなされていない場合、映像取得部501によって取得された映像に対して揺れ補正を行わない。
A
映像出力部505は、揺れ補正部504による揺れ補正が行われている期間においては、揺れ補正部504によって揺れ補正がなされた映像を、後続の処理部へ出力する。一方、映像出力部505は、揺れ補正部504による揺れ補正が行われていない期間においては、映像取得部501によって取得された映像を、そのまま後続の処理部へ出力する。例えば、映像処理部による映像処理を後続処理として行う必要がある場合、映像出力部505は、当該映像処理部へ、映像を出力する。また、例えば、映像送信部による映像送信処理を後続処理として行う必要がある場合、映像出力部505は、当該映像送信部へ、映像を出力する。
The
なお、上記した電子黒板16の各機能は、例えば、電子黒板16において、補助記憶装置(ROM202、SSD204等)に記憶されたプログラムを、CPU201が実行することにより実現される。このプログラムは、予め電子黒板16に導入された状態で提供されてもよく、外部から提供されて電子黒板16に導入されるようにしてもよい。後者の場合、このプログラムは、外部記憶媒体(例えば、USBメモリ、メモリカード、CD-ROM等)によって提供されてもよく、ネットワーク(例えば、インターネット等)上のサーバからダウンロードすることによって提供されるようにしてもよい。
Each function of the
また、上記した電子黒板16の機能の一部は、CPU201以外のハードウェアによって実現されてもよい。例えば、映像取得部501、揺れ補正部504、および映像出力部505はカメラ260が備える処理回路等によって実現されてもよい。
Also, some of the functions of the
また、上記した電子黒板16の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
Also, each function of the
(電子黒板16による処理の手順)
図6は、第1実施形態に係る電子黒板16による処理の手順を示すフローチャートである。
(Procedure of processing by the electronic blackboard 16)
FIG. 6 is a flow chart showing the procedure of processing by the
まず、近接判定部502が、タッチパネル・ディスプレイ214が操作体のホバリングを検知したか否かを判断する(ステップS601)。ステップS601において、ホバリングを検知していないと判断された場合(ステップS601:No)、近接判定部502は、ステップS601の処理を再度実行する。
First, the
一方、ステップS601において、ホバリングを検知したと判断された場合(ステップS601:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に開始させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を開始する(ステップS602)。
On the other hand, if it is determined in step S601 that hovering has been detected (step S601: Yes), the shake
その後、近接判定部502が、タッチパネル・ディスプレイ214が操作体の接触を検知したか否かを判断する(ステップS603)。
After that, the
ステップS603において、接触を検知していないと判断された場合(ステップS603:No)、揺れ補正制御部503が、ステップS601で操作体のホバリングが検知されてから、一定時間が経過したか否かを判断する(ステップS604)。
If it is determined in step S603 that contact has not been detected (step S603: No), the shake
ステップS604において、一定時間が経過していないと判断された場合(ステップS604:No)、電子黒板16は、ステップS603へ処理を戻す。
If it is determined in step S604 that the predetermined time has not passed (step S604: No), the
一方、ステップS604において、一定時間が経過したと判断された場合(ステップS604:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に終了させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を終了する(ステップS605)。そして、電子黒板16は、ステップS601へ処理を戻す。
On the other hand, if it is determined in step S604 that the predetermined time has passed (step S604: Yes), the shake
ステップS603において、接触を検知したと判断された場合(ステップS603:Yes)、近接判定部502が、タッチパネル・ディスプレイ214から操作体が離間したか否かを判断する(ステップS606)。
If it is determined in step S603 that contact has been detected (step S603: Yes), the
ステップS606において、離間を検知していないと判断された場合(ステップS606:No)、揺れ補正制御部503は、ステップS606の処理を再度実行する。
If it is determined in step S606 that separation has not been detected (step S606: No), the shake
一方、ステップS606において、離間を検知したと判断された場合(ステップS606:Yes)、その後、近接判定部502が、タッチパネル・ディスプレイ214が操作体の接触を検知したか否かを判断する(ステップS607)。
On the other hand, if it is determined in step S606 that separation has been detected (step S606: Yes), then the
ステップS607において、接触を検知したと判断された場合(ステップS607:Yes)、電子黒板16は、ステップS606へ処理を戻す。
If it is determined in step S607 that contact has been detected (step S607: Yes), the
一方、ステップS607において、接触を検知していないと判断された場合(ステップS607:No)、揺れ補正制御部503が、ステップS606で操作体の離間が検知されてから、一定時間が経過したか否かを判断する(ステップS608)。
On the other hand, if it is determined in step S607 that contact has not been detected (step S607: No), the shake
ステップS608において、一定時間が経過していないと判断された場合(ステップS608:No)、電子黒板16は、ステップS607へ処理を戻す。
If it is determined in step S608 that the predetermined time has not passed (step S608: No), the
一方、ステップS608において、一定時間が経過したと判断された場合(ステップS608:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に終了させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を終了する(ステップS609)。
On the other hand, if it is determined in step S608 that the predetermined time has passed (step S608: Yes), the shake
その後、電子黒板16は、ビデオ会議が終了したか否かを判断する(ステップS610)。ステップS610において、ビデオ会議が終了していないと判断された場合(ステップS610:No)、電子黒板16は、ステップS601へ処理を戻す。一方、ステップS610において、ビデオ会議が終了したと判断された場合(ステップS610:Yes)、電子黒板16は、図6に示す一連の処理を終了する。
After that, the
図6に示す一連の処理により、第1実施形態の電子黒板16は、操作体のホバリングが検知されると、カメラ260によって撮影された映像の揺れ補正を開始し、操作体の離間が検知されてから一定時間経過後、カメラ260によって撮影された映像の揺れ補正を終了することができる。これにより、第1実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができる。したがって、第1実施形態の電子黒板16は、筆圧によってカメラ260が揺れてしまった場合であっても、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。また、第1実施形態の電子黒板16は、操作体の離間が検知されてから一定時間経過後、揺れ補正を終了するため、揺れ補正の開始および終了が、頻繁に切り替わってしまうことを抑制することができる。
Through the series of processes shown in FIG. 6, the
(電子黒板16による揺れ補正の具体例)
図7は、第1実施形態に係る電子黒板16においてカメラ260によって撮影された映像(揺れ補正部504による揺れ補正前)の一例を示す図である。図7に示す映像700は、揺れ補正部504による揺れ補正前の映像の一例である。映像700は、複数のフレーム画像を有して構成されている。なお、図7に示す時間t0,t1,t2,t3は、図4に示す時間t0,t1,t2,t3に対応している。
(Specific example of shake correction by electronic blackboard 16)
FIG. 7 is a diagram showing an example of an image (before shake correction by the shake correction unit 504) captured by the
図7に示すように、操作体による描画が行われたために、操作体がタッチパネル・ディスプレイ214に接触している間(時間t1~t2)、タッチパネル・ディスプレイ214の振動に伴って、タッチパネル・ディスプレイ214に取り付けられたカメラ260に揺れが発生し、したがって、映像700に揺れが発生する。すなわち、複数のフレーム画像の間で、被写体の位置が一定に定まらない。
As shown in FIG. 7, since the operation object has been used for drawing, while the operation object is in contact with the touch panel display 214 (time t1 to t2), the
一方、図7に示すように、操作体がタッチパネル・ディスプレイ214に接触を開始する以前(~時間t1)、および、操作体がタッチパネル・ディスプレイ214に接触を終了した以後(時間t2~)は、カメラ260に揺れが発生しないため、映像700に揺れが発生しない。すなわち、複数のフレーム画像の間で、被写体の位置が一定に定まる。
On the other hand, as shown in FIG. 7, before the operating object starts touching touch panel display 214 (~ time t1) and after the operating object finishes touching touch panel display 214 (time t2~), Since
図8および図9は、第1実施形態に係る電子黒板16においてカメラ260によって撮影された映像(揺れ補正部504による揺れ補正後)の一例を示す図である。図8に示す映像800および図9に示す映像900は、図7に示す映像700に対する、揺れ補正部504による揺れ補正後の映像の一例である。なお、図8および図9に示す時間t0,t1,t2,t3は、図4に示す時間t0,t1,t2,t3に対応している。
8 and 9 are diagrams showing an example of an image (after shake correction by the shake correction unit 504) captured by the
電子黒板16は、タッチパネル・ディスプレイ214が操作体のホバリングを検知した時点で(時間t0)、カメラ260によって撮像された映像に対する揺れ補正を開始する。このため、図8および図9に示すように、操作体がタッチパネル・ディスプレイ214に接触している間(時間t1~t2)、揺れ補正後の映像800,900では、揺れが生じていない。すなわち、揺れ補正後の映像800,900では、複数のフレーム画像の間で、被写体の位置が一定に定まっている。なお、図9に示す映像900は、図8に示す映像800と比較して、被写体が写し出されている領域が、予め切り出されて拡大されたものとなっている。
The
なお、揺れ補正部504は、公知の揺れ補正技術を用いて、カメラ260によって撮像された映像に対する揺れ補正を行う。この揺れ補正技術は、如何なる方法によるものであってもよい。例えば、揺れ補正部504は、映像から検出される被写体の揺れに基づいて、映像の揺れ補正を行うようにしてもよい。また、例えば、揺れ補正部504は、各種センサによって検出されるカメラ260の揺れに基づいて、映像の揺れ補正を行うようにしてもよい。
Note that the
〔第2実施形態〕
次に、図面を参照して、本発明の第2実施形態について説明する。なお、第2実施形態では、第1実施形態からの変更点について説明する。
[Second embodiment]
Next, a second embodiment of the present invention will be described with reference to the drawings. In addition, in the second embodiment, changes from the first embodiment will be described.
(電子黒板16の機能構成)
図10は、第2実施形態に係る電子黒板16の機能構成を示すブロック図である。図10に示すように、第2実施形態の電子黒板16は、映像取得部501の代わりに予備動作検知部506を備える点で、第1実施形態の電子黒板16と異なる。
(Functional configuration of electronic blackboard 16)
FIG. 10 is a block diagram showing the functional configuration of the
予備動作検知部506は、タッチパネル・ディスプレイ214に対して操作体による描画が行われることが予想される動作である所定の予備動作を検知する。所定の予備動作の検知の一例として、以下が挙げられる。
A preliminary
・ペンホルダにホールセンサを設け、ホールセンサによってペンホルダから電子ペン290が持ち上げられることを検知する。
・電子ペン290に加速度センサを設け、加速度センサによって電子ペン290に動きがあることを検知する。
・電子黒板16に人感センサを設け、人感センサによって電子黒板16に対して人が所定距離まで近づいたことを検知する。
- A hall sensor is provided in the pen holder, and the hall sensor detects that the
- An acceleration sensor is provided in the
A human sensor is provided on the
揺れ補正制御部503は、予備動作検知部506による検知結果に基づいて、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に行わせるか否かを制御する。例えば、揺れ補正制御部503は、予備動作検知部506によって所定の予備動作が検知された場合、揺れ補正を揺れ補正部504に開始させる。また、例えば、揺れ補正制御部503は、予備動作検知部506によって所定の予備動作が解除されたことが検知された場合、揺れ補正を揺れ補正部504に終了させる。
The shake
(電子黒板16による処理の手順)
図11は、第2実施形態に係る電子黒板16による処理の手順を示すフローチャートである。
(Procedure of processing by the electronic blackboard 16)
FIG. 11 is a flow chart showing the procedure of processing by the
まず、予備動作検知部506が、所定の予備動作を検知したか否かを判断する(ステップS1101)。ステップS1101において、所定の予備動作を検知していないと判断された場合(ステップS1101:No)、予備動作検知部506が、ステップS1101の処理を再度実行する。
First, the preliminary
一方、ステップS1101において、所定の予備動作を検知したと判断された場合(ステップS1101:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に開始させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を開始する(ステップS1102)。
On the other hand, if it is determined in step S1101 that a predetermined preliminary motion has been detected (step S1101: Yes), the shake
その後、予備動作検知部506が、所定の予備動作が解除されたことを検知したか否かを判断する(ステップS1103)。
After that, the preliminary
ステップS1103において、所定の予備動作が解除されたことを検知していないと判断された場合(ステップS1103:No)、予備動作検知部506が、ステップS1103の処理を再度実行する。
If it is determined in step S1103 that it has not detected that the predetermined preparatory motion has been canceled (step S1103: No), the preparatory
一方、ステップS1103において、所定の予備動作が解除されたことを検知したと判断された場合(ステップS1103:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に終了させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を終了する(ステップS1104)。
On the other hand, if it is determined in step S1103 that the predetermined preliminary motion has been canceled (step S1103: Yes), the shake
その後、電子黒板16は、ビデオ会議が終了したか否かを判断する(ステップS1105)。ステップS1105において、ビデオ会議が終了していないと判断された場合(ステップS1105:No)、電子黒板16は、ステップS1101へ処理を戻す。一方、ステップS1105において、ビデオ会議が終了したと判断された場合(ステップS1105:Yes)、電子黒板16は、図11に示す一連の処理を終了する。
After that, the
図11に示す一連の処理により、第2実施形態の電子黒板16は、所定の予備動作が検知されると、カメラ260によって撮影された映像の揺れ補正を開始し、所定の予備動作が解除されたことが検知されると、カメラ260によって撮影された映像の揺れ補正を終了することができる。これにより、第2実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができる。したがって、第2実施形態の電子黒板16は、筆圧によってカメラ260が揺れてしまった場合であっても、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。また、第2実施形態の電子黒板16は、第1実施形態の電子黒板16と比較して、簡易的な処理により、揺れ補正の開始および終了が、頻繁に切り替わってしまうことを抑制することができる。
Through the series of processes shown in FIG. 11, the
以上説明したように、上記各実施形態の電子黒板16は、カメラ260によって撮像された映像の揺れを補正する揺れ補正部504を備える。これにより、上記各実施形態の電子黒板16は、タッチパネル・ディスプレイ214に対して操作体による描画が行われたことにより、筆圧によってカメラ260が揺れてしまった場合であっても、カメラ260によって撮影された映像の揺れ補正を行うことができる。したがって、上記各実施形態の電子黒板16によれば、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。
As described above, the
また、第1実施形態の電子黒板16において、揺れ補正部504は、タッチパネル・ディスプレイ214に対して操作体が近接したことが検知された場合、揺れ補正を行う。これにより、第1実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができるため、不必要に揺れ補正を行うことを抑制することができる。
Further, in the
また、上記第2実施形態の電子黒板16において、揺れ補正部504は、タッチパネル・ディスプレイ214に対して操作体による描画が行われることが予想される所定の予備動作が検知された場合、揺れ補正を行う。これにより、第2実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができるため、不必要に揺れ補正を行うことを抑制することができる。
Further, in the
以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to these embodiments, and various modifications or Change is possible.
例えば、揺れ補正部504による揺れ補正の開始タイミングおよび終了タイミングは、上記実施形態で説明したものに限らず、如何なるタイミングであってもよい。但し、少なくともタッチパネル・ディスプレイ214に対して描画が行われている間、揺れ補正部504による揺れ補正が行われるように、揺れ補正部504による揺れ補正の開始タイミングおよび終了タイミングを定めることが好ましい。
For example, the start timing and end timing of shake correction by the
1 ビデオ会議システム
12 会議サーバ
14 会議予約サーバ
16 電子黒板
214 タッチパネル・ディスプレイ
214a 接触センサ
214b ディスプレイ
18 通信ネットワーク
250 スピーカ
260 カメラ
290 電子ペン
501 映像取得部
502 近接判定部
503 揺れ補正制御部
504 揺れ補正部
505 映像出力部
506 予備動作検知部
1
Claims (5)
前記ディスプレイに取り付けられたカメラと、
前記カメラによって撮像された映像の揺れを補正する揺れ補正部と
を備え、
前記揺れ補正部は、
前記ディスプレイに対して前記操作体が近接したことが検知された場合、前記補正を行う
ことを特徴とする電子黒板。 a display on which drawing can be performed using an operating body;
a camera attached to the display;
a shake correction unit that corrects shake of the image captured by the camera ,
The shake corrector is
When it is detected that the operating body has approached the display, the correction is performed.
An electronic blackboard characterized by:
前記ディスプレイに取り付けられたカメラと、
前記カメラによって撮像された映像の揺れを補正する揺れ補正部と
を備え、
前記揺れ補正部は、
前記ディスプレイに対して前記操作体による描画が行われることが予想される所定の予備動作が検知された場合、前記補正を行う
ことを特徴とする電子黒板。 a display on which drawing can be performed using an operating body;
a camera attached to the display;
a shake correction unit for correcting shake of an image captured by the camera;
with
The shake corrector is
An electronic blackboard, wherein the correction is performed when a predetermined preliminary motion in which drawing by the operating body is expected to be performed on the display is detected.
ペンホルダから前記操作体である電子ペンが持ち上げられること、前記電子ペンに動きが生じたこと、前記電子黒板に対して人が所定距離まで近づいたこと、のいずれかである
ことを特徴とする請求項2に記載の電子黒板。 The predetermined preliminary operation is
The electronic pen, which is the operating body, is lifted from the pen holder, the electronic pen moves, or a person approaches the electronic blackboard to a predetermined distance. Item 3. The electronic blackboard according to item 2 .
前記カメラによって撮像された映像の揺れを補正する揺れ補正工程
を含み、
前記揺れ補正工程では、
前記ディスプレイに対して前記操作体が近接したことが検知された場合、前記補正を行う
ことを特徴とする映像補正方法。 An image correction method used in an electronic blackboard equipped with a display capable of drawing with an operating body and a camera attached to the display,
a shake correction step of correcting the shake of the image captured by the camera ;
In the shake correction step,
When it is detected that the operating body has approached the display, the correction is performed.
An image correction method characterized by:
前記カメラによって撮像された映像の揺れを補正する揺れ補正工程 A shake correction step of correcting the shake of the image captured by the camera.
を含み、 including
前記揺れ補正工程では、 In the shake correction step,
前記ディスプレイに対して前記操作体による描画が行われることが予想される所定の予備動作が検知された場合、前記補正を行う The correction is performed when a predetermined preliminary motion in which drawing by the operating body is expected to be performed on the display is detected.
ことを特徴とする映像補正方法。 An image correction method characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041986A JP7298200B2 (en) | 2019-03-07 | 2019-03-07 | Electronic blackboard and image correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041986A JP7298200B2 (en) | 2019-03-07 | 2019-03-07 | Electronic blackboard and image correction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020145623A JP2020145623A (en) | 2020-09-10 |
JP7298200B2 true JP7298200B2 (en) | 2023-06-27 |
Family
ID=72354628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019041986A Active JP7298200B2 (en) | 2019-03-07 | 2019-03-07 | Electronic blackboard and image correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7298200B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012108771A (en) | 2010-11-18 | 2012-06-07 | Panasonic Corp | Screen operation system |
JP2014003422A (en) | 2012-06-18 | 2014-01-09 | Sony Corp | Display control device, imaging device, and display control method |
JP2017216668A (en) | 2016-05-26 | 2017-12-07 | 株式会社リコー | Information processor, conference system and control method for information processor |
-
2019
- 2019-03-07 JP JP2019041986A patent/JP7298200B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012108771A (en) | 2010-11-18 | 2012-06-07 | Panasonic Corp | Screen operation system |
JP2014003422A (en) | 2012-06-18 | 2014-01-09 | Sony Corp | Display control device, imaging device, and display control method |
JP2017216668A (en) | 2016-05-26 | 2017-12-07 | 株式会社リコー | Information processor, conference system and control method for information processor |
Also Published As
Publication number | Publication date |
---|---|
JP2020145623A (en) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6381240B2 (en) | Electronic device, tactile sensation control method, and program | |
JP6798288B2 (en) | Communication terminals, communication systems, video output methods, and programs | |
JP5412227B2 (en) | Video display device and display control method thereof | |
US8830273B2 (en) | Display control apparatus and display control method, display control program, and recording medium | |
US8860678B2 (en) | Computer system with touch screen and gesture processing method thereof | |
US20150277564A1 (en) | Tactile stimulus control apparatus, tactile stimulus control method, and storage medium | |
JP6711817B2 (en) | Information processing apparatus, control method thereof, program, and storage medium | |
US10754446B2 (en) | Information processing apparatus and information processing method | |
US20190286255A1 (en) | Electronic whiteboard, image display method, and recording medium | |
JP6973025B2 (en) | Display devices, image processing devices and programs | |
JP6540367B2 (en) | Display control apparatus, communication terminal, communication system, display control method, and program | |
JP2017102635A (en) | Communication terminal, communication system, communication control method, and program | |
JP7298200B2 (en) | Electronic blackboard and image correction method | |
WO2015067023A1 (en) | Motion control method, terminal and system for video conference | |
JP6589621B2 (en) | Display device, camera position control method, and program | |
JP6776905B2 (en) | Communication terminals, communication systems, display control methods, and programs | |
US20150277656A1 (en) | Dynamically determining workspace bounds during a collaboration session | |
JP6586907B2 (en) | Information processing apparatus, conference system, and control method for information processing apparatus | |
JP7215254B2 (en) | Information processing device, display control method, and program | |
JP2014179956A (en) | Imaging instruction terminal, imaging system, imaging instruction method and program | |
JP7331578B2 (en) | Display device, image display method, program | |
JP2017228216A (en) | Information processing apparatus, control method therefor, program, and storage medium | |
JP2017157135A (en) | Input device and input method | |
JPH08315118A (en) | Man-machine interface | |
JP2017022590A (en) | Image processing apparatus, control method for image processing apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7298200 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |