JP7298200B2 - Electronic blackboard and image correction method - Google Patents

Electronic blackboard and image correction method Download PDF

Info

Publication number
JP7298200B2
JP7298200B2 JP2019041986A JP2019041986A JP7298200B2 JP 7298200 B2 JP7298200 B2 JP 7298200B2 JP 2019041986 A JP2019041986 A JP 2019041986A JP 2019041986 A JP2019041986 A JP 2019041986A JP 7298200 B2 JP7298200 B2 JP 7298200B2
Authority
JP
Japan
Prior art keywords
shake correction
electronic blackboard
image
shake
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019041986A
Other languages
Japanese (ja)
Other versions
JP2020145623A (en
Inventor
宣正 銀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019041986A priority Critical patent/JP7298200B2/en
Publication of JP2020145623A publication Critical patent/JP2020145623A/en
Application granted granted Critical
Publication of JP7298200B2 publication Critical patent/JP7298200B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、電子黒板および映像補正方法に関する。 The present invention relates to an electronic blackboard and an image correction method.

下記特許文献1には、電子黒板機能およびビデオ会議機能を有することにより、ディスプレイに描画された画像や、カメラによって撮像された画像を、他拠点の電子黒板、ビデオ会議端末、およびPCと共有することができる電子黒板が開示されている。 Patent Document 1 below discloses that an image drawn on a display or an image captured by a camera is shared with an electronic blackboard, a video conference terminal, or a PC at another site by having an electronic blackboard function and a video conference function. An electronic blackboard is disclosed that can

しかしながら、上記特許文献1の電子黒板では、ビデオ会議中にディスプレイに描画を行った場合、筆圧によってディスプレイに取り付けられているカメラが揺れてしまい、他拠点に揺れた映像が送信されてしまう虞がある。 However, with the electronic blackboard of Patent Document 1, when drawing is performed on the display during a video conference, the camera attached to the display may shake due to the pen pressure, and there is a risk that the shaken image may be transmitted to other sites. There is

本発明は、上述した従来技術の課題を解決するため、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できるようにすることを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to solve the above-described problems of the prior art, and to suppress transmission of shaky video to other sites during a video conference.

上述した課題を解決するために、本発明の電子黒板は、操作体による描画が可能なディスプレイと、ディスプレイに取り付けられたカメラと、カメラによって撮像された映像の揺れを補正する揺れ補正部とを備える。 In order to solve the above-described problems, the electronic blackboard of the present invention includes a display on which drawing can be performed by an operating body, a camera attached to the display, and a shake correcting section for correcting shake of an image captured by the camera. Prepare.

本発明によれば、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。 According to the present invention, it is possible to prevent a shaky image from being transmitted to another site during a video conference.

第1実施形態に係るビデオ会議システムのシステム構成図System configuration diagram of the video conference system according to the first embodiment 第1実施形態に係る電子黒板のハードウェア構成図Hardware configuration diagram of the electronic blackboard according to the first embodiment 第1実施形態に係る電子黒板の使用例を示す図FIG. 2 is a diagram showing a usage example of the electronic blackboard according to the first embodiment; 第1実施形態に係る電子黒板におけるタッチパネル・ディスプレイのホバリング検知機能について説明する図FIG. 4 is a diagram for explaining the hovering detection function of the touch panel display in the electronic blackboard according to the first embodiment; 第1実施形態に係る電子黒板の機能構成を示すブロック図FIG. 2 is a block diagram showing the functional configuration of the electronic blackboard according to the first embodiment; 第1実施形態に係る電子黒板による処理の手順を示すフローチャート4 is a flow chart showing the procedure of processing by the electronic blackboard according to the first embodiment; 第1実施形態に係る電子黒板においてカメラによって撮影された映像(揺れ補正部による揺れ補正前)の一例を示す図FIG. 4 is a diagram showing an example of an image (before shake correction by a shake correction unit) captured by a camera on the electronic blackboard according to the first embodiment; 第1実施形態に係る電子黒板においてカメラによって撮影された映像(揺れ補正部による揺れ補正後)の一例を示す図FIG. 4 is a diagram showing an example of an image (after shake correction by a shake correction unit) captured by a camera on the electronic blackboard according to the first embodiment; 第1実施形態に係る電子黒板においてカメラによって撮影された映像(揺れ補正部による揺れ補正後)の一例を示す図FIG. 4 is a diagram showing an example of an image (after shake correction by a shake correction unit) captured by a camera on the electronic blackboard according to the first embodiment; 第2実施形態に係る電子黒板の機能構成を示すブロック図Block diagram showing the functional configuration of the electronic blackboard according to the second embodiment 第2実施形態に係る電子黒板による処理の手順を示すフローチャートFlowchart showing the procedure of processing by the electronic blackboard according to the second embodiment

〔第1実施形態〕
以下、図面を参照して、本発明の第1実施形態について説明する。
[First embodiment]
A first embodiment of the present invention will be described below with reference to the drawings.

(ビデオ会議システム1の構成)
図1は、第1実施形態に係るビデオ会議システム1のシステム構成図である。図1に示すビデオ会議システム1は、複数の拠点に設置された複数の電子黒板16の間で、ビデオ会議を行うことが可能である。図1に示すように、ビデオ会議システム1は、会議サーバ12、会議予約サーバ14、および複数の電子黒板16を備える。
(Configuration of video conference system 1)
FIG. 1 is a system configuration diagram of a video conference system 1 according to the first embodiment. The video conference system 1 shown in FIG. 1 can hold a video conference between a plurality of electronic blackboards 16 installed at a plurality of bases. As shown in FIG. 1, the video conference system 1 includes a conference server 12, a conference reservation server 14, and a plurality of electronic whiteboards 16.

各電子黒板16は、インターネット、イントラネット、LAN(Local Area Network)等の通信ネットワーク18を介して、会議サーバ12、会議予約サーバ14、および他の電子黒板16と接続されている。各電子黒板16は、通信ネットワーク18を介して、他の電子黒板16とビデオ会議を行うことができる。 Each electronic whiteboard 16 is connected to the conference server 12, the conference reservation server 14, and other electronic whiteboards 16 via a communication network 18 such as the Internet, an intranet, and a LAN (Local Area Network). Each electronic whiteboard 16 can have a video conference with other electronic whiteboards 16 via the communication network 18 .

各電子黒板16は、ビデオ会議が行われている間、ビデオ会議に参加している他の電子黒板16に対して各種データを送信したり、ビデオ会議に参加している他の電子黒板16から各種データを受信したりすることにより、ビデオ会議に参加している他の電子黒板16と各種データを共有することができる。 While the video conference is being held, each electronic blackboard 16 transmits various data to the other electronic blackboards 16 participating in the video conference, and sends various data from the other electronic blackboards 16 participating in the video conference. By receiving various data, it is possible to share various data with other electronic blackboards 16 participating in the video conference.

なお、ビデオ会議において共有される各種データとしては、例えば、カメラによって撮像された画像データ、マイクから入力された音声データ、タッチパネル・ディスプレイに書き込まれた描画データ等が挙げられる。また、各電子黒板16は、他の電子黒板16に限らず、ビデオ会議端末、PC等とも、ビデオ会議を行うことも可能である。 Various data shared in the video conference include, for example, image data captured by a camera, audio data input from a microphone, drawing data written to a touch panel display, and the like. Further, each electronic blackboard 16 can hold a video conference not only with other electronic blackboards 16 but also with a video conference terminal, a PC, or the like.

会議サーバ12は、ビデオ会議に関する各種制御を行う。例えば、会議サーバ12は、ビデオ会議の開始時においては、各電子黒板16と会議サーバ12との通信接続状態の監視、各電子黒板16に対する呼び出し等を行う。また、会議サーバ12は、ビデオ会議中においては、複数の電子黒板16の間における各種データの転送処理等を行う。 The conference server 12 performs various controls related to the video conference. For example, the conference server 12 monitors the communication connection state between each electronic whiteboard 16 and the conference server 12, calls each electronic whiteboard 16, and the like, at the start of the video conference. Also, the conference server 12 performs transfer processing of various data among the plurality of electronic blackboards 16 during the video conference.

会議予約サーバ14は、ビデオ会議に関する会議情報を管理する。例えば、会議の主催者は、端末装置から、会議予約サーバ14に対して、事前に会議情報を入力する。電子黒板16は、起動時等において会議予約サーバ14に対して会議情報の問い合わせを行い、該当する会議情報が存在する場合、その会議情報に基づいてビデオ会議を実施する。会議情報には、例えば、開催日時、場所、会議参加者、役割、使用する電子黒板16等の情報が含まれる。 The conference reservation server 14 manages conference information regarding video conferences. For example, the organizer of the conference inputs the conference information in advance to the conference reservation server 14 from the terminal device. The electronic blackboard 16 inquires about the conference information to the conference reservation server 14 at the time of startup or the like, and if the corresponding conference information exists, the video conference is held based on the conference information. The meeting information includes, for example, the date and time of the meeting, the place, the participants in the meeting, their roles, the electronic blackboard 16 to be used, and other information.

(電子黒板16のハードウェア構成)
図2は、第1実施形態に係る電子黒板16のハードウェア構成図である。図2に示されているように、電子黒板16は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F205、及び、外部機器接続I/F(Interface)206を備えている。
(Hardware Configuration of Electronic Blackboard 16)
FIG. 2 is a hardware configuration diagram of the electronic blackboard 16 according to the first embodiment. As shown in FIG. 2, the electronic blackboard 16 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, a network I/ F205 and an external device connection I/F (Interface) 206 are provided.

これらのうち、CPU201は、電子黒板16全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、電子黒板用のプログラム等の各種データを記憶する。ネットワークコントローラ205は、通信ネットワーク18との通信を制御する。外部機器接続I/F206は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ230、外付け機器(マイク240、スピーカ250、カメラ260)である。 Among these, the CPU 201 controls the operation of the electronic blackboard 16 as a whole. The ROM 202 stores programs used to drive the CPU 201, such as the CPU 201 and an IPL (Initial Program Loader). A RAM 203 is used as a work area for the CPU 201 . The SSD 204 stores various data such as electronic blackboard programs. A network controller 205 controls communication with the communication network 18 . The external device connection I/F 206 is an interface for connecting various external devices. The external devices in this case are, for example, a USB (Universal Serial Bus) memory 230 and external devices (microphone 240, speaker 250, camera 260).

また、電子黒板16は、キャプチャデバイス211、GPU212、ディスプレイコントローラ213、接触センサ214a、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、及び近距離通信回路219のアンテナ219a、電源スイッチ222及び選択スイッチ類223を備えている。 The electronic blackboard 16 also includes a capture device 211, a GPU 212, a display controller 213, a contact sensor 214a, a sensor controller 215, an electronic pen controller 216, a short-range communication circuit 219, an antenna 219a of the short-range communication circuit 219, a power switch 222 and Selection switches 223 are provided.

これらのうち、キャプチャデバイス211は、外付けのPC(Personal Computer))270のディスプレイに対して映像情報を静止画または動画として表示させる。GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、GPU212からの出力画像をディスプレイ214b等へ出力するために画面表示の制御及び管理を行う。 Among them, the capture device 211 causes the display of an external PC (Personal Computer) 270 to display video information as a still image or moving image. A GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. The display controller 213 controls and manages screen display in order to output an output image from the GPU 212 to the display 214b or the like.

接触センサ214aは、ディスプレイ214bとともにタッチパネル・ディスプレイ214を構成する。接触センサ214aは、ディスプレイ214bの表面に対する操作体(電子ペン290、ユーザの手H等)の近接状態(距離および位置)を検知する。接触センサ214aは、静電容量方式による座標の入力及び座標の検出を行う。接触センサ214aは、ディスプレイ214bに対する操作体の近接状態に応じて、ディスプレイ214bに格子状に重ねて配置された検出電極における静電容量が変化する。センサコントローラ215は、この静電容量の変化に基づいて、操作体の近接状態を特定する。 Contact sensor 214a constitutes touch panel display 214 together with display 214b. The contact sensor 214a detects the proximity state (distance and position) of the operating body (electronic pen 290, user's hand H, etc.) to the surface of the display 214b. The contact sensor 214a inputs and detects coordinates by a capacitance method. In the contact sensor 214a, the capacitance of detection electrodes arranged in a grid on the display 214b changes depending on the proximity state of the operator to the display 214b. The sensor controller 215 identifies the proximity state of the operating object based on this change in capacitance.

電子ペンコントローラ216は、電子ペン290と通信することで、ディスプレイ214bへのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ222は、電子黒板16の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、ディスプレイ214bの表示の明暗や色合い等を調整するためのスイッチ群である。 The electronic pen controller 216 communicates with the electronic pen 290 to determine whether or not the display 214b has been touched with the tip of the pen or the bottom of the pen. The short-range communication circuit 219 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark). The power switch 222 is a switch for switching ON/OFF of the power of the electronic blackboard 16 . The selection switches 223 are, for example, a group of switches for adjusting the brightness and color of the display on the display 214b.

更に、電子黒板16は、バスライン210を備えている。バスライン210は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Furthermore, the electronic blackboard 16 is provided with a bus line 210 . A bus line 210 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 201 shown in FIG.

(電子黒板16の使用例)
図3は、第1実施形態に係る電子黒板16の使用例を示す図である。図3に示すように、電子黒板16は、タッチパネル・ディスプレイ214を備えており、電子ペン290等により、タッチパネル・ディスプレイ214に対する書き込みを行うことが可能である。なお、タッチパネル・ディスプレイ214は、図2に示すディスプレイ214bと接触センサ214aとが組み合わされたものである。
(Usage example of the electronic blackboard 16)
FIG. 3 is a diagram showing a usage example of the electronic blackboard 16 according to the first embodiment. As shown in FIG. 3, the electronic blackboard 16 includes a touch panel display 214, and writing can be performed on the touch panel display 214 using an electronic pen 290 or the like. The touch panel display 214 is a combination of the display 214b and the contact sensor 214a shown in FIG.

電子黒板16は、タッチパネル・ディスプレイ214に書き込まれたデータを、通信ネットワーク18を介して、他拠点の電子黒板16と共有することができる。また、電子黒板16は、カメラ260によって撮像された自拠点の映像と、マイク240によって取得された自拠点の音声とを、通信ネットワーク18を介して、他拠点の電子黒板16と共有することができる。 The electronic blackboard 16 can share the data written on the touch panel display 214 with the electronic blackboards 16 at other sites via the communication network 18 . Further, the electronic blackboard 16 can share the image of its own site captured by the camera 260 and the sound of its own site acquired by the microphone 240 with the electronic blackboards 16 of other sites via the communication network 18. can.

また、電子黒板16は、他拠点の電子黒板16から送信された他拠点の映像および音声を、ディスプレイ214bおよびスピーカ250から出力することができる。なお、図3に示す例では、カメラ260は、タッチパネル・ディスプレイ214の周囲の額縁部に設けられているが、これに限らず、カメラ260は、タッチパネル・ディスプレイ214の周囲のその他の部分に取り付けられたものであってもよい。 In addition, the electronic blackboard 16 can output from the display 214b and the speaker 250 the video and audio of the other site transmitted from the electronic whiteboard 16 of the other site. In the example shown in FIG. 3, the camera 260 is provided in the frame portion around the touch panel display 214, but the camera 260 is not limited to this, and may be attached to another portion around the touch panel display 214. It may have been

(ホバリング検知機能)
図4は、第1実施形態に係る電子黒板16におけるタッチパネル・ディスプレイ214のホバリング検知機能について説明する図である。図4は、操作体(電子ペン290、指等)がタッチパネル・ディスプレイ214に近づいて接触した後、操作体がタッチパネル・ディスプレイ214から離れていくときの、操作体とタッチパネル・ディスプレイ214との間の距離と時間との関係を表す。
(Hovering detection function)
FIG. 4 is a diagram for explaining the hovering detection function of the touch panel display 214 in the electronic blackboard 16 according to the first embodiment. FIG. 4 shows the distance between the operating body and touch panel display 214 when the operating body (electronic pen 290, finger, etc.) approaches and touches touch panel display 214 and then moves away from touch panel display 214. represents the relationship between distance and time.

図4に示すように、操作体がタッチパネル・ディスプレイ214に近づいていく場合において(時間0~t1)、操作体とタッチパネル・ディスプレイ214との間の距離が距離d1となったとき(時間t0)、タッチパネル・ディスプレイ214はホバリング検知が可能となる。さらに、操作体をタッチパネル・ディスプレイ214に近づけてゆくと、操作体がタッチパネル・ディスプレイ214に接触する(時間t1)。 As shown in FIG. 4, when the operating body approaches the touch panel display 214 (time 0 to t1), when the distance between the operating body and the touch panel display 214 reaches the distance d1 (time t0). , the touch panel display 214 becomes capable of hovering detection. Further, when the operating body is brought closer to the touch panel display 214, the operating body comes into contact with the touch panel display 214 (time t1).

また、図4に示すように、操作体がタッチパネル・ディスプレイ214に接触しているとき(時間t1~t2)、操作体とタッチパネル・ディスプレイ214との間の距離は変化しない(0で一定である)。 Further, as shown in FIG. 4, when the operating body is in contact with the touch panel display 214 (time t1 to t2), the distance between the operating body and the touch panel display 214 does not change (it is constant at 0). ).

また、図4に示すように、操作体がタッチパネル・ディスプレイ214から離れていく場合において(時間t2~)、操作体とタッチパネル・ディスプレイ214との間の距離が距離d1よりも大きくなったとき(時間t3~)、タッチパネル・ディスプレイ214はホバリング検知が不可能となる。 Further, as shown in FIG. 4, when the operating body moves away from the touch panel display 214 (from time t2), when the distance between the operating body and the touch panel display 214 becomes greater than the distance d1 ( From time t3), the touch panel display 214 becomes unable to detect hovering.

(電子黒板16の機能構成)
図5は、第1実施形態に係る電子黒板16の機能構成を示すブロック図である。図5に示すように、電子黒板16は、映像取得部501、近接判定部502、揺れ補正制御部503、揺れ補正部504、および映像出力部505を備える。
(Functional Configuration of Electronic Blackboard 16)
FIG. 5 is a block diagram showing the functional configuration of the electronic blackboard 16 according to the first embodiment. As shown in FIG. 5 , the electronic blackboard 16 includes an image acquisition unit 501 , a proximity determination unit 502 , a shake correction control unit 503 , a shake correction unit 504 and an image output unit 505 .

映像取得部501は、カメラ260によって撮影された映像を取得する。 The video acquisition unit 501 acquires video captured by the camera 260 .

近接判定部502は、タッチパネル・ディスプレイ214に対する操作体の近接状態を判定する。 The proximity determination unit 502 determines the proximity state of the operating object to the touch panel display 214 .

例えば、近接判定部502は、タッチパネル・ディスプレイ214が操作体のホバリングを検知したか否かを判定する。ホバリングとは、タッチパネル・ディスプレイ214が検知可能な距離d1まで、操作体が近接したことを意味する。 For example, the proximity determination unit 502 determines whether the touch panel display 214 has detected hovering of the operating body. Hovering means that the operating object has come close to a distance d1 that can be detected by the touch panel display 214 .

また、例えば、近接判定部502は、タッチパネル・ディスプレイ214が操作体の接触を検知したか否かを判定する。また、例えば、近接判定部502は、タッチパネル・ディスプレイ214から操作体が離間したか否かを判定する。 Also, for example, the proximity determination unit 502 determines whether or not the touch panel display 214 has detected the contact of the operating object. Also, for example, the proximity determination unit 502 determines whether or not the operating body has moved away from the touch panel display 214 .

例えば、タッチパネル・ディスプレイ214は、操作体の近接状態に応じて静電容量が変化するため、この静電容量の変化に基づいて、操作体のホバリング、接触、および離間を検知することができる。 For example, the touch panel display 214 can detect hovering, contact, and separation of the operating body based on the change in capacitance, since the capacitance changes according to the proximity state of the operating body.

揺れ補正制御部503は、近接判定部502による判定結果に基づいて、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に行わせるか否かを制御する。 The shake correction control unit 503 controls whether or not to cause the shake correction unit 504 to perform shake correction on the image acquired by the image acquisition unit 501 based on the determination result of the proximity determination unit 502 .

例えば、揺れ補正制御部503は、近接判定部502によってタッチパネル・ディスプレイ214が操作体のホバリングを検知したと判定された場合、揺れ補正を揺れ補正部504に開始させる。 For example, when the proximity determination unit 502 determines that the touch panel display 214 has detected hovering of the operating body, the shake correction control unit 503 causes the shake correction unit 504 to start shake correction.

また、例えば、揺れ補正制御部503は、近接判定部502によってタッチパネル・ディスプレイ214が操作体の離間を検知したと判定された場合、揺れ補正を揺れ補正部504に終了させる。 Further, for example, when the proximity determination unit 502 determines that the touch panel display 214 has detected separation of the operating object, the shake correction control unit 503 causes the shake correction unit 504 to end the shake correction.

揺れ補正部504は、映像取得部501によって取得された映像に対して揺れ補正を行う。例えば、揺れ補正部504は、揺れ補正制御部503から揺れ補正の開始が指示された場合、映像取得部501によって取得された映像に対して揺れ補正を開始する。そして、揺れ補正部504は、揺れ補正制御部503から揺れ補正の終了が指示された場合、映像取得部501によって取得された映像に対する揺れ補正を終了する。すなわち、揺れ補正部504は、揺れ補正制御部503から揺れ補正の指示がなされていない場合、映像取得部501によって取得された映像に対して揺れ補正を行わない。 A shake correction unit 504 performs shake correction on the image acquired by the image acquisition unit 501 . For example, when the shake correction control unit 503 instructs the shake correction unit 504 to start shake correction, the shake correction unit 504 starts shake correction for the image acquired by the image acquisition unit 501 . When the shake correction control unit 503 instructs the shake correction unit 504 to end the shake correction, the shake correction unit 504 ends the shake correction for the image acquired by the image acquisition unit 501 . That is, the shake correction unit 504 does not perform shake correction on the image acquired by the image acquisition unit 501 when the shake correction control unit 503 does not issue an instruction for shake correction.

映像出力部505は、揺れ補正部504による揺れ補正が行われている期間においては、揺れ補正部504によって揺れ補正がなされた映像を、後続の処理部へ出力する。一方、映像出力部505は、揺れ補正部504による揺れ補正が行われていない期間においては、映像取得部501によって取得された映像を、そのまま後続の処理部へ出力する。例えば、映像処理部による映像処理を後続処理として行う必要がある場合、映像出力部505は、当該映像処理部へ、映像を出力する。また、例えば、映像送信部による映像送信処理を後続処理として行う必要がある場合、映像出力部505は、当該映像送信部へ、映像を出力する。 The image output unit 505 outputs the image subjected to the shake correction by the shake correction unit 504 to the subsequent processing unit during the period when the shake correction is performed by the shake correction unit 504 . On the other hand, the image output unit 505 outputs the image acquired by the image acquisition unit 501 to the subsequent processing unit as it is during the period in which the shake correction unit 504 does not correct the shake. For example, when image processing by an image processing unit needs to be performed as subsequent processing, the image output unit 505 outputs an image to the image processing unit. Further, for example, when it is necessary to perform video transmission processing by the video transmission unit as subsequent processing, the video output unit 505 outputs video to the video transmission unit.

なお、上記した電子黒板16の各機能は、例えば、電子黒板16において、補助記憶装置(ROM202、SSD204等)に記憶されたプログラムを、CPU201が実行することにより実現される。このプログラムは、予め電子黒板16に導入された状態で提供されてもよく、外部から提供されて電子黒板16に導入されるようにしてもよい。後者の場合、このプログラムは、外部記憶媒体(例えば、USBメモリ、メモリカード、CD-ROM等)によって提供されてもよく、ネットワーク(例えば、インターネット等)上のサーバからダウンロードすることによって提供されるようにしてもよい。 Each function of the electronic blackboard 16 described above is realized, for example, by the CPU 201 executing a program stored in an auxiliary storage device (ROM 202, SSD 204, etc.) in the electronic blackboard 16. FIG. This program may be provided in a state of being installed in the electronic blackboard 16 in advance, or may be provided from the outside and installed in the electronic blackboard 16 . In the latter case, the program may be provided by an external storage medium (e.g., USB memory, memory card, CD-ROM, etc.) or provided by downloading from a server on a network (e.g., Internet, etc.). You may do so.

また、上記した電子黒板16の機能の一部は、CPU201以外のハードウェアによって実現されてもよい。例えば、映像取得部501、揺れ補正部504、および映像出力部505はカメラ260が備える処理回路等によって実現されてもよい。 Also, some of the functions of the electronic blackboard 16 described above may be realized by hardware other than the CPU 201 . For example, the image acquisition unit 501, the shake correction unit 504, and the image output unit 505 may be realized by a processing circuit or the like included in the camera 260. FIG.

また、上記した電子黒板16の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Also, each function of the electronic blackboard 16 described above can be realized by one or a plurality of processing circuits. Here, the "processing circuit" in this specification means a processor programmed by software to perform each function, such as a processor implemented by an electronic circuit, or a processor designed to perform each function described above. devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays) and conventional circuit modules.

(電子黒板16による処理の手順)
図6は、第1実施形態に係る電子黒板16による処理の手順を示すフローチャートである。
(Procedure of processing by the electronic blackboard 16)
FIG. 6 is a flow chart showing the procedure of processing by the electronic blackboard 16 according to the first embodiment.

まず、近接判定部502が、タッチパネル・ディスプレイ214が操作体のホバリングを検知したか否かを判断する(ステップS601)。ステップS601において、ホバリングを検知していないと判断された場合(ステップS601:No)、近接判定部502は、ステップS601の処理を再度実行する。 First, the proximity determination unit 502 determines whether or not the touch panel display 214 has detected hovering of the operating body (step S601). If it is determined in step S601 that hovering has not been detected (step S601: No), the proximity determination unit 502 executes the process of step S601 again.

一方、ステップS601において、ホバリングを検知したと判断された場合(ステップS601:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に開始させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を開始する(ステップS602)。 On the other hand, if it is determined in step S601 that hovering has been detected (step S601: Yes), the shake correction control unit 503 causes the shake correction unit 504 to start shake correction for the image acquired by the image acquisition unit 501. . In response, the shake correction unit 504 starts shake correction for the image acquired by the image acquisition unit 501 (step S602).

その後、近接判定部502が、タッチパネル・ディスプレイ214が操作体の接触を検知したか否かを判断する(ステップS603)。 After that, the proximity determination unit 502 determines whether or not the touch panel/display 214 has detected the contact of the operating object (step S603).

ステップS603において、接触を検知していないと判断された場合(ステップS603:No)、揺れ補正制御部503が、ステップS601で操作体のホバリングが検知されてから、一定時間が経過したか否かを判断する(ステップS604)。 If it is determined in step S603 that contact has not been detected (step S603: No), the shake correction control unit 503 determines whether a certain period of time has elapsed since hovering of the operating body was detected in step S601. is determined (step S604).

ステップS604において、一定時間が経過していないと判断された場合(ステップS604:No)、電子黒板16は、ステップS603へ処理を戻す。 If it is determined in step S604 that the predetermined time has not passed (step S604: No), the electronic blackboard 16 returns the process to step S603.

一方、ステップS604において、一定時間が経過したと判断された場合(ステップS604:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に終了させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を終了する(ステップS605)。そして、電子黒板16は、ステップS601へ処理を戻す。 On the other hand, if it is determined in step S604 that the predetermined time has passed (step S604: Yes), the shake correction control unit 503 causes the shake correction unit 504 to end the shake correction for the image acquired by the image acquisition unit 501. Let In response, the shake correction unit 504 ends the shake correction for the image acquired by the image acquisition unit 501 (step S605). Then, the electronic blackboard 16 returns the process to step S601.

ステップS603において、接触を検知したと判断された場合(ステップS603:Yes)、近接判定部502が、タッチパネル・ディスプレイ214から操作体が離間したか否かを判断する(ステップS606)。 If it is determined in step S603 that contact has been detected (step S603: Yes), the proximity determination unit 502 determines whether or not the operating object has moved away from the touch panel display 214 (step S606).

ステップS606において、離間を検知していないと判断された場合(ステップS606:No)、揺れ補正制御部503は、ステップS606の処理を再度実行する。 If it is determined in step S606 that separation has not been detected (step S606: No), the shake correction control unit 503 executes the process of step S606 again.

一方、ステップS606において、離間を検知したと判断された場合(ステップS606:Yes)、その後、近接判定部502が、タッチパネル・ディスプレイ214が操作体の接触を検知したか否かを判断する(ステップS607)。 On the other hand, if it is determined in step S606 that separation has been detected (step S606: Yes), then the proximity determination unit 502 determines whether the touch panel display 214 has detected contact of the operating body (step S607).

ステップS607において、接触を検知したと判断された場合(ステップS607:Yes)、電子黒板16は、ステップS606へ処理を戻す。 If it is determined in step S607 that contact has been detected (step S607: Yes), the electronic blackboard 16 returns the process to step S606.

一方、ステップS607において、接触を検知していないと判断された場合(ステップS607:No)、揺れ補正制御部503が、ステップS606で操作体の離間が検知されてから、一定時間が経過したか否かを判断する(ステップS608)。 On the other hand, if it is determined in step S607 that contact has not been detected (step S607: No), the shake correction control unit 503 determines whether a predetermined time has elapsed since separation of the operating body was detected in step S606. It is determined whether or not (step S608).

ステップS608において、一定時間が経過していないと判断された場合(ステップS608:No)、電子黒板16は、ステップS607へ処理を戻す。 If it is determined in step S608 that the predetermined time has not passed (step S608: No), the electronic blackboard 16 returns the process to step S607.

一方、ステップS608において、一定時間が経過したと判断された場合(ステップS608:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に終了させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を終了する(ステップS609)。 On the other hand, if it is determined in step S608 that the predetermined time has passed (step S608: Yes), the shake correction control unit 503 instructs the shake correction unit 504 to end the shake correction for the image acquired by the image acquisition unit 501. Let In response, the shake correction unit 504 ends the shake correction for the image acquired by the image acquisition unit 501 (step S609).

その後、電子黒板16は、ビデオ会議が終了したか否かを判断する(ステップS610)。ステップS610において、ビデオ会議が終了していないと判断された場合(ステップS610:No)、電子黒板16は、ステップS601へ処理を戻す。一方、ステップS610において、ビデオ会議が終了したと判断された場合(ステップS610:Yes)、電子黒板16は、図6に示す一連の処理を終了する。 After that, the electronic whiteboard 16 determines whether or not the video conference has ended (step S610). If it is determined in step S610 that the video conference has not ended (step S610: No), the electronic whiteboard 16 returns the process to step S601. On the other hand, if it is determined in step S610 that the video conference has ended (step S610: Yes), the electronic blackboard 16 ends the series of processes shown in FIG.

図6に示す一連の処理により、第1実施形態の電子黒板16は、操作体のホバリングが検知されると、カメラ260によって撮影された映像の揺れ補正を開始し、操作体の離間が検知されてから一定時間経過後、カメラ260によって撮影された映像の揺れ補正を終了することができる。これにより、第1実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができる。したがって、第1実施形態の電子黒板16は、筆圧によってカメラ260が揺れてしまった場合であっても、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。また、第1実施形態の電子黒板16は、操作体の離間が検知されてから一定時間経過後、揺れ補正を終了するため、揺れ補正の開始および終了が、頻繁に切り替わってしまうことを抑制することができる。 Through the series of processes shown in FIG. 6, the electronic blackboard 16 of the first embodiment starts shake correction of the image captured by the camera 260 when hovering of the operating body is detected, and separation of the operating body is detected. After a certain period of time has passed since then, the shake correction of the image captured by the camera 260 can be finished. As a result, the electronic blackboard 16 of the first embodiment can correct the shaking of the image captured by the camera 260 at least while drawing is being performed by the operating body. Therefore, the electronic blackboard 16 of the first embodiment can suppress transmission of a shaken image to another site during a video conference even when the camera 260 shakes due to pen pressure. In addition, since the electronic blackboard 16 of the first embodiment ends shake correction after a certain period of time has passed since separation of the operating body is detected, frequent switching between the start and end of shake correction is suppressed. be able to.

(電子黒板16による揺れ補正の具体例)
図7は、第1実施形態に係る電子黒板16においてカメラ260によって撮影された映像(揺れ補正部504による揺れ補正前)の一例を示す図である。図7に示す映像700は、揺れ補正部504による揺れ補正前の映像の一例である。映像700は、複数のフレーム画像を有して構成されている。なお、図7に示す時間t0,t1,t2,t3は、図4に示す時間t0,t1,t2,t3に対応している。
(Specific example of shake correction by electronic blackboard 16)
FIG. 7 is a diagram showing an example of an image (before shake correction by the shake correction unit 504) captured by the camera 260 on the electronic blackboard 16 according to the first embodiment. An image 700 shown in FIG. 7 is an example of an image before shake correction by the shake correction unit 504 . A video 700 is composed of a plurality of frame images. The times t0, t1, t2 and t3 shown in FIG. 7 correspond to the times t0, t1, t2 and t3 shown in FIG.

図7に示すように、操作体による描画が行われたために、操作体がタッチパネル・ディスプレイ214に接触している間(時間t1~t2)、タッチパネル・ディスプレイ214の振動に伴って、タッチパネル・ディスプレイ214に取り付けられたカメラ260に揺れが発生し、したがって、映像700に揺れが発生する。すなわち、複数のフレーム画像の間で、被写体の位置が一定に定まらない。 As shown in FIG. 7, since the operation object has been used for drawing, while the operation object is in contact with the touch panel display 214 (time t1 to t2), the touch panel display 214 vibrates. The camera 260 attached to 214 will wobble and thus the image 700 will wobble. In other words, the position of the subject is not fixed between the multiple frame images.

一方、図7に示すように、操作体がタッチパネル・ディスプレイ214に接触を開始する以前(~時間t1)、および、操作体がタッチパネル・ディスプレイ214に接触を終了した以後(時間t2~)は、カメラ260に揺れが発生しないため、映像700に揺れが発生しない。すなわち、複数のフレーム画像の間で、被写体の位置が一定に定まる。 On the other hand, as shown in FIG. 7, before the operating object starts touching touch panel display 214 (~ time t1) and after the operating object finishes touching touch panel display 214 (time t2~), Since camera 260 does not shake, image 700 does not shake. That is, the position of the subject is fixed between the plurality of frame images.

図8および図9は、第1実施形態に係る電子黒板16においてカメラ260によって撮影された映像(揺れ補正部504による揺れ補正後)の一例を示す図である。図8に示す映像800および図9に示す映像900は、図7に示す映像700に対する、揺れ補正部504による揺れ補正後の映像の一例である。なお、図8および図9に示す時間t0,t1,t2,t3は、図4に示す時間t0,t1,t2,t3に対応している。 8 and 9 are diagrams showing an example of an image (after shake correction by the shake correction unit 504) captured by the camera 260 on the electronic blackboard 16 according to the first embodiment. An image 800 shown in FIG. 8 and an image 900 shown in FIG. 9 are examples of images after shake correction by the shake correction unit 504 with respect to the image 700 shown in FIG. The times t0, t1, t2 and t3 shown in FIGS. 8 and 9 correspond to the times t0, t1, t2 and t3 shown in FIG.

電子黒板16は、タッチパネル・ディスプレイ214が操作体のホバリングを検知した時点で(時間t0)、カメラ260によって撮像された映像に対する揺れ補正を開始する。このため、図8および図9に示すように、操作体がタッチパネル・ディスプレイ214に接触している間(時間t1~t2)、揺れ補正後の映像800,900では、揺れが生じていない。すなわち、揺れ補正後の映像800,900では、複数のフレーム画像の間で、被写体の位置が一定に定まっている。なお、図9に示す映像900は、図8に示す映像800と比較して、被写体が写し出されている領域が、予め切り出されて拡大されたものとなっている。 The electronic blackboard 16 starts shake correction for the image captured by the camera 260 when the touch panel display 214 detects hovering of the operating object (time t0). Therefore, as shown in FIGS. 8 and 9, while the operating object is in contact with the touch panel display 214 (time t1 to t2), the shake-corrected images 800 and 900 do not shake. That is, in images 800 and 900 after shake correction, the position of the subject is fixed between a plurality of frame images. Note that the image 900 shown in FIG. 9 is obtained by cutting out and enlarging the area in which the subject is shown in advance, as compared with the image 800 shown in FIG. 8 .

なお、揺れ補正部504は、公知の揺れ補正技術を用いて、カメラ260によって撮像された映像に対する揺れ補正を行う。この揺れ補正技術は、如何なる方法によるものであってもよい。例えば、揺れ補正部504は、映像から検出される被写体の揺れに基づいて、映像の揺れ補正を行うようにしてもよい。また、例えば、揺れ補正部504は、各種センサによって検出されるカメラ260の揺れに基づいて、映像の揺れ補正を行うようにしてもよい。 Note that the shake correction unit 504 performs shake correction on the image captured by the camera 260 using a known shake correction technique. This shake correction technique may be based on any method. For example, the shake correction unit 504 may correct the shake of the image based on the shake of the subject detected from the image. Further, for example, the shake correction unit 504 may correct the image shake based on the shake of the camera 260 detected by various sensors.

〔第2実施形態〕
次に、図面を参照して、本発明の第2実施形態について説明する。なお、第2実施形態では、第1実施形態からの変更点について説明する。
[Second embodiment]
Next, a second embodiment of the present invention will be described with reference to the drawings. In addition, in the second embodiment, changes from the first embodiment will be described.

(電子黒板16の機能構成)
図10は、第2実施形態に係る電子黒板16の機能構成を示すブロック図である。図10に示すように、第2実施形態の電子黒板16は、映像取得部501の代わりに予備動作検知部506を備える点で、第1実施形態の電子黒板16と異なる。
(Functional configuration of electronic blackboard 16)
FIG. 10 is a block diagram showing the functional configuration of the electronic blackboard 16 according to the second embodiment. As shown in FIG. 10, the electronic blackboard 16 of the second embodiment is different from the electronic blackboard 16 of the first embodiment in that a preliminary movement detection unit 506 is provided instead of the image acquisition unit 501 .

予備動作検知部506は、タッチパネル・ディスプレイ214に対して操作体による描画が行われることが予想される動作である所定の予備動作を検知する。所定の予備動作の検知の一例として、以下が挙げられる。 A preliminary motion detection unit 506 detects a predetermined preliminary motion, which is a motion expected to be performed by the operating tool on the touch panel display 214 . An example of the detection of predetermined preparatory motions is as follows.

・ペンホルダにホールセンサを設け、ホールセンサによってペンホルダから電子ペン290が持ち上げられることを検知する。
・電子ペン290に加速度センサを設け、加速度センサによって電子ペン290に動きがあることを検知する。
・電子黒板16に人感センサを設け、人感センサによって電子黒板16に対して人が所定距離まで近づいたことを検知する。
- A hall sensor is provided in the pen holder, and the hall sensor detects that the electronic pen 290 is lifted from the pen holder.
- An acceleration sensor is provided in the electronic pen 290, and the movement of the electronic pen 290 is detected by the acceleration sensor.
A human sensor is provided on the electronic blackboard 16, and the human sensor detects that a person has approached the electronic blackboard 16 to a predetermined distance.

揺れ補正制御部503は、予備動作検知部506による検知結果に基づいて、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に行わせるか否かを制御する。例えば、揺れ補正制御部503は、予備動作検知部506によって所定の予備動作が検知された場合、揺れ補正を揺れ補正部504に開始させる。また、例えば、揺れ補正制御部503は、予備動作検知部506によって所定の予備動作が解除されたことが検知された場合、揺れ補正を揺れ補正部504に終了させる。 The shake correction control unit 503 controls whether or not to cause the shake correction unit 504 to perform shake correction on the image acquired by the image acquisition unit 501 based on the detection result of the preliminary motion detection unit 506 . For example, the shake correction control unit 503 causes the shake correction unit 504 to start shake correction when the preliminary motion detection unit 506 detects a predetermined preliminary motion. Further, for example, the shake correction control unit 503 causes the shake correction unit 504 to end the shake correction when the preliminary motion detection unit 506 detects that the predetermined preliminary motion has been canceled.

(電子黒板16による処理の手順)
図11は、第2実施形態に係る電子黒板16による処理の手順を示すフローチャートである。
(Procedure of processing by the electronic blackboard 16)
FIG. 11 is a flow chart showing the procedure of processing by the electronic blackboard 16 according to the second embodiment.

まず、予備動作検知部506が、所定の予備動作を検知したか否かを判断する(ステップS1101)。ステップS1101において、所定の予備動作を検知していないと判断された場合(ステップS1101:No)、予備動作検知部506が、ステップS1101の処理を再度実行する。 First, the preliminary motion detection unit 506 determines whether or not a predetermined preliminary motion has been detected (step S1101). If it is determined in step S1101 that the predetermined preliminary movement has not been detected (step S1101: No), the preliminary movement detection unit 506 executes the process of step S1101 again.

一方、ステップS1101において、所定の予備動作を検知したと判断された場合(ステップS1101:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に開始させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を開始する(ステップS1102)。 On the other hand, if it is determined in step S1101 that a predetermined preliminary motion has been detected (step S1101: Yes), the shake correction control unit 503 causes the image acquired by the image acquisition unit 501 to be shake corrected. to start. In response, the shake correction unit 504 starts shake correction for the image acquired by the image acquisition unit 501 (step S1102).

その後、予備動作検知部506が、所定の予備動作が解除されたことを検知したか否かを判断する(ステップS1103)。 After that, the preliminary movement detection unit 506 determines whether or not it has detected that the predetermined preliminary movement has been canceled (step S1103).

ステップS1103において、所定の予備動作が解除されたことを検知していないと判断された場合(ステップS1103:No)、予備動作検知部506が、ステップS1103の処理を再度実行する。 If it is determined in step S1103 that it has not detected that the predetermined preparatory motion has been canceled (step S1103: No), the preparatory motion detection unit 506 executes the processing of step S1103 again.

一方、ステップS1103において、所定の予備動作が解除されたことを検知したと判断された場合(ステップS1103:Yes)、揺れ補正制御部503が、映像取得部501によって取得された映像に対する揺れ補正を、揺れ補正部504に終了させる。これに応じて、揺れ補正部504は、映像取得部501によって取得された映像に対する揺れ補正を終了する(ステップS1104)。 On the other hand, if it is determined in step S1103 that the predetermined preliminary motion has been canceled (step S1103: Yes), the shake correction control unit 503 performs shake correction on the image acquired by the image acquisition unit 501. , causes the shake correction unit 504 to terminate. In response, the shake correction unit 504 ends the shake correction for the image acquired by the image acquisition unit 501 (step S1104).

その後、電子黒板16は、ビデオ会議が終了したか否かを判断する(ステップS1105)。ステップS1105において、ビデオ会議が終了していないと判断された場合(ステップS1105:No)、電子黒板16は、ステップS1101へ処理を戻す。一方、ステップS1105において、ビデオ会議が終了したと判断された場合(ステップS1105:Yes)、電子黒板16は、図11に示す一連の処理を終了する。 After that, the electronic blackboard 16 determines whether the video conference has ended (step S1105). If it is determined in step S1105 that the video conference has not ended (step S1105: No), the electronic whiteboard 16 returns the process to step S1101. On the other hand, if it is determined in step S1105 that the video conference has ended (step S1105: Yes), the electronic blackboard 16 ends the series of processes shown in FIG.

図11に示す一連の処理により、第2実施形態の電子黒板16は、所定の予備動作が検知されると、カメラ260によって撮影された映像の揺れ補正を開始し、所定の予備動作が解除されたことが検知されると、カメラ260によって撮影された映像の揺れ補正を終了することができる。これにより、第2実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができる。したがって、第2実施形態の電子黒板16は、筆圧によってカメラ260が揺れてしまった場合であっても、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。また、第2実施形態の電子黒板16は、第1実施形態の電子黒板16と比較して、簡易的な処理により、揺れ補正の開始および終了が、頻繁に切り替わってしまうことを抑制することができる。 Through the series of processes shown in FIG. 11, the electronic blackboard 16 of the second embodiment starts correcting the shaking of the image captured by the camera 260 when the predetermined preliminary motion is detected, and the predetermined preliminary motion is canceled. When it is detected, the shake correction of the image captured by the camera 260 can be terminated. As a result, the electronic blackboard 16 of the second embodiment can correct the shaking of the image captured by the camera 260 at least while drawing is being performed by the operating body. Therefore, the electronic blackboard 16 of the second embodiment can suppress transmission of a shaken image to another site during a video conference even when the camera 260 shakes due to pen pressure. In addition, compared to the electronic blackboard 16 of the first embodiment, the electronic blackboard 16 of the second embodiment can suppress frequent switching between the start and end of shake correction through simple processing. can.

以上説明したように、上記各実施形態の電子黒板16は、カメラ260によって撮像された映像の揺れを補正する揺れ補正部504を備える。これにより、上記各実施形態の電子黒板16は、タッチパネル・ディスプレイ214に対して操作体による描画が行われたことにより、筆圧によってカメラ260が揺れてしまった場合であっても、カメラ260によって撮影された映像の揺れ補正を行うことができる。したがって、上記各実施形態の電子黒板16によれば、ビデオ会議中に他拠点に揺れた映像が送信されてしまうことを抑制できる。 As described above, the electronic whiteboard 16 of each of the above embodiments includes the shake correction section 504 that corrects the shake of the image captured by the camera 260 . As a result, even if the camera 260 shakes due to the pen pressure due to drawing on the touch panel display 214 by the operating object, the electronic blackboard 16 of each of the above-described embodiments allows the camera 260 to It is possible to correct the shake of the captured image. Therefore, according to the electronic blackboard 16 of each of the above-described embodiments, it is possible to prevent a shaky image from being transmitted to other bases during a video conference.

また、第1実施形態の電子黒板16において、揺れ補正部504は、タッチパネル・ディスプレイ214に対して操作体が近接したことが検知された場合、揺れ補正を行う。これにより、第1実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができるため、不必要に揺れ補正を行うことを抑制することができる。 Further, in the electronic whiteboard 16 of the first embodiment, the shake correction unit 504 performs shake correction when it is detected that the operating body has approached the touch panel display 214 . As a result, the electronic blackboard 16 of the first embodiment can correct the shake of the image captured by the camera 260 at least while drawing is being performed by the operating body, so that unnecessary shake correction is not performed. can be suppressed.

また、上記第2実施形態の電子黒板16において、揺れ補正部504は、タッチパネル・ディスプレイ214に対して操作体による描画が行われることが予想される所定の予備動作が検知された場合、揺れ補正を行う。これにより、第2実施形態の電子黒板16は、少なくとも操作体による描画が行われている間、カメラ260によって撮影された映像の揺れ補正を行うことができるため、不必要に揺れ補正を行うことを抑制することができる。 Further, in the electronic blackboard 16 of the second embodiment, the shake correction unit 504 detects a predetermined preliminary motion in which drawing is expected to be performed by the operating object on the touch panel display 214. I do. As a result, the electronic blackboard 16 of the second embodiment can correct the shake of the image captured by the camera 260 at least while drawing is being performed by the operating body, so that unnecessary shake correction can be performed. can be suppressed.

以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to these embodiments, and various modifications or Change is possible.

例えば、揺れ補正部504による揺れ補正の開始タイミングおよび終了タイミングは、上記実施形態で説明したものに限らず、如何なるタイミングであってもよい。但し、少なくともタッチパネル・ディスプレイ214に対して描画が行われている間、揺れ補正部504による揺れ補正が行われるように、揺れ補正部504による揺れ補正の開始タイミングおよび終了タイミングを定めることが好ましい。 For example, the start timing and end timing of shake correction by the shake correction unit 504 are not limited to those described in the above embodiment, and may be any timing. However, it is preferable to determine the start timing and end timing of shake correction by the shake correction unit 504 so that the shake correction unit 504 performs shake correction at least while drawing is being performed on the touch panel display 214 .

1 ビデオ会議システム
12 会議サーバ
14 会議予約サーバ
16 電子黒板
214 タッチパネル・ディスプレイ
214a 接触センサ
214b ディスプレイ
18 通信ネットワーク
250 スピーカ
260 カメラ
290 電子ペン
501 映像取得部
502 近接判定部
503 揺れ補正制御部
504 揺れ補正部
505 映像出力部
506 予備動作検知部
1 video conference system 12 conference server 14 conference reservation server 16 electronic blackboard 214 touch panel display 214a contact sensor 214b display 18 communication network 250 speaker 260 camera 290 electronic pen 501 image acquisition unit 502 proximity determination unit 503 shake correction control unit 504 shake correction unit 505 video output unit 506 preliminary motion detection unit

国際公開第2016/178365号WO2016/178365

Claims (5)

操作体による描画が可能なディスプレイと、
前記ディスプレイに取り付けられたカメラと、
前記カメラによって撮像された映像の揺れを補正する揺れ補正部と
を備え
前記揺れ補正部は、
前記ディスプレイに対して前記操作体が近接したことが検知された場合、前記補正を行う
ことを特徴とする電子黒板。
a display on which drawing can be performed using an operating body;
a camera attached to the display;
a shake correction unit that corrects shake of the image captured by the camera ,
The shake corrector is
When it is detected that the operating body has approached the display, the correction is performed.
An electronic blackboard characterized by:
操作体による描画が可能なディスプレイと、
前記ディスプレイに取り付けられたカメラと、
前記カメラによって撮像された映像の揺れを補正する揺れ補正部と
を備え、
前記揺れ補正部は、
前記ディスプレイに対して前記操作体による描画が行われることが予想される所定の予備動作が検知された場合、前記補正を行う
ことを特徴とする電子黒板。
a display on which drawing can be performed using an operating body;
a camera attached to the display;
a shake correction unit for correcting shake of an image captured by the camera;
with
The shake corrector is
An electronic blackboard, wherein the correction is performed when a predetermined preliminary motion in which drawing by the operating body is expected to be performed on the display is detected.
前記所定の予備動作は、
ペンホルダから前記操作体である電子ペンが持ち上げられること、前記電子ペンに動きが生じたこと、前記電子黒板に対して人が所定距離まで近づいたこと、のいずれかである
ことを特徴とする請求項に記載の電子黒板。
The predetermined preliminary operation is
The electronic pen, which is the operating body, is lifted from the pen holder, the electronic pen moves, or a person approaches the electronic blackboard to a predetermined distance. Item 3. The electronic blackboard according to item 2 .
操作体による描画が可能なディスプレイと、前記ディスプレイに取り付けられたカメラとを備えた電子黒板に用いられる映像補正方法であって、
前記カメラによって撮像された映像の揺れを補正する揺れ補正工程
を含み
前記揺れ補正工程では、
前記ディスプレイに対して前記操作体が近接したことが検知された場合、前記補正を行う
ことを特徴とする映像補正方法。
An image correction method used in an electronic blackboard equipped with a display capable of drawing with an operating body and a camera attached to the display,
a shake correction step of correcting the shake of the image captured by the camera ;
In the shake correction step,
When it is detected that the operating body has approached the display, the correction is performed.
An image correction method characterized by:
操作体による描画が可能なディスプレイと、前記ディスプレイに取り付けられたカメラとを備えた電子黒板に用いられる映像補正方法であって、 An image correction method used in an electronic blackboard equipped with a display capable of drawing with an operating body and a camera attached to the display,
前記カメラによって撮像された映像の揺れを補正する揺れ補正工程 A shake correction step of correcting the shake of the image captured by the camera.
を含み、 including
前記揺れ補正工程では、 In the shake correction step,
前記ディスプレイに対して前記操作体による描画が行われることが予想される所定の予備動作が検知された場合、前記補正を行う The correction is performed when a predetermined preliminary motion in which drawing by the operating body is expected to be performed on the display is detected.
ことを特徴とする映像補正方法。 An image correction method characterized by:
JP2019041986A 2019-03-07 2019-03-07 Electronic blackboard and image correction method Active JP7298200B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019041986A JP7298200B2 (en) 2019-03-07 2019-03-07 Electronic blackboard and image correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019041986A JP7298200B2 (en) 2019-03-07 2019-03-07 Electronic blackboard and image correction method

Publications (2)

Publication Number Publication Date
JP2020145623A JP2020145623A (en) 2020-09-10
JP7298200B2 true JP7298200B2 (en) 2023-06-27

Family

ID=72354628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019041986A Active JP7298200B2 (en) 2019-03-07 2019-03-07 Electronic blackboard and image correction method

Country Status (1)

Country Link
JP (1) JP7298200B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012108771A (en) 2010-11-18 2012-06-07 Panasonic Corp Screen operation system
JP2014003422A (en) 2012-06-18 2014-01-09 Sony Corp Display control device, imaging device, and display control method
JP2017216668A (en) 2016-05-26 2017-12-07 株式会社リコー Information processor, conference system and control method for information processor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012108771A (en) 2010-11-18 2012-06-07 Panasonic Corp Screen operation system
JP2014003422A (en) 2012-06-18 2014-01-09 Sony Corp Display control device, imaging device, and display control method
JP2017216668A (en) 2016-05-26 2017-12-07 株式会社リコー Information processor, conference system and control method for information processor

Also Published As

Publication number Publication date
JP2020145623A (en) 2020-09-10

Similar Documents

Publication Publication Date Title
JP6381240B2 (en) Electronic device, tactile sensation control method, and program
JP6798288B2 (en) Communication terminals, communication systems, video output methods, and programs
JP5412227B2 (en) Video display device and display control method thereof
US8830273B2 (en) Display control apparatus and display control method, display control program, and recording medium
US8860678B2 (en) Computer system with touch screen and gesture processing method thereof
US20150277564A1 (en) Tactile stimulus control apparatus, tactile stimulus control method, and storage medium
JP6711817B2 (en) Information processing apparatus, control method thereof, program, and storage medium
US10754446B2 (en) Information processing apparatus and information processing method
US20190286255A1 (en) Electronic whiteboard, image display method, and recording medium
JP6973025B2 (en) Display devices, image processing devices and programs
JP6540367B2 (en) Display control apparatus, communication terminal, communication system, display control method, and program
JP2017102635A (en) Communication terminal, communication system, communication control method, and program
JP7298200B2 (en) Electronic blackboard and image correction method
WO2015067023A1 (en) Motion control method, terminal and system for video conference
JP6589621B2 (en) Display device, camera position control method, and program
JP6776905B2 (en) Communication terminals, communication systems, display control methods, and programs
US20150277656A1 (en) Dynamically determining workspace bounds during a collaboration session
JP6586907B2 (en) Information processing apparatus, conference system, and control method for information processing apparatus
JP7215254B2 (en) Information processing device, display control method, and program
JP2014179956A (en) Imaging instruction terminal, imaging system, imaging instruction method and program
JP7331578B2 (en) Display device, image display method, program
JP2017228216A (en) Information processing apparatus, control method therefor, program, and storage medium
JP2017157135A (en) Input device and input method
JPH08315118A (en) Man-machine interface
JP2017022590A (en) Image processing apparatus, control method for image processing apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R151 Written notification of patent or utility model registration

Ref document number: 7298200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151