JP2011217350A - 描画画像共有装置、データ処理方法、プログラムおよび記録媒体 - Google Patents

描画画像共有装置、データ処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2011217350A
JP2011217350A JP2010287093A JP2010287093A JP2011217350A JP 2011217350 A JP2011217350 A JP 2011217350A JP 2010287093 A JP2010287093 A JP 2010287093A JP 2010287093 A JP2010287093 A JP 2010287093A JP 2011217350 A JP2011217350 A JP 2011217350A
Authority
JP
Japan
Prior art keywords
image
difference
background
sharing apparatus
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010287093A
Other languages
English (en)
Other versions
JP5771981B2 (ja
Inventor
Yuji Kasuya
勇児 糟谷
Sadafumi Araki
禎史 荒木
Keiji Omura
慶二 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2010287093A priority Critical patent/JP5771981B2/ja
Priority to EP20110250260 priority patent/EP2381405A3/en
Priority to US13/043,726 priority patent/US8773462B2/en
Priority to CN201110062465.6A priority patent/CN102196235B/zh
Publication of JP2011217350A publication Critical patent/JP2011217350A/ja
Application granted granted Critical
Publication of JP5771981B2 publication Critical patent/JP5771981B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/103Detection of image changes, e.g. determination of an index representative of the image change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/025LAN communication management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed

Abstract

【課題】描画対象物に表示される画像の視認性を向上させると共に、任意の画像に重畳して描画された画像を他拠点と共有可能とする描画画像共有装置、データ処理方法、プログラムおよび記録媒体を提供すること。
【解決手段】本発明の描画画像共有装置は、描画対象物に表示すべき背景画像および他拠点の描画画像を受信し、背景画像を他拠点の描画画像共有装置に送信する。そして、これらの画像を合成して描画対象物に表示させた後、描画対象物に表示された画像を取得して、当該取得した画像と合成された画像との差分画像を生成し、当該差分画像を他拠点の描画画像共有装置に送信する。
【選択図】図2

Description

本発明は、描画画像の共有化に関し、より詳細には、他拠点と描画画像を共有する描画画像共有装置、データ処理方法、プログラムおよび記録媒体に関する。
近年、遠隔会議等に利用するために、各拠点に設けられたホワイトボードや黒板等の描画対象物に描かれた画像をカメラ等で撮影し、他の拠点に設けられた描画対象物にプロジェクタ等を使用して当該画像を投影することにより、複数の描画対象物で描画を供給する技術が存在する。
例えば、特開2005−203886号公報(特許文献1)は、各遠隔地に投影画像を投影するプロジェクタと、投影すべき元画像をプロジェクタに送信するサーバとを備え、各プロジェクタが、投影画像を投影したスクリーンに書き込まれた書込画像を撮影する撮影手段と、撮影手段によって撮影された書込画像をサーバに送信する送信手段とを備え、サーバが、一方のプロジェクタから受信した書込画像を元画像に合成する合成手段と、合成手段により合成された画像を他方のプロジェクタに送信する転送手段とを備え、遠隔会議を支援するシステムを開示する。
しかしながら、特許文献1に示すシステムは、書込画像を撮影するために、一定の時間間隔でプロジェクタによる投影を中断する必要があり、スクリーンに表示される画像の視認性を悪化させるという問題があった。
また、このような描画画像共有システムにおいて、何も描かれていない描画対象物にユーザが書き加えた描画画像を共有することは可能である。しかし、PC画面等の任意の画像を背景としてユーザが書き込みを行い、その画像を他拠点のユーザと共有化する技術が必要とされていた。
本発明は上記の課題を解決するものであり、描画対象物に表示される画像の視認性を向上させると共に、任意の画像に重畳して描画した描画画像を他拠点と共有可能な描画画像共有装置、データ処理方法、プログラムおよび記録媒体を提供することを目的とする。
本発明の描画画像共有装置は、描画対象物に表示すべき背景画像および他拠点の描画画像を受信し、背景画像を他拠点の描画画像共有装置に送信する。そして、これらの画像を合成して描画対象物に表示させた後、描画対象物に表示された画像を取得して、当該取得した画像と合成された画像との差分画像を生成し、当該差分画像を他拠点の描画画像共有装置に送信する。これにより、任意の画像に重畳して描画した描画画像を他拠点と共有可能にするとともに、描画画像の重畳によるエコー現象を回避して、表示画像の視認性を一層向上させることができる。
本発明によれば、描画対象物に表示される表示画像の視認性を向上させ、任意の画像に重畳して描画された画像を共有可能とするデータ処理方法、プログラムおよび記録媒体を提供することができる。
本実施形態の描画画像共有システムを示した図。 本実施形態の描画画像共有装置の機能構成を示す図。 本実施形態の背景画像供給モードで動作する描画画像共有装置が実行する処理を示すフローチャート。 本実施形態の背景画像供給モードで動作する描画画像共有装置が、図3に示す処理に伴って実行される処理を示すフローチャート。 本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の一実施形態を示すフローチャート。 本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の他の実施形態を示すフローチャート。 本実施形態の差分画像生成部が実行する差分画像生成処理を示すフローチャート。 本実施形態の差分画像生成部が実行する平均比率値算出処理を示すフローチャート。 他の実施形態の差分画像生成部が実行する平均差分値算出処理を示すフローチャート。 本実施形態の差分画像生成部が実行する差分算出処理を示すフローチャート。
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
図1は、本実施形態の描画画像共有システム100を示す。描画画像共有システム100は、2つの拠点110a,110bを含んで構成される。これらの拠点110a,110bは、インターネットやLAN、WAN等のネットワーク120を介して相互接続されている。本実施形態では、説明を明確にするために2つの拠点について説明するが、他の実施形態の描画画像共有システムでは、複数の拠点を含んで構成するようにしてもよい。また、他の実施形態では、専用線を用いて他拠点との相互接続を実現してもよい。
拠点110aは、描画対象物112aと、表示装置114aと、撮影装置116aと、描画画像共有装置118aと、背景画像供給装置122とを含む。なお、拠点110bは、背景画像供給装置122を除き、拠点110aと同様の構成を有しているため、以下説明を省略する。
描画対象物112aは、表示装置114aが表示する画像が表示され、拠点110aのユーザが文字や図等を描画可能なホワイトボードや黒板、紙等の物品である。本実施形態の描画対象物112aは、拠点110aのユーザが描画した描画画像である描画文字1130が描かれており、また、拠点110bのユーザが描画した描画画像である描画文字1132が表示されている。
表示装置114aは、描画対象物112aに表示すべき背景画像や拠点110bから受信した拠点110bの描画画像を表示する装置であり、本実施形態では、表示装置としてプロジェクタを採用することができる。図1では、拠点110aの描画対象物112aに拠点110bの描画文字1132が表示されている。背景画像とは、描画文字1130や描画文字1132等の書き込みを行うときに描画対象物に背景として表示されるPC画面等の任意の画像をいう。
本実施形態では、描画対象物112aおよび表示装置114aを利用して画像を表示する構成を採用しているが、他の実施形態では、これらの代わりに、液晶ディスプレイ装置やプラズマディスプレイ装置等を表示装置として採用することができる。この場合、透過性を有するフィルムやボード等を表示装置に取り付け、当該フィルム等にユーザが文字等を描くようにしてもよい。
撮影装置116aは、描画対象物112aに描かれた描画画像や表示画像、背景画像を撮影する装置であり、本実施形態では、デジタルカメラ、Webカメラなどを撮影装置として使用することができる。また、動画撮影が可能なデジタルビデオカメラを撮影装置として使用し、撮影された動画画像を表示画像としてもよい。本実施形態では、撮影装置116aは、描画画像共有装置118aが背景画像供給装置122から背景画像を受領したときや、拠点110bから描画画像を受領したときに、描画画像共有装置118aの指示により描画対象物112aの撮影を行う。
描画画像共有装置118aは、自拠点である拠点110aの描画対象物112aの撮影画像から抽出した描画画像や背景画像を他拠点である拠点110bに送信し、また、拠点110bから受信した描画画像を描画対象物112aに表示させることにより、複数拠点において描画画像の共有を可能にする装置である。また、描画画像共有装置118aは、拠点110bから受信した背景画像および描画画像を合成して描画対象物112aに表示させることができる。本実施形態では、描画画像共有装置118aは、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。
本実施形態の描画画像共有システム100では、描画画像共有装置は、背景画像を供給するモードである背景画像供給モードと、供給された背景画像を使用するモードである背景画像受領モードとの2つのモードで動作可能である。背景画像供給モードの描画画像共有装置は、背景画像供給装置122が供給した背景画像を、自拠点の表示画像として表示させるとともに、他拠点の描画画像共有装置に提供する。一方、背景画像受領モードの描画画像共有装置は、他拠点の描画画像共有装置から受領した背景画像および描画画像を合成して表示させる。本実施形態では、描画画像共有装置118aは、背景画像供給装置122から背景画像および/または背景画像を表示すべき旨の要求を受領したことをトリガとして背景画像供給モードで動作する。一方、描画画像共有装置118bは、他拠点の画像供給装置から背景画像および/または背景画像を表示すべき旨の要求を受領したことをトリガとして背景画像受領モードで動作する。
描画画像共有装置118aは、PENTIUM(登録商標)プロセッサまたは互換プロセッサを搭載し、WINDOWS(登録商標)シリーズ、MAC(登録商標)OS、UNIX(登録商標)、LINUX(登録商標)などのOSの管理下で、アセンブラ、C、C++、Java(登録商標)、Java(登録商標)Script、PERL、RUBY、PYTHONなどのプログラム言語で記述された本実施形態のプログラムを実行する。また、描画画像共有装置118aは、プログラムを実行するための実行空間を提供するRAM、プログラムやデータなどを持続的に保持するためのハードディスク装置(HDD)などを含んでおり、本実施形態の各機能手段をプログラムの実行により、当該情報処理装置上に実現する。さらに、描画画像共有装置118aは、表示装置114aや撮影装置116a等の周辺装置またはネットワーク120に接続可能なインタフェースを備えており、当該インタフェースを介して周辺装置や拠点110bの描画画像共有装置118bと描画画像および背景画像の送受信等のデータ通信を行う。
背景画像供給装置122は、描画対象物112aに表示すべき背景画像を描画画像共有装置118aに供給する装置である。背景画像供給装置122は、当該背景画像供給装置122に内蔵され、または接続されたHDD等の記憶装置に格納された背景画像を、背景画像を表示すべき旨の要求とともに描画画像共有装置118aに供給する。図1に示す実施形態では、背景画像供給装置122は、描画画像共有装置118aにLAN接続されており、当該LANを介して背景画像を提供することができる。本実施形態では、描画画像共有装置118aとして、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。他の実施形態では、描画画像共有装置118aとして、LANやWAN、インターネット等のネットワークにより描画画像共有装置118aに接続されたデータサーバを採用することができる。さらに、他の実施形態では、背景画像供給装置が有する背景画像ではなく、描画画像共有装置118aのHDDに格納された背景画像を使用することができる。
本実施形態の各機能手段は、上述したプログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本発明のプログラムは、ハードディスク装置、CD−ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
本実施形態の描画画像共有システムは、表示装置および撮影装置を用いて実現するが、これに限定されるものではない。
図2は、本実施形態の描画画像共有装置118aの機能構成200を示す。描画画像共有装置118aは、受信部210と、判別部212と、画像検出部214と、背景画像バッファ216と、描画画像バッファ220と、記憶装置236とを含む。
受信部210は、背景画像供給装置122や他拠点の描画画像共有装置118bから種々の要求や画像データを受信する機能手段である。具体的には、受信部210は、背景画像供給装置122または背景画像供給モードの描画画像共有装置から背景画像を受信する。また、受信部210は、他拠点の描画画像共有装置から描画画像を受信する。受信部210は、これらの要求を受信すると、判別部212にその旨の通知する。本実施形態では、受信部210が背景画像供給装置122の提供する背景画像を受信するが、他の実施形態では、受信部210が描画画像共有装置118aのHDD等の記憶装置に格納された背景画像を取得してもよい。
また、受信部210は、他拠点の描画画像共有装置との通信を確立する際に、他拠点の描画画像共有装置のプロファイル情報を受信する。受信部210は、プロファイル情報を受信すると、記憶装置236に保存する。記憶装置236には、自拠点の描画画像共有装置のプロファイル情報が予め保存されている。プロファイル情報には、描画画像共有装置が有する機能や処理能力、性能に関する情報が含まれる。具体的には、描画画像共有装置が描画画像と背景画像との合成が可能か否かを示す情報や、この合成処理に係る処理時間等が含まれる。
判別部212は、背景画像供給装置122または他拠点の描画画像供給装置から受信する種々の要求に応じた処理を実行する。これらの要求には、表示画像として背景画像を表示すべき要求や描画画像を表示すべき要求、背景画像および描画画像の合成画像を表示すべき要求、背景画像を再送信すべき旨の要求等と共に、その送信元を識別する情報が含まれる。
判別部212は、背景画像供給装置から背景画像の表示要求を受信した場合、描画画像共有装置は118a背景画像供給モードで動作し、当該表示要求と共に受信した背景画像の画像検出や他拠点への背景画像の送信を、後述する画像検出部214や画像加工部218などの機能手段に実行させる。判別部212は、背景画像供給装置122から背景画像を受信した場合、背景画像を識別する識別情報(以下、背景画像識別情報として参照する。)を背景画像に付加して、背景画像バッファ216に保存する。
また、判別部212は、他拠点の描画画像共有装置から背景画像の表示要求を受信した場合、描画画像共有装置118aは背景画像受領モードで動作し、当該要求と共に受信した背景画像を背景画像バッファ216に格納し、画像加工部218に当該背景画像と他拠点の描画画像とを合成させて、画像供給部222が表示装置114aに表示させることができる。
判別部212は、背景画像供給モードおよび背景画像受領モードの双方において、描画画像の表示要求を受信した場合、当該描画画像を一時的に保存するRAM等の記憶手段である描画画像バッファ220に格納する。本実施形態の描画画像バッファ220には、最新の描画画像のみが格納される。
また、判別部212は、他拠点の描画画像共有装置から背景画像および描画画像の合成画像を受信した場合、後述する画像供給部222に当該合成画像を表示装置114aに表示させることができる。
さらに、判別部212は、他拠点の描画供給装置から背景画像の再送要求を受信した場合、背景画像バッファ216に格納されている背景画像を後述の送信部234に送信させることができる。
画像検出部214は、受信部210が受信した背景画像が、背景画像バッファ216に格納されている背景画像と同一であるか否かを検出する機能手段である。背景画像バッファ216は、背景画像を格納するデータバッファであり、背景画像を一時的に保存可能なRAM等の記憶手段により実装することができる。背景画像バッファ216には、現在表示画像として表示されている背景画像を、その背景画像識別情報と共に格納することができる。本実施形態では、背景画像供給モードで動作する描画画像共有装置の背景画像バッファ216には、最新の背景画像のみが格納される。一方、背景画像受信モードで動作する描画画像共有装置の背景画像バッファ216には、他拠点から受信した背景画像が総て格納される。
画像検出部214は、描画画像共有装置118aが背景画像供給モードで動作する場合、判別部212を介して、背景画像供給装置122から背景画像を表示すべき要求を受領すると、背景画像供給装置122から受領した表示すべき背景画像と、背景画像バッファ216に格納された現在表示中の背景画像とを比較して、これらの画像が同一であるか否か検出する。本実施形態の画像検出部214は、テンプレートマッチングや特徴点抽出等を使用して、これらの画像の同一性を判断することができる。画像検出部214は、これらの画像が相違する場合、背景画像供給装置122から受信した背景画像を背景画像バッファ216に格納し、後述する送信部234に対し、当該背景画像を他拠点に送信すべき旨の要求を送付する。
また、画像検出部214は、描画画像共有装置118aが背景画像受領モードで動作する場合、判別部212を介して、他拠点の描画画像共有装置から背景画像を表示すべき要求を受領すると、受信した背景画像を背景画像バッファ216に格納する。
また、描画画像共有装置118aは、画像加工部218と、画像供給部222と、表示画像バッファ224とを含む。
画像加工部218は、背景画像供給装置122が供給した背景画像および他拠点から受信した描画画像に加工処理を施して表示画像を生成する機能手段である。画像加工部218は、描画画像バッファ220に格納された描画画像を取得し、背景画像バッファ216に格納された背景画像を取得し、当該描画画像および背景画像を合成して、表示画像を生成する。本実施形態では、画像合成方法として、マスク処理を用いた背景入れ替えやオブジェクト合成方法を採用することができる。また、合成すべき2つの画像のピクセル値を一定の割合で合成するαブレンディングや、合成すべき2つの画像の対応するピクセルの輝度の最小値を合成画像のピクセル値とする合成法を採用することができる。さらに、描画画像に対して太め処理を施し、その画像の輝度値が一定値以下の領域については描画画像のピクセル値を使用し、それ以外の領域については背景画像のピクセル値を使用する画像を合成画像とすることができる。
また、画像加工部218は、上記加工処理において、表示すべき背景画像に画像補正処理を施すことができる。本実施形態では、画像補正処理として、背景画像のサイズの拡大または縮小、背景画像の明度の変更を行うことができる。
さらに、画像加工部218は、描画画像共有システム100の他拠点と共有すべき領域である描画対象物に表示された共有領域の大きさ(以下、共有領域サイズとして参照する。)に適合するように表示画像に拡大縮小処理を施すことができる。画像加工部218は、後述する画像取得部226がRAM等の記憶装置に格納した共有領域サイズを読み出し、表示画像と共有領域の大きさが異なると判断した場合には、表示画像および共有領域の大きさの比率を算出し、その比率を用いて当該表示画像を拡大または縮小させる。
画像加工部218は、画像加工処理が終了すると、表示画像を一時的に保存可能なRAM等の記憶手段により実装可能なデータバッファである表示画像バッファ224に表示画像を格納し、画像供給部222に表示画像の表示要求を送信する。
他の実施形態では、画像加工部218は、描画画像共有装置が背景画像受領モードで動作する場合、受信した他拠点の描画画像に関連する背景画像が背景画像バッファ216に格納されているか否か判断することができる。この実施形態では、画像検出部214は、他拠点から受信した背景画像を、その背景画像識別情報とともに背景画像バッファ216に格納し、画像加工部218は、描画画像と共に送信される当該描画画像に関連する背景画像識別情報と使用して、受信した描画画像に関連する背景画像が背景画像バッファ216に格納されているか判断することができる。画像加工部218は、該当する背景画像が背景画像バッファ216に格納されていないと判断した場合には、他拠点の描画画像共有装置に対する背景画像要求を送信部234に送信する。一方、背景画像供給モードで動作する描画画像共有装置は、背景画像要求を受領すると、背景画像バッファ216に格納されている背景画像を取得して再送信する。これにより、背景画像の背景画像バッファへの書込エラーやネットワークエラー等によって背景画像バッファに適切な背景画像が格納されていない場合にも、他の拠点と背景画像の整合性を図ることができる。
画像供給部222は、他拠点から受信した描画画像を描画対象物に表示させる機能手段である。本実施形態の画像供給部222は、表示画像を表示装置114aに供給して描画対象物112aに表示させる。また、画像供給部222は、表示装置114aに表示画像を表示させた後、描画画像共有装置118aの処理を一定時間待機させる待機処理を実行する。画像供給部222は、画像加工部218から表示画像の表示要求を受領すると、表示画像バッファ224に格納された表示画像を取得し、表示装置114aに送信して当該表示画像を表示させる。そして、画像供給部222は、待機処理を実行し、画像取得部226に表示画像を撮影する要求を送信する。
本実施形態では、待機処理による待機時間を、0〜1000msとすることができる。これにより、表示装置によって描画対象物に表示された表示画像が安定する時間を確保し、描画対象物を撮影して得られる撮影画像の質を向上させることができる。
また、画像供給部222は、図1に示すような共有領域を規定するマーカ1120,1122,1124,1126を有する画像データであるマーカ画像を表示装置114aに表示させることができる。マーカ画像は、描画画像共有装置118aが備えるHDD等の不揮発性メモリに予め格納することができ、画像供給部222は、当該不揮発性メモリからマーカ画像を読み出して表示装置114aに表示させる。本実施形態では、画像供給部222は、描画画像共有装置118aの起動時にマーカ画像を描画対象物112aに表示させるが、他の実施形態では、ユーザ指示により、または定期的にマーカ画像を表示させることもできる。
本実施形態のマーカ画像は、マーカを構成する色として青色を採用するが、他の実施形態では、他の色をマーカの色として採用することができる。また、本実施形態では、マーカの形状を矩形としているが、他の実施形態では、三角形や四分円等の他の形状を採用することができる。さらに、本実施形態では、マーカを共有領域の各角点に配置することにより共有領域を規定するが、他の実施形態では、共有領域のその他の境界領域、例えば、共有領域の境界線上における各角の中点等にマーカを配置することもできる。
さらに、描画画像共有装置118aは、画像取得部226と、撮影画像バッファ228と、差分画像生成部230と、差分画像バッファ232と、送信部234とを含む。
画像取得部226は、描画画像共有システムの他拠点と共有すべき、描画対象物に表示された共有領域の画像を取得する機能手段である。本実施形態の画像取得部226は、描画対象物112aに表示された描画画像および表示画像を撮影装置116aに撮影させ、その撮影画像を取得する機能手段である。また、画像取得部226は、撮影装置116aから取得した撮影画像に対し、透視投影変換を実施して台形補正や縦横比の補正、回転補正等の画像補正を行うことができる。
また、画像取得部226は、上述したマーカ画像を使用して共有領域を特定し、共有領域サイズを算出することができる。画像取得部226は、後述する画像供給部222からマーカ画像を表示した旨の通知を受領すると、撮影装置116aに描画対象物112aを撮影させ、撮影装置116aから撮影画像を取得して透視投影変換を行う。画像取得部226は、撮影画像に含まれる各マーカの座標値を検出して共有領域の角点の座標値として取得し、共有領域を特定する。そして、画像取得部226は、共有領域の角点の座標値から共有領域サイズを算出し、共有領域の角点の座標値および共有領域サイズをRAMやHDD等の記憶装置に格納する。
他の実施形態では、画像取得部226は、マーカ画像を用いずに共有領域を特定して共有領域サイズを算出するようにしてもよい。この場合、画像供給部222が、初期時に表示画像バッファ224に格納されている白紙画像を表示装置に表示させ、画像取得部226は、撮影装置から取得した撮影画像に含まれる表示装置の照射領域とそれ以外の領域との輝度差を用いて、共有領域の角点の座標値を算出することができる。そして、画像取得部226は、当該共有領域の角点の座標値から共有領域サイズを算出することができる。
画像取得部226は、画像加工部218から表示画像の表示要求を受領すると、撮影装置116aに描画対象物112aを撮影させ、撮影装置116aから撮影画像を取得する。画像取得部226は、撮影画像に透視投影変換を施した後、記憶装置に格納された共有領域の角点の座標値または共有領域サイズを使用して、撮影画像から共有領域を切り出し、撮影画像を一時的に記憶可能なRAM等の記憶手段により実装可能なデータバッファである撮影画像バッファ228に格納する。そして、画像取得部226は、差分画像生成部230に対して、差分画像の生成要求を送付する。
本実施形態では、画像取得部226が撮影画像の透視投影変換を行うが、他の実施形態では、画像取得部226の指示により、透視投影変換回路によって撮影画像に透視投影変換を施してもよい。
差分画像生成部230は、表示画像と撮影画像との差分である差分画像を生成する差分画像生成処理を実行する機能手段である。差分画像生成部230は、画像取得部226から差分画像の生成要求を受領すると、表示画像バッファ224に格納されている表示画像を取得し、当該表示画像と、撮影画像バッファ228に格納されている撮影画像とを使用して差分画像生成処理を実行する。差分画像生成部230は、差分画像生成処理において、テンプレートマッチング、または特徴点抽出および対応付けを用いて、表示画像および撮影画像の位置合わせをすることができる。
本実施形態の差分画像生成処理では、差分画像生成部230は、モルフォロジー演算(Morphological Operations)のErosionまたは平滑化フィルタ等を用いて表示画像バッファ224から取得した表示画像に含まれる描画画像を膨張させる膨張処理を施す。これにより、撮影画像および表示画像の描画画像の位置ずれによる影響を排除できる。
また、差分画像生成部230は、膨張処理を施した表示画像と撮影画像とをRGBの各色成分(赤、緑、青)に分離して、色成分毎に表示画像および撮影画像の各ピクセルの平均比率値を算出する。平均比率値とは、対象ピクセルの周囲領域の輝度値の平均値に対する対象ピクセルの輝度値の比率である平均比率に、背景色の輝度値を掛け合わせることにより算出される対象ピクセルの中間値としての輝度値である。
本実施形態の平均比率値算出処理は、
(1)対象ピクセル(x,y)の周囲m×n(m,nは、任意の整数とする。)の大きさの矩形を特定し、
(2)或る色成分の撮影画像の積分画像を利用して、m×n領域内の輝度値の平均値AVEを算出し、
(3)撮影画像の背景色の輝度値(例えば、描画対象物がホワイトボードであれば、200)と、平均比率(すなわち、AVEに対する対象ピクセルの輝度値の比率)とを掛け合わせることにより行うことができる。なお、AVEの値が1よりも大きい場合には、対象ピクセルの平均比率値は背景色の輝度値と同一する。また、背景色の輝度値は、ユーザが予め任意の値を指定することできる。なお、背景色の輝度値は、撮影画像に含まれる背景画像の輝度値を考慮して設定することができる。
他の実施形態では、差分画像生成部230は、対象ピクセルの平均差分値を用いて差分画像を生成することができる。平均差分値とは、対象ピクセルの輝度値から対象ピクセルの周囲領域の輝度値の平均値を減算することにより算出される対象ピクセルの中間値としての輝度値である。
平均差分値算出処理は、
(1)対象ピクセル(x,y)の周囲m×n(m,nは、任意の整数とする。)の大きさの矩形を特定し、
(2)或る色成分の撮影画像の積分画像を利用して、m×n領域内の輝度値の平均値AVEを算出し、
(3)対象ピクセルの輝度値からAVEを減算することにより行うことができる。
差分画像生成部230は、撮影画像の対象ピクセルの平均比率値と、当該対象ピクセルに対応する表示画像の輝度値とを使用して、これらの対象ピクセルの差分値を算出することができる。また、差分画像生成部230は、撮影画像の対象ピクセルの平均差分値と、当該対象ピクセルに対応する表示画像の対象ピクセルの平均差分値とを使用して、これらの対象ピクセルの差分値を算出することができる。差分画像生成部230は、RGBの各色成分について、撮影画像および表示画像に含まれる総てのピクセルに対して上記差分値を算出し、当該差分値を各色成分の値とするピクセルを合成して、RGB色で構成される差分画像を生成する。
さらに、差分画像生成部230は、この差分画像に対して黄色成分をカットするフィルタ処理を施すことができる。差分画像生成部230は、対象ピクセルの背景色の輝度値と赤色または緑色の輝度値との差分値と、当該背景色の輝度値と青色との差分値とを比較し、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きい場合には、赤色または緑色の輝度値の差分値のうち大きい方の値を定数倍したものを、青色の輝度値とすることができる。一方、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも小さい場合には、青色の輝度値は、そのままとすることができる。
例えば、背景色の輝度値が200、赤色の輝度値が190、緑色の輝度値が180、青色の輝度値が140である場合、各色の背景色の輝度値との差分値は、それぞれ10(赤色の輝度値の差分値)、20(緑色の輝度値の差分値)、60(青色の輝度値の差分値)となる。この場合、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きくなり、赤色または緑色の輝度値のうち背景色との差分が大きい緑色の差分値(20)の定数倍(例えば、2倍)である差分値(40)を青色の輝度値の差分値とすることができる。すなわち、青色の輝度値を160とすることができる。なお、本実施形態で使用する定数は、任意の数値とすることができるが、数値が大きいと効果的に黄色成分を除去ができないため、1〜2の数値を採用するのが好適である。これにより、表示装置114aの光源に含まれる黄色成分を除去して視認性を向上させることができる。
差分画像生成部230は、上述した差分画像生成処理を実行すると、差分画像を一時的に記憶可能なRAM等の記憶手段により実装可能なデータバッファである差分画像バッファ232に、生成した差分画像を格納し、送信部234に対して差分画像の送信要求を送付する。
送信部234は、差分画像生成部230が生成した差分画像である自拠点の描画画像、背景画像供給装置122が提供する背景画像およびこれらの合成画像を、ネットワーク120を介して他拠点の描画画像共有装置に送信する機能手段である。送信部234は、これらの画像データを他拠点の描画画像共有装置に送信する際、送信対象である画像データの表示要求、例えば、背景画像の表示要求、描画画像の表示要求またはこれらの合成画像の表示要求と共に送信する。
本実施形態の描画画像共有システムでは、送信部234は、他拠点の描画画像共有装置に対して、自拠点の撮影画像から他拠点の描画画像を取り除いた差分画像を送信することができるため、描画画像の重畳によるエコー現象を回避することができ、表示画像の視認性を一層向上させることができる。
また、送信部234は、差分画像生成部230が生成した差分画像である自拠点の描画画像のみを送信する場合、当該描画画像に関連する背景画像バッファ216に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加することができる。本実施形態では、背景画像識別情報として、例えば、背景画像を固有に識別可能な数字や文字、記号、またはこれらの結合で構成されるIDやタイムスタンプ、任意の名称等を使用することができる。
さらに、送信部234は、背景画像バッファ216に背景画像が存在しない場合、背景画像供給モードで動作する他拠点の描画画像共有装置に対して背景画像の要求を送信することができる。さらに、送信部234は、他拠点の描画画像共有装置との通信の確立時に、記憶装置236に格納されている自拠点の描画画像共有装置のプロファイル情報を送信する。
図3は、本実施形態の描画画像共有装置が、背景画像供給モードで動作するときに実行する処理を示すフローチャートである。以下、図3を参照して、背景画像供給モードの描画画像共有装置118aが実行する処理について説明する。
図3の処理は、ステップS300で描画画像共有装置118aの受信部210が、背景画像供給装置122または他拠点の描画画像供給装置から一定の要求を受信することにより開始する。ステップS301では、判別部212が当該要求の種別を判断する。
ステップS301の判定で、当該要求種別が背景画像の表示要求であると判断した場合、処理をステップS302に分岐させる。ステップS302では、画像検出部214が、背景画像バッファ216に既に背景画像が格納されているか否かを判断する。ステップS302の判定で背景画像が存在しないと判断した場合には(no)、処理をステップS304に分岐させる。一方、ステップS302の判定で背景画像が存在すると判断した場合には(yes)、処理をステップS303に分岐させる。
ステップS303では、画像検出部214は、受信した背景画像と、背景画像バッファ216に格納されている背景画像とが一致するか否かを判断する。背景画像が一致すると判断した場合には(yes)、処理をステップS308に分岐させる。一方、ステップS303の判定で背景画像が相違すると判断した場合には(no)、処理をステップS304に分岐させる。
ステップS304では、画像検出部214が、受信した背景画像を背景画像バッファ216に格納する。ステップS305では、画像検出部214は、背景画像を送信すべきか否か示すフラグ(以下、「背景画像送信フラグ」とする。)を、背景画像を送信すべき旨(ON)を示す値にする。本実施形態では、背景画像送信フラグは、図3の処理の開始時に初期値(OFF)に初期化される。
また、ステップS301の判定で、要求種別が他拠点の描画画像の表示要求である判断した場合、処理をステップS306に分岐させる。ステップS306では、判別部212は、当該描画画像を描画画像バッファ220に保存する。
さらに、ステップS301の判定で、要求種別が他拠点からの背景画像の再送要求である判断した場合、処理をステップS307に分岐させる。ステップS307では、判別部212は、背景画像送信フラグを背景画像の送信をすべき旨(ON)を示す値にする。
ステップS308では、画像加工部218が、背景画像バッファ216に格納された背景画像および描画画像バッファ220に格納された描画画像に対して加工処理を施して表示画像を生成する。ステップS309では、画像供給部222が、表示画像を表示装置114aに送信して表示させ、ステップS310で待機処理を実行する。
ステップS311では、画像取得部226が、描画対象物112aを撮影装置116aに撮影させて撮影画像を取得し、ステップS312で撮影画像に画像補正を施して共有領域を切り出し、撮影画像バッファ228に格納する。ステップS313では、差分画像生成部230が、図7を参照してより詳細に説明する差分画像生成処理を実行する。ステップS314では、送信部234が、図4を参照して説明する画像送信処理を実行して、背景画像、差分画像またはこれらの合成画像を他拠点の描画画像共有装置に送信し、ステップS315で処理を終了させる。
図4は、図3に示すステップS312で送信部234が実行する画像送信処理を示すフローチャートである。図4の処理は、ステップS400から開始し、ステップS401では、送信部234は、記憶装置236に保存されている他拠点のプロファイル情報を参照し、画像データを送信すべき他拠点の描画画像共有装置が画像データの合成機能を有するか否か判断する。
他拠点の描画画像共有装置が合成機能を有すると判断した場合(yes)、処理をステップS402に分岐させる。一方、当該描画画像共有装置が合成機能を有していないと判断した場合(no)、処理をステップS403に分岐させる。
ステップS402では、送信部234は、画像データを送信すべき他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置118aの処理能力よりも低いか否か判断する。本実施形態では、描画画像共有装置が背景画像と描画画像の合成処理に要する処理時間を比較することにより、処理能力を比較することができる。
他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置の処理能力よりも低いと判断した場合には(yes)、処理をステップS403に分岐させる。一方、他拠点の描画画像共有装置の処理能力が自拠点の描画画像共有装置の処理能力以上であると判断した場合には(no)、処理をステップS404に分岐させる。
ステップS403では、送信部234は、背景画像バッファ216から背景画像を取得すると共に差分画像バッファ232から差分画像を取得する。そして、これらの画像を合成し、当該画像の表示要求と共に他拠点の描画画像共有装置に送信し、ステップS410で処理が終了する。
ステップS404では、送信部234は、背景画像送信フラグが背景画像を送信すべき値(ON)であるか否か判断する。背景画像送信フラグがONである場合には(yes)、処理をステップS405に分岐させる。ステップS405では、送信部234は、差分画像バッファ232から差分画像を取得し、背景画像バッファ216に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加する。ステップS406では、送信部234は、自拠点の描画画像である当該差分画像と背景画像とを合成せずに、これらの画像の表示要求と共に他拠点の描画画像共有装置に送信する。ステップS407では、送信部234は、背景画像送信フラグを初期化し、ステップS410で処理が終了する。
ステップS404の判定で背景画像送信フラグがONでないと判断した場合には(no)、処理をステップS408に分岐させる。ステップS408では、送信部234は、差分画像バッファ232から差分画像を取得し、背景画像バッファ216に格納されている背景画像の背景画像識別情報をメタデータとして当該差分画像に付加する。ステップS409では、送信部234は、当該差分画像を自拠点の描画画像として、当該描画画像の表示要求と共に他拠点の描画画像共有装置に送信し、ステップS410で処理が終了する。
図5は、背景画像受領モードで動作する本実施形態の描画画像共有装置が実行する処理の一実施形態を示すフローチャートである。以下、図5を参照して、画像合成機能を有する描画画像共有装置118bが実行する処理について説明する。
図5の処理は、描画画像共有装置118bが他拠点の描画画像共有装置118aから種々の要求を受信することによりステップS500から開始する。ステップS501では、描画画像共有装置118bの判別部212が、受信した要求種別を判断する。
ステップS501の判定で、要求種別が背景画像および描画画像の表示要求であると判断した場合、処理をステップS502に分岐させる。ステップS502では、判別部212は、当該表示要求と共に受信した背景画像を背景画像バッファ216に格納する。ステップS503では、画像加工部218が、当該表示要求と共に受信した描画画像および背景画像バッファ216に格納された背景画像に加工処理を施して表示画像を生成する。ステップS504では、画像供給部222が当該表示画像を表示装置114bに送信して描画対象物112bに表示させる
また、ステップS501の判定で、要求種別が描画画像の表示要求であると判断した場合、処理をステップS505に分岐させる。ステップS505では、判別部212は、背景画像バッファ216に背景画像が存在するか否か判断する。背景画像が存在するかと判断した場合には(yes)、処理をステップS506に分岐させる。
ステップS506では、画像加工部218が、当該表示要求と共に受信した描画画像、および背景画像バッファ216に格納された当該描画画像に関連する背景画像に加工処理を施して表示画像を生成する。本実施形態では、画像加工部218は、受信した描画画像のメタデータとして付加されている背景画像識別情報と、背景画像バッファ216に格納されている背景画像の背景画像識別情報とを照合し、合致する背景画像識別情報が示す背景画像を、描画画像に関連する加工処理を施すべき背景画像として特定することができる。そして、ステップS504では、画像供給部222が、ステップS506で生成した表示画像を表示装置114bに送信して描画対象物112bに表示させる。
一方、ステップS505で背景画像バッファ216に背景画像が存在しないと判断した場合には(no)、処理をステップS507に分岐させる。ステップS507では、送信部234が、描画画像の表示要求を送信した他拠点の描画画像共有装置に対して、背景画像の再送要求を送信し、ステップS514で処理が終了する。
本実施形態では、背景画像の送信エラーや背景画像の保存エラーなどの不具合によって、背景画像バッファ216に背景画像が保存されていない場合でも、背景画像を提供する拠点の描画画像共有装置から、再度、背景画像を取得することができる。
さらに、ステップS501の判定で、要求種別が描画画像と背景画像との合成画像の表示要求であると判断した場合、処理をステップS508に分岐させる。ステップS508では、画像供給部222が、当該表示要求と共に受信した合成画像を表示画像として表示装置114bに送信して描画対象物112bに表示させる。
ステップS509では、画像供給部222は待機処理を実行する。ステップS510では、画像取得部226が、描画対象物112aを撮影装置116aに撮影させて撮影画像を取得し、ステップS511で撮影画像に画像補正を施して共有領域を切り出し、撮影画像バッファ228に格納する。ステップS512では、差分画像生成部230が、図7を参照してより詳細に説明する差分画像生成処理を実行する。ステップS513では、送信部234が、描画画像の表示要求と共に、ステップS512で生成した差分画像を自拠点の描画画像として他拠点の描画画像共有装置に送信し、ステップS514で処理を終了させる。
図6は、本実施形態の背景画像受領モードで動作する描画画像共有装置が実行する処理の他の実施形態を示すフローチャートである。以下、図6を参照して、画像合成機能を実装していない描画画像共有装置118bが実行する処理について説明する。
図6の処理は、描画画像共有装置118bの受信部210が他拠点の描画画像共有装置から、背景画像と描画画像との合成画像である画像データの表示要求を受信することによりステップS600から開始する。ステップS601では、画像供給部222が、受信した画像データを表示装置114bに送信して描画対象物112bに表示させ、ステップS602で待機処理を実行する。そして、図5に示すステップS510〜ステップS513と同様の処理であるステップS603〜ステップS606の処理を実行し、ステップS607で処理が終了する。
図7は、差分画像生成部230が実行する差分画像生成処理を示すフローチャートである。図7の処理は、ステップS700で、差分画像生成部230が、画像取得部226から差分画像の生成要求を受領したことにより開始する。ステップS701では、差分画像生成部230が、表示画像バッファ224に格納された表示画像を取得して膨張処理を施す。ステップS702では、差分画像生成部230が、撮影画像バッファ228に格納された撮影画像を取得し、当該撮影画像と膨張処理を施した表示画像とをRGBの各色成分に分離する。ステップS703では、差分画像生成部230が、RGBの各色成分に分離された撮影画像の積分画像を生成する。
ステップS704では、差分画像生成部230が、撮影画像の対象ピクセルに対して、図8または図9を参照してより詳細に説明する平均比率値算出処理または平均差分値算出処理を実行する。ステップS705では、差分画像生成部230が、対象ピクセルに対して、図10を参照してより詳細に説明する差分算出処理を実行し、差分画像の各色成分の輝度値を算出する。差分画像生成部230は、総てのピクセルについてステップS704〜S705の処理を実行し、総ての色成分(R,G,B)についてステップS703〜S705の処理を実行する。
ステップS706では、差分画像生成部230が、総てのピクセルについて、ステップS705で算出した輝度値をRGB色の各色成分の値とするピクセルを合成し、RGB色で構成される差分画像を生成する。ステップS707では、差分画像生成部230が、黄色成分を除去するフィルタ処理を当該差分画像に施して差分画像バッファ232に保存し、ステップS708で処理が終了する。
図8は、本実施形態の差分画像生成部230が実行する平均比率値算出処理を示すフローチャートである。図8は、ステップS800で開始し、ステップS801で、差分画像生成部230が、対象ピクセルを中心としてm×nのサイズの矩形領域を特定する。ステップS802では、差分画像生成部230が、積分画像を用いてステップS801で特定した矩形領域内の輝度値の平均値を算出する。ステップS803では、背景色の輝度値、対象ピクセルの輝度値、および矩形領域内の輝度値の平均値を使用して、対象ピクセルの平均比率値を算出し、ステップS804で処理が終了する。
図9は、他の実施形態の差分画像生成部230が実行する平均差分値算出処理を示すフローチャートである。図9は、ステップS900で開始し、ステップS901で、差分画像生成部230が、対象ピクセルを中心としてm×nのサイズの矩形領域を特定する。ステップS902では、差分画像生成部230が、積分画像を用いてステップS901で特定した矩形領域内の輝度値の平均値を算出する。ステップS903では、対象ピクセルの輝度値から矩形領域内の輝度値の平均値を減算して、対象ピクセルの平均差分値を算出し、ステップS904で処理が終了する。
図10は、本実施形態の差分画像生成部230が実行する差分算出処理を示すフローチャートである。図10はステップS1000で開始し、ステップS1001で、差分画像生成部230が、撮影画像の対象ピクセルと表示画像の対象ピクセルとの差分値を算出する。ステップS1002では、差分画像生成部230が、ステップS1001で算出した差分値が、描画閾値よりも大きいか否か判断し、差分値が描画閾値よりも大きいと判断した場合には、処理をステップS1003に分岐させる。描画閾値は任意の値とすることができるが、本実施形態では、描画閾値を−5とすることが好適である。
ステップS1003では、差分画像生成部230が差分値を0とする。これにより、差分画像における対象ピクセルの輝度値を補正することができ、撮影画像が表示画像よりも明るい場合には、描画対象物を撮影したときの反射光や照明器具等による影響を排除することができる。また、差分値が小さい場合にはノイズによる影響であると判断できるため、差分画像上のノイズをカットすることもできる。
一方、ステップS1002の判定で、差分画像生成部230が、差分値が描画閾値以下であると判断した場合には、処理をステップS1004に分岐させる。ステップS1004では、差分画像生成部230が、差分値を定数倍して色の強度を高める補正処理を実行する。本実施形態では、当該定数を1〜2とすることができる。これにより、撮影によって低下した撮影画像の色強度の影響を排除することができ、差分画像の視認性を向上させることができる。
ステップS1005では、差分画像生成部230が、差分値に背景色の輝度値を加算し、ステップS1006で処理を終了させる。
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
100…描画画像共有システム、110a,110b…拠点、112a,112b…描画対象物、1120,1122,1124,1126…マーカ、1130,1132…描画文字、114a,114b…表示装置、116a,116b…撮影装置、118a,118b…描画画像共有装置、120…ネットワーク、122…背景画像供給装置
特開2005−203886号公報

Claims (25)

  1. 描画画像を共有する描画画像共有装置であって、
    前記描画画像共有装置は、
    描画対象物に表示すべき背景画像と他拠点から受信した描画画像とを合成する画像加工処理手段と、
    前記画像加工処理手段が合成した画像と、自拠点の描画対象物の画像との差分である他拠点と共有すべき差分画像を生成する差分画像生成手段と
    前記差分画像を他拠点に送信する送信手段と
    を含む描画画像共有装置。
  2. 前記描画画像共有装置は、
    描画対象物に表示すべき背景画像および他拠点の描画画像を受信する受信手段と、
    前記画像加工処理手段が合成した画像を前記描画対象物に表示させる画像供給手段と、
    前記自拠点の描画対象物の画像を取得する画像取得手段とをさらに含み、
    前記送信手段は、前記差分画像および背景画像を、前記他拠点の描画画像共有装置に送信する、請求項1に記載の描画画像共有装置。
  3. 前記描画画像共有装置は、
    描画対象物に表示すべき背景画像および他拠点の描画画像を受信する受信手段と、
    前記画像加工処理手段が合成した画像を前記描画対象物に表示させる画像供給手段と、
    前記自拠点の描画対象物の画像を取得する画像取得手段とをさらに含み、
    前記画像加工処理手段は、前記差分画像および背景画像を合成し、
    前記送信手段は、前記差分画像および背景画像を合成した画像を、前記他拠点の描画画像共有装置に送信する、請求項1または2に記載の描画画像共有装置。
  4. 前記送信手段は、前記他拠点の描画画像共有装置のプロファイル情報を参照し、
    前記他拠点の描画画像共有装置が画像を合成する機能を備えている場合に、前記差分画像および背景画像を送信し、
    前記他拠点の描画画像共有装置が画像を合成する機能を備えていない場合に、前記差分画像および背景画像を合成した画像を送信する、請求項3に記載の描画画像共有装置。
  5. 前記送信手段は、前記自拠点の描画画像共有装置および他拠点の描画画像共有装置のプロファイル情報を参照し、
    前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力よりも低い場合に、前記差分画像および背景画像を合成した画像を送信し、
    前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力以上である場合に、前記差分画像および背景画像を送信する、請求項3または4に記載の描画画像共有装置。
  6. 前記受信手段は、前記背景画像を背景画像記憶手段に格納し、前記他拠点から受信した描画画像を描画画像記憶手段に格納する、請求項2〜5のいずれか1項に記載の描画画像共有装置。
  7. 前記画像供給手段は、前記画像加工処理手段が合成した画像を表示装置に供給して前記描画対象物に表示させ、
    前記画像取得手段は、前記描画対象物の画像を撮影装置に撮影させて、他拠点と共有すべき共有領域の画像を取得する、請求項2〜6のいずれか1項に記載の描画画像共有装置。
  8. 前記描画画像共有装置は、
    前記受信手段が受信した第1の背景画像と、前記受信手段が前回受信した第2の背景画像とが一致するか検出する画像検出手段をさらに含み、
    前記送信手段は、前記第1の背景画像と前記第2の背景画像とが相違する場合に、前記第1の背景画像を送信する、請求項2、4〜7のいずれか1項に記載の描画画像共有装置。
  9. 前記画像加工処理手段は、他拠点から受信した描画画像に関連する背景画像の識別情報を使用して前記描画画像に関連する背景画像を判断し、前記描画画像と前記描画画像に関連する背景画像とを合成する、請求項2、4〜8のいずれか1項に記載の描画画像共有装置。
  10. 前記背景画像の識別情報は、前記背景画像のIDである、請求項9に記載の描画画像共有装置。
  11. 前記画像加工処理手段は、前記背景画像に拡大処理または縮小処理を施す、請求項1〜10のいずれか1項に記載の描画画像共有装置。
  12. 前記画像加工処理手段は、前記背景画像の明度を変更する処理を施す、請求項1〜11のいずれか1項に記載の描画画像共有装置。
  13. 前記画像供給手段は、表示装置に対して、前記共有領域を規定するマーカ画像を描画対象物に表示させ、
    前記画像取得手段は、表示装置が表示した前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれるマーカ画像のマーカの座標値から前記共有領域を特定する、請求項7〜12のいずれか1項に記載の描画画像共有装置。
  14. 前記画像供給手段は、表示装置に対して、白紙画像を描画対象物に表示させ、
    前記画像取得手段は、前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれる白紙画像の領域と前記白紙画像以外の領域との輝度差を使用して、前記共有領域を特定する、請求項7〜13のいずれか1項に記載の描画画像共有装置。
  15. 前記画像取得手段は、撮影画像に透視投影変換を施す、請求項7〜14のいずれか1項に記載の描画画像共有装置。
  16. 前記差分画像生成手段は、表示画像に膨張処理を施して差分画像を生成する、請求項7〜15のいずれか1項に記載の描画画像共有装置。
  17. 前記差分画像生成手段は、前記差分画像に対して黄色成分をカットするフィルタ処理を施す、請求項7〜16のいずれか1項に記載の描画画像共有装置。
  18. 前記差分画像生成手段は、前記差分画像に対して色強度を高める補正処理を施す、請求項7〜17のいずれか1項に記載の描画画像共有装置。
  19. 描画画像共有装置が実行するデータ処理方法であって、前記データ処理方法は、前記描画画像共有装置が、
    描画対象物に表示すべき背景画像と他拠点から受信した描画画像とを合成するステップと、
    前記合成した画像と、自拠点の描画対象物の画像との差分である他拠点と共有すべき差分画像を生成するステップと
    前記差分画像を他拠点に送信するステップと
    を実行するデータ処理方法。
  20. 前記データ処理方法は、前記描画画像共有装置が、
    描画対象物に表示すべき背景画像および他拠点の描画画像を受信するステップと、
    前記合成した画像を前記描画対象物に表示させるステップと、
    前記自拠点の描画対象物の画像を取得するステップとをさらに含み、
    前記送信するステップは、前記差分画像および前記背景画像を、前記他拠点の描画画像共有装置に送信するステップを含む、請求項19に記載のデータ処理方法。
  21. 前記データ処理方法は、前記描画画像共有装置が、
    描画対象物に表示すべき背景画像および他拠点の描画画像を受信するステップと、
    前記合成した画像を前記描画対象物に表示させるステップと、
    前記自拠点の描画対象物の画像を取得するステップと、
    前記差分画像および背景画像を合成するステップと、
    前記差分画像および背景画像を合成した画像を、前記他拠点の描画画像共有装置に送信するステップをさらに含む、請求項19または20に記載のデータ処理方法。
  22. 前記送信するステップは、
    前記他拠点の描画画像共有装置のプロファイル情報を参照するステップと、
    前記他拠点の描画画像共有装置が画像を合成する機能を備えている場合に、前記差分画像および背景画像を送信し、前記他拠点の描画画像共有装置が画像を合成する機能を備えていない場合に、前記差分画像および背景画像を合成した画像を送信するステップと
    を含む、請求項21に記載のデータ処理方法。
  23. 前記送信するステップは、
    前記自拠点の描画画像共有装置および他拠点の描画画像共有装置のプロファイル情報を参照するステップと、
    前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力よりも低い場合に、前記差分画像および背景画像を合成した画像を送信し、前記他拠点の描画画像共有装置の処理能力が前記自拠点の描画画像共有装置の処理能力以上である場合に、前記差分画像および背景画像をそれぞれ送信するステップと
    を含む、請求項21または22に記載のデータ処理方法。
  24. 描画画像共有装置に対して、請求項19〜23のいずれか1項に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
  25. 請求項24に記載されたプログラムを記録したコンピュータ可読な記録媒体。
JP2010287093A 2010-03-15 2010-12-24 描画画像共有装置、データ処理方法、プログラムおよび記録媒体 Expired - Fee Related JP5771981B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010287093A JP5771981B2 (ja) 2010-03-15 2010-12-24 描画画像共有装置、データ処理方法、プログラムおよび記録媒体
EP20110250260 EP2381405A3 (en) 2010-03-15 2011-03-07 Apparatus, system and method of sharing drawing data
US13/043,726 US8773462B2 (en) 2010-03-15 2011-03-09 Apparatus, system, and method of sharing drawing data
CN201110062465.6A CN102196235B (zh) 2010-03-15 2011-03-11 绘画图像共有装置和数据处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010057237 2010-03-15
JP2010057237 2010-03-15
JP2010287093A JP5771981B2 (ja) 2010-03-15 2010-12-24 描画画像共有装置、データ処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2011217350A true JP2011217350A (ja) 2011-10-27
JP5771981B2 JP5771981B2 (ja) 2015-09-02

Family

ID=44370672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010287093A Expired - Fee Related JP5771981B2 (ja) 2010-03-15 2010-12-24 描画画像共有装置、データ処理方法、プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US8773462B2 (ja)
EP (1) EP2381405A3 (ja)
JP (1) JP5771981B2 (ja)
CN (1) CN102196235B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014175827A (ja) * 2013-03-08 2014-09-22 Ricoh Co Ltd 情報提示システム、画像表示装置及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
JP2013046151A (ja) * 2011-08-23 2013-03-04 Ricoh Co Ltd プロジェクタ、投影システム及び情報検索表示方法
US9832352B2 (en) 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
JP2015506121A (ja) * 2011-11-16 2015-02-26 ストーウェル・リンネル・エルエルシー ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法
JP6069898B2 (ja) * 2011-11-25 2017-02-01 株式会社リコー 画像処理装置、画像処理システム、方法およびプログラム
US9978178B1 (en) * 2012-10-25 2018-05-22 Amazon Technologies, Inc. Hand-based interaction in virtually shared workspaces
JP6212878B2 (ja) 2013-02-21 2017-10-18 株式会社リコー 画像処理装置、画像処理システム及びプログラム
JP6232716B2 (ja) 2013-03-11 2017-11-22 株式会社リコー 情報処理装置、表示制御システムおよびプログラム
JP6375660B2 (ja) * 2014-01-21 2018-08-22 セイコーエプソン株式会社 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
CN104079863B (zh) * 2014-06-27 2018-04-27 联想(北京)有限公司 一种信息处理方法及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187178A (ja) * 1997-12-24 1999-07-09 Nec Corp 電子黒板会議システム及び通信方法
JP2004264769A (ja) * 2003-03-04 2004-09-24 Toshiba Corp 情報処理装置およびプログラム
JP2005121747A (ja) * 2003-10-14 2005-05-12 Seiko Epson Corp プロジェクタ装置および書き込み取得方法
JP2005253067A (ja) * 2004-02-17 2005-09-15 Microsoft Corp プロジェクタ−カメラ−ホワイトボードシステムにおける視覚エコーキャンセレーションのためのシステムおよび方法
JP2006018760A (ja) * 2004-07-05 2006-01-19 Casio Comput Co Ltd 画像共有システム及びプログラム
WO2006011192A1 (ja) * 2004-07-26 2006-02-02 Mitsubishi Denki Kabushiki Kaisha 会議システム
JP2006166156A (ja) * 2004-12-09 2006-06-22 Konica Minolta Business Technologies Inc 画像処理方法および画像処理装置
JP2006284471A (ja) * 2005-04-04 2006-10-19 Mitsubishi Electric Corp パターン検査方法及びパターン検査装置並びにパターン検査用プログラム
JP2007017543A (ja) * 2005-07-05 2007-01-25 Ricoh Elemex Corp プレゼンテーション装置、プレゼンテーションシステム、プレゼンテーション方法、およびプレゼンテーションプログラム
JP2008275391A (ja) * 2007-04-26 2008-11-13 Canon Inc 位置姿勢計測装置及び位置姿勢計測方法
JP2009081803A (ja) * 2007-09-27 2009-04-16 Saxa Inc テレビ会議システムおよび端末装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343313B1 (en) 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
JP3833483B2 (ja) 2001-03-06 2006-10-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示システム、画像データ送信装置、表示画像データ送信方法、差分転送方法、プログラム、および記憶媒体
JP2005203886A (ja) 2004-01-13 2005-07-28 Seiko Epson Corp 遠隔会議支援システム、遠隔会議支援システム制御方法、及びプログラム
US7212174B2 (en) 2004-06-24 2007-05-01 International Business Machines Corporation Systems and methods for sharing application data in a networked computing environment
US8902320B2 (en) * 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US7880719B2 (en) 2006-03-23 2011-02-01 International Business Machines Corporation Recognition and capture of whiteboard markups in relation to a projected image
JP2011205615A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体
US9053455B2 (en) * 2011-03-07 2015-06-09 Ricoh Company, Ltd. Providing position information in a collaborative environment

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187178A (ja) * 1997-12-24 1999-07-09 Nec Corp 電子黒板会議システム及び通信方法
JP2004264769A (ja) * 2003-03-04 2004-09-24 Toshiba Corp 情報処理装置およびプログラム
JP2005121747A (ja) * 2003-10-14 2005-05-12 Seiko Epson Corp プロジェクタ装置および書き込み取得方法
JP2005253067A (ja) * 2004-02-17 2005-09-15 Microsoft Corp プロジェクタ−カメラ−ホワイトボードシステムにおける視覚エコーキャンセレーションのためのシステムおよび方法
JP2006018760A (ja) * 2004-07-05 2006-01-19 Casio Comput Co Ltd 画像共有システム及びプログラム
WO2006011192A1 (ja) * 2004-07-26 2006-02-02 Mitsubishi Denki Kabushiki Kaisha 会議システム
JP2006166156A (ja) * 2004-12-09 2006-06-22 Konica Minolta Business Technologies Inc 画像処理方法および画像処理装置
JP2006284471A (ja) * 2005-04-04 2006-10-19 Mitsubishi Electric Corp パターン検査方法及びパターン検査装置並びにパターン検査用プログラム
JP2007017543A (ja) * 2005-07-05 2007-01-25 Ricoh Elemex Corp プレゼンテーション装置、プレゼンテーションシステム、プレゼンテーション方法、およびプレゼンテーションプログラム
JP2008275391A (ja) * 2007-04-26 2008-11-13 Canon Inc 位置姿勢計測装置及び位置姿勢計測方法
JP2009081803A (ja) * 2007-09-27 2009-04-16 Saxa Inc テレビ会議システムおよび端末装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014175827A (ja) * 2013-03-08 2014-09-22 Ricoh Co Ltd 情報提示システム、画像表示装置及びプログラム

Also Published As

Publication number Publication date
EP2381405A3 (en) 2012-05-23
US8773462B2 (en) 2014-07-08
CN102196235B (zh) 2015-01-07
EP2381405A2 (en) 2011-10-26
JP5771981B2 (ja) 2015-09-02
CN102196235A (zh) 2011-09-21
US20110221773A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
JP5771981B2 (ja) 描画画像共有装置、データ処理方法、プログラムおよび記録媒体
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
US9459820B2 (en) Display processing apparatus, display processing method, and computer program product
RU2534951C2 (ru) Устройство для совместного использования вычерчиваемого изображения на множестве рабочих мест, система совместного использования вычерчиваемого изображения на множестве рабочих мест, способ, выполняемый посредством устройства совместного использования вычерчиваемого изображения на множестве рабочих мест, программа и носитель записи
JP5633320B2 (ja) 描画画像共有装置
JP2011205615A (ja) 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体
JP2016096487A (ja) 撮影システム
US10986401B2 (en) Image processing apparatus, image processing system, and image processing method
JP2012120160A (ja) 画像処理システム、画像処理装置、及び画像処理プログラム
JP6028527B2 (ja) 表示処理装置、表示処理方法、及びプログラム
JP2016213674A (ja) 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JP5233868B2 (ja) 画像切出装置
JP2019075766A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2018110384A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP5326816B2 (ja) 遠隔会議システム、情報処理装置、及びプログラム
JP2005107967A (ja) 画像合成装置及び方法
JP5162855B2 (ja) 画像処理装置、遠隔画像処理システム及び画像処理方法
KR20140130887A (ko) 썸네일 이미지 생성 방법 및 그 전자 장치
JP2010258613A (ja) 動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置
WO2019082415A1 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理プログラムおよび記録媒体
JP5854333B2 (ja) 画像出力装置
JP6938158B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2007019694A (ja) ディジタルカメラの撮影画像処理装置と撮影画像処理用コンピュータプログラム
JPH11259682A (ja) 画像処理装置および方法、並びに提供媒体
JP2021018414A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R151 Written notification of patent or utility model registration

Ref document number: 5771981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees