JP2012064214A - 画像表示方法、共有ボードシステム - Google Patents

画像表示方法、共有ボードシステム Download PDF

Info

Publication number
JP2012064214A
JP2012064214A JP2011201713A JP2011201713A JP2012064214A JP 2012064214 A JP2012064214 A JP 2012064214A JP 2011201713 A JP2011201713 A JP 2011201713A JP 2011201713 A JP2011201713 A JP 2011201713A JP 2012064214 A JP2012064214 A JP 2012064214A
Authority
JP
Japan
Prior art keywords
image
unit
shared board
shielding object
shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011201713A
Other languages
English (en)
Other versions
JP5280503B2 (ja
Inventor
Richard J Campbell
ジョン キャンベル リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2012064214A publication Critical patent/JP2012064214A/ja
Application granted granted Critical
Publication of JP5280503B2 publication Critical patent/JP5280503B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】共有ボードシステムにおいて、遮蔽物に遮蔽された書き込み内容を視認できないという不便を解消する。
【解決手段】本発明の共有ボードシステムは、基準フレームと現フレームとを合成し、当該合成にて得られた画像を表示する工程を含む、この工程では、上記合成にて得られる画像における一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行う。
【選択図】図４

Description

本発明の実施形態は、一般的な共有（協働）ボードシステムに関し、特に、遮蔽物の検出に基づいて画像を更新してシェア（共有）する方法およびシステムとに関するものである。
フリップチャート、ホワイトボード、黒板及び他の物理的な書き込みボード（共有ボード）は、共同使用者の間でクリエイティブなインタラクションを促進するために使用されることがある。共有ボード（共同書き込み面）として言及されたこれらボードの情報を、クリエイティブなインタラクションを妨害せずに撮影し、撮影された情報が、同じ場所に位置しない使用者の間で、途切れなく自然に共有されることを可能にし、続いてアクセスされ再実行されるインタラクションの記録を引き起こす、装置、方法、システムが望まれている。
特開２００１−４３４５８号公報（公開日：平成１３年２月１６日）
共有ボードを備えるシステムでは、共有ボードの前に遮蔽物が出現すると、書き込み内容の一部が遮蔽された状態で共有ボードの撮像画像が各共同作業者の表示装置へ送信されることになり、一部の共同作業者は、遮蔽された書き込み内容を視認できず不便であるという問題が生じていた。
本発明は、以上の問題に鑑みてなされたものであり、共有ボードを備えるシステムにおいて、遮蔽物に遮蔽された書き込み内容を視認できないという不便を解消することを目的とする。
上記の課題を解決するために、本発明は、共有ボードを撮像して、当該撮像により得られた画像を処理して表示する画像表示方法であって、上記撮像にて得られた画像の現フレームと、上記撮像にて得られた画像の以前のフレームである基準フレームとに基づいて、基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成する第１工程と、上記共有ボードの状態を示す活性度を決定する第２工程と、上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を表示する第３工程とを含み、上記第３工程では、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする。
また、本発明は、共有ボードと、上記共有ボードを撮像した撮像画像を取得する撮像装置と、上記撮像画像を処理して処理後の画像を表示装置に供給する処理部とを備え、上記処理部は、上記撮像画像の現フレームと、上記撮像画像の以前のフレームである基準フレームとに基づき、上記基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成するマスク生成部と、上記共有ボードの状態を示す活性度を決定する活性度決定部と、上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を上記表示装置に供給する合成部とを備え、上記合成部は、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする。
本発明の方法または構成によれば、共有ボードに書き込まれている内容を撮像して、複数の表示装置に送信しているようなシステムにおいて、共有ボードの前に遮蔽物が出現して書き込み内容の一部が遮蔽された状態で撮像されはじめたとしても、以前のフレームから遮蔽されている内容を抽出して、現時点にて表示される画像に当該内容を反映させることができる。これにより、共有ボードの各利用者によって、遮蔽された書き込み内容を視認できないという不便を解消できるという効果を奏する。
また、本発明の共有ボードシステムにおいて、上記活性度決定部は、上記遮蔽物マスクにて特定される遮蔽物について、時間経過に伴う変化を追跡する遮蔽物追跡部であり、上記マスク生成部は一定期間毎に上記遮蔽物マスクを生成し、上記遮蔽物追跡部は、一定期間毎に得られる遮蔽物マスクに対してフィルタ処理を実行するフィルタ処理実行部と、上記一定時間毎に得られる各遮蔽物マスクに基づいて、上記遮蔽物の動きの方向と、上記遮蔽物の動きの大きさとを見積もる見積部と、上記遮蔽物の動きの方向と大きさとに基づいて上記活性度を決定する決定部とを備えてもよい。
また、本発明の共有ボードシステムは、上記処理部における処理よりも前段の処理として、撮像画像に対して遠近歪みを除く補正を施す画像整形部を備えてもよい。さらに、本発明の共有ボードシステムは、上記処理部における処理よりも前段の処理として、上記撮像画像に対してデモザイク処理を施すデモザイク処理部を備えてもよい。
また、本発明の共有ボードシステムは、上記合成にて得られる画像をエンハンスする画像エンハンス部を備えてもよい。
また、本発明の共有ボードシステムにおいて、上記合成部は、上記合成にて得られる画像に、上記遮蔽物を半透明体として反映させるようになっていてもよい。また、本発明の共有ボードシステムにおいて、上記合成部は、上記合成にて得られる画像に、上記遮蔽物を輪郭のみ反映させるようになっていてもよい。
本発明によれば、共有ボードの各利用者によって、遮蔽された書き込み内容を視認できないという不便を解消できるという効果を奏する。
本発明のいくつかの実施形態に係る共有ボードシステムであり、共有ボード（共同書き込み面）と、撮影システムと、演算システムと、撮影システムおよび演算システムと結ぶ通信リンクとを備えたシステムを示す図である。 （ａ）は、共有ボードを撮影したカメラの視界の画像を示した写真である。（ｂ）は、共有ボードに関係するカメラのオフ軸配置によって導入された遠近歪み除去後の、共有ボードの外観を示す修正画像の写真である。 本発明の実施形態に係る共有ボードの画像であり、遮蔽物によって部分的に遮蔽されている共有ボードの画像を示す図である。 本発明の実施形態に係る共有ボードの画像であり、あるシーンの遮蔽物が半透明体として映し出された図であり、これにより画像において以前の内容（遮蔽物に覆われた書き込み内容）が可視化される。 本発明のいくつかの実施形態に係る共有ボードの画像であり、あるシーンの遮蔽物が輪郭（輪郭のみのシルエット）として映し出された図であり、これにより画像において以前の内容（遮蔽物に覆われた書き込み内容）が可視化される。 本発明のいくつかの実施形態に係るものであり、仮想透明撮像制御部を備えた共有ボードシステムを示す図である。 本発明のいくつかの実施形態に係るものであり、仮想透明撮像制御部を示す図である。 本発明のいくつかの実施形態に係るものであり、遮蔽物追跡部の形態を示すチャートである。 本発明のいくつかの実施形態に係るものであり、マーク履歴メモリ更新部を示す図である。 差分画像に関する典型的なブロックの集合を示す図である。 遮蔽の検知および非遮蔽の検知手法を示すフローチャートである。 セグメンテーションマップ（遮蔽物マスク）に基づいて、遮蔽物の大きさ、動きの変化を求める際の注目ブロックと探索範囲とを説明するための図である。 セグメンテーションマップ（遮蔽物マスク）に基づいて、遮蔽物の大きさ、動きの変化を求める際に算出される距離ｒを説明するための図である。
以下、本発明の実施形態について、図を参照して説明する。全般に渡って同じ部材には同じ番号を付す。上記で列挙した図は、明細書の細部の一部である。
ここで概して記載され且つ図示される本発明の構成要素は、アレンジでき、幅広く種々な異なる構造に設計できるということを、容易に理解できる。つまり、以下に記述する実施形態は、本発明の具体的な一例に過ぎず、本発明はこれらによって何ら制限されるものではない。
本発明の実施形態の構成要素は、ハードウェア、ファームウェア及び／またはソフトウェアで実現してもよい。ここで開示される典型的な実施形態は、これらの種類のうち１つのみを記述しているが、当業者であれば、本発明から逸脱しない範囲において、これらの種類のうち全ての構成要素を達成できることは、理解できる。
フリップチャート、白板、黒板及び他の物理的な書き込みボードは、共同使用者の間のクリエイティブなインタラクションを促進するために使用される。クリエイティブなインタラクションを妨害せずに、共有ボードとして言及されたこれらボード上の情報を撮影し、撮影された情報が、同じ場所にいない使用者の間で、途切れなく自然に共有されることを可能にし、続いてアクセスされ再び行われるインタラクションを記録できる、方法とシステムが望まれている。
本発明のいくつかの実施形態は、共有ボード（書き込まれた共有ボード）の画像を形成する方法を含む。ここで述べる実施形態のように前記方法は演算装置にて実行されるようになっていてもよい。本発明の実施形態は、共有ボート上の情報を撮影し、共有し、記録するための方法とシステムを含む。共有ボートとして、例えば、フリップチャート、白板、黒板及び他の物理的な書き込みボードが挙げられる。
本発明のいくつかの実施形態は、図１に示される共有ボードシステム１００を含む。同図に示すように、共有ボードシステム１００は、共有ボード（協働ボード）１０４を撮影可能なように当該共有ボード１０４に向くように設置される撮像装置１０２を含む。撮像装置１０２は、ビデオカメラあるいは他の画像撮影システムであってもよい。本発明の実施形態では、撮像装置１０２によって、カラーの画像データが撮影されてもよい。本発明の他の実施形態では、撮像装置１０２によって、白黒画像が撮影されてもよい。撮像装置１０２は、ホスト演算システム１０６に通信可能に繋がっている。ホスト演算システム１０６は、単一の演算装置（コンピュータ）であってもよいし、複数の演算装置を含む構成であってもよい。本発明の実施形態において、ホスト演算システム１０６が複数の演算装置を含む場合、複数の演算装置は、同じ場所に設置されていてもよいし、装置毎に異なる場所に設置されていてもよい。
撮像装置１０２とホスト演算システム１０６とは、図１に示すように、有線あるいは無線の通信リンク１０８にて接続されている。
本発明のいくつかの実施形態では、撮像装置１０２は、共同使用者の視界において共有ボードが遮られる事が最小限となるように、共有ボード１０４に対してレンズの光軸が垂直にならないような地点（オフアクシスビューポイント）に設置される。
撮像装置１０２は共有ボード１０４の画像の画像データを得ることできる。本発明の実施形態では、画像データは、一部が撮像装置１０２のプロセッサによって処理され、一部がホスト演算システム１０６によって処理されてもよい。他の実施形態では、画像データは、全部がホスト演算システム１０６によって処理されてもよい。
本発明の実施形態では、撮像装置１０２にて得られた未加工データ（センサから出力されたデータ）は、デモザイク処理（de-mosaic)が施され、描画処理（レンダリング）に用いられる。デモザイク処理は、カメラのフィルタ配列によって得られる互いに不一致の複数サンプルから、互いに一致する三色の出力データを再現する処理である。本発明の実施形態は、撮像装置１０２にバイエルフィルタ配列を備える構成であってもよく、また、バイエルフィルタ配列から得られた色データに対してデモザイク処理を施す公知の方法およびシステムを含んでもよい。撮像装置１０２のセンサ配列が非バイエルフィルタ配列である場合、公知の他のデモザイク処理を実行する方法及びシステムが用いられてもよい。
本発明の実施形態では、共有ボードシステム１００は、描画処理された画像（画像データ）において、撮像装置１０２と共有ボード１０４との相対的な位置関係により生じる遠近感歪みを除去する画像整形部を含んでいてもよい。図２（ａ）は、典型的なカメラの視界の画像２００を示し、図２（ｂ）は、画像２００に対応しており、遠近感歪みを除去するための幾何学的変形を行った後の画像２０２を示す図である。
共有ボードを用いて共同会議を行う共同使用者が共有ボードの内容（書き込み内容）を変更するとき、その共同使用者が共有ボードの内容（書き込み内容）を変更している間のうちの一部期間または全期間において、その共同使用者が共有ボードの一部を視界から遮蔽することがある。この期間、前記の共同使用者のことを、遮蔽物、行為者、筆記者（書いている人）といってもよい。共同会議の期間中、遮蔽物による共有ボードの閉塞を効果的且つ最小限に抑制することは、共有ボード撮像システムにとって望ましい。例えば、図３は、”Abcdefghij”を示す４つの文字列３０４〜３０７が示されている共有ボード３０２の画像３００を示す図である。この画像３００の共有ボード３０２においては、共有ボード３０２の内容を変更できる共同使用者（遮蔽物３０８）によって３つの文字列３０５〜３０７が部分的に遮蔽されている。したがって、その間、もしくは、その間の一部において、共有ボード３０２の一部が共同使用者（別の共同使用者）にとって見えなくなるかもしれない。
本発明の実施形態によれば、共有ボードの領域が遮蔽物に遮蔽されている間、当該領域の内容は以前に映し出された時から現在まで維持されているとみなされ、当該領域の内容が映し出される（表示される）。これにより、前記の領域の内容は共同使用者にとって容易に見え且つ容易に理解できる。本発明の実施形態によれば、遮蔽物を、少なくとも半透明体（at least partially, transparent）として映し出せ（表示でき）、前に映し出した前記領域の内容を可視化できる。なお、半透明とは、透き通った状態という意味であり、透明の程度が半分（例えば透過率５０％）に限定される意味ではない。図４は、”Abcdefghij”を示す４つの文字列４０４〜４０７が示されている共有ボード４０２の画像４００を示す図である。画像４００の３つの文字列４０５〜４０７は、共有ボード４０２の内容を変更できる共同使用者（遮蔽物４０８）によって部分的に遮蔽されている。図４の画像４００において、現在まで維持されている内容（遮蔽物に隠されている可能性のある書き込み）が可視化されるように、遮蔽物は半透明領域４０８として映し出される。本発明の他の実施形態では、現在まで維持されている内容（遮蔽物に隠されている書き込み）が可視化されるように、遮蔽物を輪郭として映し出すことが可能である（輪郭のみ映し出す）。当該他の実施形態については図５から理解できる。図５は、”Abcdefghij”を示す４つの文字列５０４〜５０７が示されている共有ボード５０２の画像５００を示す図である。この画像５００において、３つの文字列５０５〜５０７は、共有ボード５０２の内容を変更できる共同使用者（遮蔽物５０８）によって部分的に遮蔽されている。本発明の実施形態によれば、遮蔽物は、現在持続している内容が可視化されるように輪郭（輪郭線のみ）として画像化される。
本発明の実施形態は、共有ボート上の情報を撮影し、共有し、記録するための方法とシステムを含み、遮蔽物によって遮蔽されている期間中において、現時点まで維持されている内容（共有ボートに書き込まれており、ある視界においては遮蔽物に遮蔽されている内容）を共同使用者が視認できるようにするものである。共有ボードとしては、例えば、フリップチャート、白板、黒板、用紙、他の物理的な書き込みボードのいずれであってもよい。
本発明の実施形態は図６より理解できる。図６に示すように、共有ボードシステム６００は、仮想透過撮像制御部（ＶＴ撮像制御部）６０２を備える。ＶＴ撮像制御部６０２は、撮像装置６０４と通信可能に接続され、撮像装置６０４によって供給される映像ストリームの分析および処理を行う。撮像装置６０４は、共有ボード６０６に向くことが可能であり（共有ボード６０６をカメラ視界に含ませて共有ボード６０６を撮像できる）、この共有ボード６０６に関する映像ストリーム（共有ボード６０６を示す映像）を供給する。撮像装置６０４とＶＴ撮像制御部６０２とは、図６の符号６０３に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。ＶＴ撮像制御部６０２は、他のシステム要素への放送媒体ストリームを制御して描画処理を行うために、映像ストリームを分析および処理するようになっている。例えば、ＶＴ撮像制御部６０２は、共同会議における共有ボードの書き込み内容の記録を保存する格納部（アーカイブ）６０８に通信可能に繋がっている。ＶＴ撮像制御部６０２と格納部６０８とは、図６の符号６０７に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。また、ＶＴ撮像制御部６０２は、ローカルディスプレイ６１０に加えて、リモートディスプレイ６１２、６１４、６１６と通信可能に繋がっている。ローカルディスプレイ６１０とＶＴ撮像制御部６０２とは、図６の符号６０９に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されていている。リモートディスプレイ６１２、６１４、６１６とＶＴ撮像制御部６０２とは、図６の符号６１１、６１３、６１５に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。以上の各ディスプレイは、テレビジョン、パソコン等のモニター、または消費者通信装置の表示部であってもよい（例えば、携帯電話、プロジェクター表示システム、他の表示装置、表示システムのいずれか）。また、撮像装置６０４は、例えば、ビデオカメラまたは他の画像撮影システムを備えていてもよい。ここで述べる実施形態に示されるように、ＶＴ撮像制御部６０２は演算装置もしくは演算システム（コンピュータ）にて実行されるものであってもよい。
ＶＴ撮像制御部６０２は共有ボード６０６の画像を生成する。また、ＶＴ撮像制御部６０２は、共同会議の程度・規模に応じて、ディスプレイ、格納部、他の画像処理部や格納部に対して、生成した画像を送る。
本発明の実施形態において、図７に示すように、ＶＴ撮像制御部６０２は、共有ボードを示す現画像フレーム（現フレームとも称す）７０４を受信する現フレーム受信部７０２を備える。本発明の実施形態において、ＶＴ撮像制御部６０２は、共有ボードに向いている撮像装置から直接的に現フレーム７０４を受信する。本発明の他の実施形態において、ＶＴ撮像制御部６０２は、撮像装置にて得られたデータ（センサから出力された未加工データ）に対して前処理を行うプリプロセッサ（不図示）から現フレームを受信するようになっていてもよい。前記の前処理としては、例えば、デモザイク処理、画像矯正処理、処理領域抽出処理（領域分離処理）、他の前処理が挙げられる。デモザイク処理は、カメラのフィルタ配列によって得られた不一致の複数サンプルから、一致する三色の出力データを再現する処理であってもよい。本発明の実施形態は、撮像装置１０２にバイエルフィルタ配列を備える構成であってもよく、また、バイエルフィルタ配列から得られた色データに対してデモザイク処理を施す公知の方法およびシステムを含んでもよい。撮像装置１０２のセンサ配列が非バイエルフィルタ配列である場合、公知の他のデモザイク処理を実行する方法及びシステムが用いられてもよい。さらに、本発明の実施形態は、撮像装置と共有ボードとの相対的な位置関係により生じる遠近感歪みを画像データから除去する画像整形部を含んでいてもよい。現フレーム受信部７０２は、前景オブジェクト分離部７０６、マーク履歴メモリ更新部７０８、仮想透明描画部７１０に対して、受信した現フレーム７０３を送ることにより、前景オブジェクト分離部７０６、マーク履歴メモリ更新部７０８、仮想透明描画部７１０において現フレーム７０３を利用可能にする。
前景オブジェクト分離部７０６は、受信した現フレーム７０３を処理して、セグメンテーションマップ７０７を生成する（前景オブジェクト分離処理）。なお、セグメンテーションマップ７０７とは、受信した現フレーム７０３に示される画像に関して、共有ボードに書き込まれた内容もしくは前景オブジェクト（遮蔽物）を示すラベルを領域毎（ブロック毎）に付したデータ（ラベル画像）であり、前景マスク（遮蔽物マスク）と称すこともできる。つまり、セグメンテーションマップとは、前景オブジェクトを示す箇所（ブロック）と、それ以外の箇所とを識別したデータである。当業者であれば、前記の前景オブジェクト分離処理を多数の周知技術によって実現可能である。例えば、フレームバイフレームによる動作推定技術、クロマキー分離技術、学習型書き込み面カラーモデリング技術（learned writing surface color-modeling based techniques)、アクティブ濃度センシング技術（active depth sensing）、他の分離処理が挙げられる。本発明の実施形態において、検出した部屋の明かりに伴って変化する適用的色背景モデルは前記の前景オブジェクション分離処理に用いることができる。セグメンテーションマップ７０７は、前景オブジェクト分離部７０６から遮蔽物追跡部７１２へ送られることで、遮蔽物追跡部７１２にて利用可能にされる。
セグメンテーションマップの生成手法を以下にて詳細に述べる。セグメンテーションマップ７０７は、米国特許出願12/636,533にて述べられている方法にて作成される。まず、前景オブジェクト分離部７０６は、現フレームよりも前のフレーム（ここでは前回フレーム）を基準フレームとして定め、下記の式（１）を用いて、画素毎に基準フレームと現フレームとの輝度値の差を求める。
fdiff= Lkey - Lcurr （１）
ここで、fdiff、Lkey、Lcurrは、輝度値の差、基準フレームの輝度成分、現フレームの輝度成分を表している。
つぎに、下記の式（２）を用いて２値遮蔽候補マスクを作成する。式（２）において、mdiffはマスクの値を示し、(i,j)は画素位置を示し、Toccはfdiffと比較される閾値である。つまり、２値遮蔽候補マスクは、画素毎にfdifを２値化して得られるマスクである。
Figure 2012064214
つぎに、２値遮蔽候補マスクを互いにオーバーラップしない複数のブロックに分割し、ブロック毎に、fdiffがToccを超える画素の数をブロック密度としてカウントする。つぎに、ブロック毎に、ブロック密度がTbden（ブロック密度閾値）を超えるか否かを判定する。
そして、ブロック密度がブロック密度閾値を超えるブロックを「変更ブロック」としてラベル付けする。
さらに、連続している「変更ブロック」の群（グループ）を遮蔽候補として検出する。つぎに、画像の境界に接触していない、連続している「変更ブロック」の群を遮蔽候補から除外する。また、画像の境界に接触しているが遮蔽物体としての大きさが十分ではない、連続している「変更ブロック」の群も遮蔽候補から除外する。前記の各除外の後、当該遮蔽候補に属する各画素を「１」として、それ以外の各画素を「０」としたマスクをセグメンテーションマップとする。
遮蔽物追跡部７１２は、セグメンテーションマップ７０７にて識別された前景オブジェクトの経時的変化（時間経過（over time）に伴う状態変化）を追跡し、共有ボードが遮蔽されたか否かを決定する。また、遮蔽物追跡部７１２は、シーンの活性度を決定し、前景オブジェクトのエラーを補正する。本発明の実施形態において、遮蔽物追跡部７１２は、前景の動きの軌跡と大きさとを見積もり、且つ、前記の見積もりの値を用いて、分離エラーに起因したジッタと、共有ボードに書き込みをしている筆記者（共同作業者）の動き（ジッタよりも体系的な動き）とを区別する。
本発明の実施形態において、図７および図８に示すように、遮蔽物追跡部７１２は、一定時間毎に、前景オブジェクト分離部７０６からセグメンテーションマップ７０７を受信する（Ｓ８００）。つまり、前景オブジェクト分離部７０６は一定時間毎にセグメンテーションマップ７０７を作成する。遮蔽物追跡部７１２は、前景領域においてノイズを除去するために、セグメンテーションマップ７０７にて特定された前景領域に対してフィルタ処理（component filtering）を実行する（Ｓ８０２）。本発明の実施形態において、十分に大きくなく且つ画像フレームの境界に隣接していない成分（要素,オブジェクト）については、非前景成分として再ラベリングされる。なお、本発明の実施形態において、セグメンテーションマップ７０７の作成手法（要素に対するラベル付け）は、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて実行可能である。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。本発明の実施形態において、画像フレームのサイズの２０％未満のサイズの成分（十分に大きくない成分）については、前景領域から除外され、ノイズ成分とみなされてもよい。
なお、セグメンテーションマップ７０７の作成手法に関する、米国特許出願12/636,533にて述べられている方法は、後述の[具体例]にて述べる。
Ｓ８０２のフィルタ処理の実行後、フィルタ処理後のセグメントマスク（遮蔽物マスクとみなしてもよい）の状況（状態）の経時的変化を保存（記録）する（Ｓ８０４）。具体的には、一定時間毎に得られる各セグメントマスクに基づいて、セグメントマスクの状況の経時的変化を示す遮蔽物動作履歴（または動作履歴画像）が作成・記録されることになる。具体的に、遮蔽物動作履歴は遮蔽物の動作の軌跡を示した情報である。本発明の実施形態において、遮蔽物マスクの状況の経時的変化を示す動作履歴画像（浮動小数点式の画像）の更新に、OpenCVのモーションテンプレート手法を用いることができる。保存された遮蔽物動作履歴を用いる動き差分評価部によって、包括的な動きの方向（global motion direction）が見積もられる（Ｓ８０６）。さらに、動き差分評価部は、シーン（場面）における変化量を算出する（Ｓ８０８）。本発明の実施形態において、前記の変化量は、包括的な動きのベクトルの大きさである。前景要素毎に領域の統計データが算出される（Ｓ８１０）。本発明の実施形態において、領域の統計データは、色差の統計量、または、成分（オブジェクト）の大きさの統計量であってもよい。遮蔽物追跡部は、包括的な動きの方向と大きさとシーンの変化量と領域の統計データとに基づいて、前景オブジェクトによって共有ボードが遮蔽されているか否かを決定し、且つ、シーンの活性度が静的（static）および動的（active）のいずれであるかを決定する（Ｓ８１２）。本発明の実施形態において、オブジェクトの軌跡は、複数の遮蔽物の状態のうちのいずれの状態であるかを識別するために用いられる。例えば、”静止状態”、”出状態”、”入状態”、”書込状態”のいずれかに識別される。”静止状態”とは、遮蔽オブジェクト（遮蔽物を示すオブジェクト）がほぼ移動していない状態である。”出状態”とは、遮蔽オブジェクトの動きの軌跡がシーンから退出する方向を示している状態である。”入状態”とは、遮蔽オブジェクトの動きの軌跡がシーンへ入る方向を示している状態である。”書込状態”とは、遮蔽オブジェクト（例えば人の手）が上下方向に対する揺れと左右方向に対する僅かな移動を伴いつつもほぼ静止している状態であり、ボードに対してラテン文字を記入しているような状況を示す。さらに、本発明の実施形態は、前記の”書込状態”とは異なる”描画状態”を備えていてもよい。前記の”描画状態”は、”書込状態”と比較して、遮蔽オブジェクトの動きの軌跡が大きく、不規則な動きの軌跡がより多い状態である。遮蔽物追跡部７１２の出力は、マーク履歴メモリ更新部７０８、仮想透明描画部７１０、撮像制御部７１６にて利用可能とされてもよい。
本発明の実施形態において、図７および図９に示されるように、マーク履歴メモリ更新部７０８は、共有ボードに書き込まれている内容の記録の格納（保存）および更新を行い、現時点において観測できない以前の内容の描画処理を行うことを可能にする。マーク履歴メモリは、仮想透過描画処理およびストリーム処理を制御するためのものである。
マーク履歴メモリ更新部７０８は、図９に示すように、エッジ検出部９０４、エッジ選択部９０６、マーク履歴メモリ９０８に対する更新処理を選択的にトリガーする更新制御部９０２を備える。更新制御部９０２は、不活性（非活動）の期間の不必要な処理を避けるために用いられ、且つ、マーク履歴メモリの更新方法の決定に用いられる。更新制御部９０２は、遮蔽物追跡部７１２から、活性度を示す活性度情報９１０と、遮蔽物制御情報９１２とを受信する。また、更新制御部９０２は、シーンの状態を決定してもよい（例えば、シーンが静的状態か、活性状態か、若しくは不活性状態かを決定する）。また、更新制御部９０２は、同様に、シーンの状態遷移を検出してもよい（例えば、活性状態から不活性状態への遷移、不活性状態から活性状態への遷移、遮蔽状態から非遮蔽状態への遷移、非遮蔽状態から遮蔽状態への遷移、他の状態遷移）。本発明の実施形態において、シーンの状態の決定、および、シーンの状態遷移の検出は、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて実行される。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。更新制御部９０２は、シーンの状態もしくは状態遷移に基づいて、内部処理と後続処理とを制御する。本発明の実施形態において、シーンが活性状態であること、若しくは、活性状態から静的状態への遷移を更新制御部９０２が決定した場合、エッジ検出部９０４に制御信号が送られる。
エッジ検出部９０４は、更新制御部９０２から制御信号を受け取るとエッジ検出処理を実行する。エッジ検出部９０４は、エッジマップ（エッジマスクと称してもよい）９０５を作成する。本発明の実施形態において、エッジ検出処理は定期的（所定時間毎）に実行される（例えば、活性状態の間のＮフレーム毎またはＴ秒毎）。好ましくは、エッジマップは０．５秒毎に作成される。
本発明の実施形態において、エッジ検出部９０４は、ソーベル演算子（差分演算子）による処理、および、２値化処理を行う。この２値化処理では、画像に依存するシーンの統計データに基づいて設定された閾値が用いられる。背景画素の値の差分の変化量は、概ね、ガウス型（ガウス分布）に従ったものとなり、表面マークが存在すると外れ値が生じることがある。ガウスモデルは、まず分布からの外れ値を除外し、次に残りの値からモデルのパラメータを見積もることによって算出される。２値化処理の閾値は、見積もられた平均からの偏差の倍数として設定される。２値化処理は、ソーベル演算子の演算結果に適用されてもよい。別の実施形態では他の差分演算子が用いられてもよい。
エッジ選択部９０６は、遮蔽オブジェクトに起因して生じるエッジを排除するために、前景マスク７０７とエッジマップ９０５と融合させる処理を行う。
マーク履歴メモリ９０８は、現在可視化されているエッジの状態を、前のエッジの状態に重ねる処理を行う。共有ボードから内容（書き込む内容）が追加または除去される時、これら変化（追加・除去）を反映させるためにマーク履歴メモリが更新され、変化の程度および種類を示すためにコンテント制御情報９２０が他のモジュールに引き渡される。本発明の一実施形態において、マーク履歴メモリ９０８は、前回のメモリとエッジ選択部９０６の結果との論理演算（ＯＲ演算）によって更新される。マーク履歴メモリ９０８は、消去され無効化されたエッジの情報が満たされる。マーク履歴メモリ９０８において、無効情報を減少させるために、本発明の実施形態においては、不活性期間中に、無効情報を減少させる措置が実行される。本発明の他の実施形態において、マーク履歴メモリ９０８に記憶されている情報は、システムに確認された後、時期の制限が対応付けられる。本発明の実施形態において、前景オブジェクトによって遮蔽されていない領域は定期的に検証される必要がある一方、遮蔽されている領域は、遮蔽物がなくなる後まで、以前からのマークを維持しており、遮蔽物がなくなった後に検証が実行される。本発明の実施形態において、マークの位置はデフォルト値にリセットされる。つぎに、以後のフレームにおいて非遮蔽位置がマークを含まなかった場合、マーク履歴メモリが当該位置においてマークを記録しなくなるまで当該値を減少させる。これら実施形態において、マーク履歴メモリ９０８からマークを消去する前に、いくつかの承認状態の要求によってノイズ検出が可能になる。
描画制御情報９１８、受信した現フレーム７０３、以前の結果を示す前結果情報（以前のフレームである基準フレーム）７１５、遮蔽物制御情報７１３、および、コンテント制御情報９２０は、仮想透明描画部７１０にて利用可能にされる。仮想透明描画部７１０は、受信した現フレーム７０３を、前回結果（前フレーム）に合成する（融合または重ね合わせる）。本発明の実施形態において、仮想透明描画部７１０は、遮蔽物（前景オブジェクト）が透明物若しくは半透明物として描画され、共有ボードを示す画像を作成する。そして、現フレームにおける遮蔽部分は、前回結果画像（前回のフレーム）の対応箇所（前記遮蔽部分に対応する箇所）に基づいて描画が行われる。また、本発明の実施形態において、仮想透明描画部７１０は、遮蔽物（前景オブジェクト）が輪郭（輪郭線のみ）として描画され、共有ボードを示す画像を作成する。そして、現フレームにおける遮蔽部分は、前回結果画像（前回のフレーム）の対応箇所（前記遮蔽部分に対応する箇所）に基づいて描画が行われる。新たな内容（書き込み）の追加がない期間、若しくは、現在の内容（書き込み）が共有ボードから除かれない期間である不活性の期間中、現フレームと前フレーム（１以上の前フレーム）とから得られる情報の合成が不要であるため、仮想透明描画部７１０は活性でない。活性の期間中、仮想透明描画部７１０は、以前の結果若しくは現フレームから画素を選択するためのブレンドマスク（合成マスク）を用いる。ブレンドマスクは、前景オブジェルトマスクおよびマスク履歴メモリの値に基づいて、割り出される。ブレンドマスクは、遮蔽されていないマーカーの位置の場合は現フレームから選択される画素位置の値を示し、遮蔽されている領域若しくはマークされていない位置の場合は前結果から選択される画素位置の値が示されるように形成される。本発明の実施形態において、現フレームと前回結果とは、アルファブレンド手法（アルファ合成）を用いて合成される。本発明の実施形態において、前結果は、新たなフレームからのパラメータへとゆっくりと変化する。本発明の実施形態において、ブレンド強度（合成強度）は、位置の確度値に応じて調整される。位置に関する確度値は、エッジ位置がマークを含んでいる確度、または、その位置が前景オブジェクトとして誤ってラベリングされる確度を反映した値である。仮想透明描画部７１０は、合成画像７１１を前結果メモリ７１４へ書き込む。
本発明の他の実施形態において、描画化された画像７１１は、画像処理方法およびシステムを用いて画質改善（エンハンス）される。本発明の実施形態において、共有ボードの照明の変化量（variation）は規格化され、照明のカラーバランスは補正されている。本発明の実施形態では、共有ボードの画像のマークの可読性を高める鮮鋭化フィルタが備えられる。本発明の実施形態において、仮想透明描画部７１０は、画質改善（エンハンスメント）機能を備えてもよい。本発明の他の実施形態（不図示）において、仮想透明描画部の結果は画質改善部にて利用可能になっていてもよい。画質改善部は、画質改善された結果画像を前結果メモリにて利用可能にするためのものである。
撮像制御部７１６は、仮想透明処理の結果を他のシステムへ送信（broadcast）し、経路指定するための論理制御を行うようになっていてもよい。ストリーム制御情報７１７は、新たな情報が表示装置にて利用可能であることを示すために、共有ボードの表示システムへ送信される。ストリーム制御情報７１７は、共有ボードの内容（書き込み内容）の記録の大きな変化を保存するために、システムの格モジュールへ送信される。あるいは、対象となる領域（regions-of-interest）、関係者、識別情報、意味付けされた情報、他の共同会議の情報を示すために、ストリーム制御情報７１７によって、共同会議に関するメタデータを引き渡すようになっていてもよい。本発明の実施形態において、メタデータは、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて識別される。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。
[具体例]
セグメンテーションマップ７０７の作成、成分に対するラベリング、前記の再ラベリングについては米国特許出願12/636,533にて述べられている方法を用いることができる。以下では当該方法について述べる。
遮蔽物の検知は、現フレームと、遮蔽されていないことが知られている基準フレームとの比較を含んでもよい。基準フレームは、共有ボードシステムが初めて起動され、遮蔽／非遮蔽イベントの組み合わせが発生した後に、続いて更新されるときに、初期化されてもよい。
典型的な実施形態では、キー画像として参照もされる基準フレームの輝度成分と、現フレームの輝度成分との差（差分）は、次の式（１）によって決定されてもよい。
fdiff= Lkey - Lcurr （１）
ここで、fdiff、Lkey、Lcurrは、輝度値の差、基準フレームの輝度成分、現フレームの輝度成分を表している。いくつかの実施形態では、輝度成分は、次の式（３）により、ＲＧＢ（赤緑青）画像に対して算出されてもよい。
L(・) = 0.375R(・) + 0.5G(・) + 0.125B(・) （３）
ここで、L(・)、0.375R(・)、0.5G(・)、0.125B(・)は、それぞれ、画像の、輝度成分、赤成分、緑成分、青成分を表している。他の実施形態では、輝度成分は、次の式（４）により、ＲＧＢ画像に対して算出されてもよい。
L(・) = 0.3R(・) + 0.6G(・) + 0.1B(・) （４）
例えば、白板あるいはフリップチャートといった明るい背景色の共有ボードについては、遮蔽する物体は、ボード表面より暗く見えることがある。より暗い背景色の共有ボードの場合、遮蔽する物体は、ボード表面より明るく見えることがある。共有ボードの背景色はシステムの初期化で決定されてもよい。後述の典型的な実施形態では、明るい色の背景を有する共有ボードについて記述する。これは単なる例であり、発明を制限するものではない。
明るい色の背景の共有ボードを含む典型的な実施形態では、マイナスの値fdiffのピクセルは、現行画像が基準画像よりも明るく見える場所による場合もあり、また、これらのピクセルは遮蔽の検知においては、無視してもよい。さらに、差の信号であるfdiffは、画像システム中のノイズ、光の様々な状態、及び他の要素に起因する、見せ掛けのコンテンツを含んでいる場合がある。ピクセルの位置における、差の信号であるfdiffの大きさは、その位置における変化の有意性として表せる。従って、fdiffの小さなプラスの値は、遮蔽の検知の段階における更なる処理のために除去されてもよい。いくつかの実施形態では、fdiffのピクセル値は、ピクセルの位置が遮蔽候補に関するかを決定するために、Toccで表される差分閾値と比較されてもよい。位置の２値のマスクは次の式（２）によって形成さてもよい。
Figure 2012064214
ここでmdiffは、マスクを表し、(i,j)は、ピクセル位置を表す。
マスクmdiffはオーバーラップしないブロックに分割される。そして、差分閾値Toccを越える、各ブロックにおけるピクセルの数が、数えられる。Tbdenで表されるブロック密度閾値を越えるブロックがカウントされると、次に、そのブロックは、「変更された」ブロックとしておそらくマークされる。画像の境界に接する連続した「変更された」ブロックラベルは、共有ボードと遮蔽する物体（遮蔽物体）として、まとめてラベルされる。画像の境界に接しない「変更された」ブロックは、ノイズあるいはコンテンツの変更を表わしており、これら「変更された」ブロックは無視される。遮蔽物体のサイズ（大きさ）がTobjsizeで表されるサイズ閾値を越える場合、遮蔽されていることを示す事象（遮蔽イベント）が検知される。
図１０は、差分画像に関する典型的なブロック９０の集合を示している。白いブロックは、「変更された」ブロックとしてブロックをマークするための、差分閾値を越える十分な数のマスク・ピクセルが、無いブロックを表わす。白くないピクセルの４つのグループ９２、９４、９６、９８は、それぞれ「変更された」ブロックを示す。最も暗い色のグループ９４は、このグループの連続するブロックが画像の境界に接していないので、遮蔽物体としては考慮されない。ハッチングされたブロック９６，９８は、遮蔽物体の候補として考慮されるが、これらのサイズがサイズ閾値未満であるので、遮蔽イベントを引き起こさない。灰色のグループ９２は、そのサイズ及び画像の境界への接していることに基づいて、遮蔽物体として考慮され、遮蔽イベントを引き起こす。これらは例示である。
本発明の典型的な実施形態では、例えば、ブロックのサイズは８０×８０ピクセルであってもよい。
８ビットの輝度値を含む本発明の典型的な実施形態では、差分閾値Toccは１５であってもよい。
本発明の典型的な実施形態では、ブロック密度閾値Tbdenはブロック中のピクセル数の５０％であってもよい。これらの実施形態では、ブロック中のピクセルの少なくとも５０％が差分閾値Toccを越える場合、ブロックは「変更された」ブロックとしてラベルされる。
本発明の典型的な実施形態では、遮蔽物体が少なくとも３０のブロックから成る場合、遮蔽イベントが発生してもよい。
その後の画像が、十分なサイズで画像の境界に接して置かれる遮蔽物体を含んでいる限り、遮蔽イベントは検知され維持される。これらのその後の画像は、内容変更のための保存や分析がされなくてもよい。検知された遮蔽イベントがないために一旦その後の画像を受信すると、画像は新しい内容を検知するための分析がなされる。
本発明のいくつかの実施形態では、非遮蔽の検知は、非遮蔽イベントと共に、遮蔽の検知と同じプロセスを含んでもよい。非遮蔽イベントは、遮蔽物体が検出されないとき、あるいは、遮蔽イベントを引き起こす十分な大きさの遮蔽物体がないとき、引き起こされる。
本発明の実施形態に関する遮蔽の検知及び非遮蔽の検知の典型的な例は、図１１を用いて説明することができる。これらの典型的な実施形態では、まず、キー（鍵）画像（基準フレーム）の輝度Lkeyを受信する（Ｓ１００）。そして、現行画像（現フレーム）の輝度Lcurrを受信する（Ｓ１０２）。そして、輝度の差分fdiffを、以下の式（１）で算出する（Ｓ１０４）。
fdiff= Lkey - Lcurr （１）
２値遮蔽候補マスクmdiffを、以下の式（２）で形成する（Ｓ１０６）。
Figure 2012064214
そして、２値遮蔽候補マスクから遮蔽候補ブロックを検出する（Ｓ１０８）。具体的には、２値遮蔽候補マスクを、互いにオーバーラップしない複数のブロックに分割する。各ブロックは複数画素からなる。そして、差分閾値Toccを越えるピクセル数がブロック密度閾値Tbdenを超えるブロックを遮蔽候補ブロック（「変更されたブロック」）として検出してラベリングする（マークする）。さらに、連続する遮蔽候補ブロックを検知する（Ｓ１１０）。画像の境界に接しない連続する遮蔽候補ブロック（「変更されたブロック」）を、遮蔽候補から除去する（Ｓ１１２）。つまり、画像の境界に接しない連続する、変更されたブロックを、遮蔽候補ブロックとして扱わなくなる。また、画像に接しているが遮蔽物体としての大きさが十分ではない遮蔽候補ブロックを、遮蔽候補から除去する（Ｓ１１４）。つまり、画像の境界に接しているが遮蔽物体としての大きさが十分ではない遮蔽候補ブロックを、遮蔽候補ブロックとして扱わなくなる。
Ｓ１１２の位置及びＳ１１４サイズに基づく除去の後、遮蔽候補ブロックが残っておらず（Ｓ１１７）、そして、非遮蔽の検知が実行されると（Ｓ１１９）、非遮蔽イベントが発せられる（Ｓ１２０）。Ｓ１１２の位置及びＳ１１４サイズに基づく除去の後、遮蔽候補ブロックが残っており（Ｓ１２１）、そして、遮蔽の検知が実行されると（Ｓ１２３）、遮蔽イベントが発せられる（Ｓ１２４）。そうでなければ、現行の非遮蔽／遮蔽の状態が、維持される。
そして、遮蔽候補ブロックが残っている場合、遮蔽候補ブロックを遮蔽物として扱い、遮蔽候補ブロックの画素を「１」、それ以外の位置を「０」で示したセグメンテーションマップ７０７が作成されることになる。これに対し、遮蔽候補ブロックが残っていない場合、全ての画素を「０」としたセグメンテーションマップ７０７が作成される。
[遮蔽物追跡部について]
以下では、遮蔽物追跡部７１２における遮蔽物の動きの方向と遮蔽物の動きの大きさを見積もる方法をより詳細に説明する。
本実施例の遮蔽物追跡部７１２は、下記の動きベクトル算出処理と活性度判定処理とを行うようになっている。
（動きベクトル算出処理）
遮蔽物追跡部７１２は、現フレームｆｎ（現在の撮像画像）から得られたセグメンテーションマップ（遮蔽物マスク）を、８０×８０画素のブロックに分割し、分割されたブロック毎に、ブロックマッチングを行うことにより動きベクトルを求めるようになっている。ブロックのサイズは上記に限定されるものではなく、遮蔽物を適切に検出できるサイズであればどのようなサイズであっても構わない。
以下、前記のブロックマッチングについて説明する。まず、遮蔽物追跡部７１２は、図１２に示すように、現フレームｆｎのセグメンテーションマップにおいて、分割された各ブロックのうちの一つのブロックを注目ブロックとする。
つぎに、遮蔽物追跡部７１２は、前フレームｆｎー１（現フレームｆｎが撮影される一定期間前に撮影され、現フレームｆｎの一つ前のフレーム）において注目ブロックよりも広い範囲を探索範囲として設定する（図１２参照）。なお、前フレームｆｎ−１の全エリアを探索範囲としてもよいし、処理時間短縮のために、探索範囲を、前フレームｆｎ−１の全エリアの一部に制限してもよい（図１２参照）。
そして、遮蔽物追跡部７１２は、探索範囲内において注目ブロック（８０×８０画素）をＸ方向（水平方向）およびＹ方向（垂直方向）に移動させながら、注目ブロックと同じ特性を持っている比較対象ブロックの有無を探索する探索処理を行う。
つまり、この探索処理では、前フレームｆｎー１において、現フレームｆｎの注目ブロックの画像部分と同じ画像部分のある位置を探索するようになっている。具体的に、遮蔽物追跡部７１２は、探索範囲において比較対照ブロックを移動させる度に、現フレームｆｎにおける注目ブロックに対応する箇所の各画素の濃度値と前フレームｆｎー１における比較対象ブロックに対応する箇所の各画素の濃度値（画素値）との差分の合計ｖを求める。この合計ｖは、下記の式（６）によって求めることができる。なお、濃度値としては、例えば、赤色濃度値と青色濃度値と緑色濃度値との平均値または加重平均値が挙げられる。あるいは、濃度値の代わりに上記した輝度（輝度成分）を用いても良い。
Figure 2012064214
式（６）において、ｆｎ（ｉ，ｊ）は、注目ブロックの座標（ｉ，ｊ）に位置する画素の濃度値である。ｆｎー１（ｉ＋ｄｘ，ｊ＋ｄｙ）は、比較対象ブロックにおいて、前記注目ブロックの座標（ｉ，ｊ）に対応する座標（ｉ＋ｄｘ，ｊ＋ｄｙ）の画素の濃度値である。
遮蔽物追跡部７１２は、探索範囲内の全ての比較対象ブロックの各々について合計ｖを求め、求めた合計ｖの中の最小値を濃度パラメータとする。さらに、遮蔽物追跡部７１２は、当該最小値の算出に用いられた注目ブロックの画素の座標（ｉ，ｊ）と比較対象ブロックの画素の座標（ｉ＋ｄｘ，ｊ＋ｄｙ）との距離ｒ（図１３参照）を求め、求めた距離を距離パラメータとする。但し、この場合、現フレームを基準にして方向を求めているので、求めた方向のマイナス方向を動きの方向とする。
このようにして、遮蔽物追跡部７１２は、一つの注目ブロックについて、濃度パラメータ（遮蔽物の動きの大きさ）および距離パラメータ（遮蔽物の動きの方向）を求め、求めた濃度パラメータと距離パラメータとのセットを動きベクトルとしている。そして、活性度出力部は、現フレームｆｎに設定される注目ブロック毎に前記の動きベクトルを求めるようになっている。以上では、現フレームに注目ブロックを設定して動きベクトルを求めているが、前フレームに注目ブロックを設定し動きベクトルを求めるようにしても良い。
（活性度判定処理）
共有ボード１０４が遮蔽物により遮蔽された際、一つ前の時間に取り込まれた映像（前フレーム）には同じ対象物（遮蔽物）が存在しないため、前記の濃度パラメータは大きな値になる（最大値は１６３２０００（１画素の最大輝度差２５５×画素数６４００））。これに対し、一定時間の経過後において、遮蔽物が同じ位置に存在する場合、前記濃度パラメータはほぼゼロになる。あるいは、遮蔽物に動きがある場合、前記濃度パラメータは遮蔽物の動きに応じた値となる。遮蔽物の動きが大きければ大きな値となり、小さければ小さい値となる。
つまり、注目ブロック毎に、濃度パラメータに対して複数の閾値を設定して閾値処理を行うとともに、遮蔽物（或いは遮蔽候補）の画素数に関する下記の条件に基づいて、遮蔽物の状態（共有ボードの状態）を下記の（１１）〜（１５）のように識別する。
（１１）濃度パラメータが閾値Ａ以上であり、「遮蔽物を表す画素数が小さな値（ゼロに近い値）から大きな値に変化する」という条件Ａを充たす注目ブロックの割合が閾値Ｎ以上のとき、入状態と判定する。
（１２）濃度パラメータが閾値Ｂ未満であり、「遮蔽物を表す画素数が注目ブロックと当該注目ブロックに対応する比較対象ブロックとで共に大きな値である」という条件Ｂを充たす注目ブロックの割合が閾値Ｎ以上のとき、書込状態と判定する。
（１３）濃度パラメータが閾値Ｂ以上であって閾値Ａ未満であり、前記条件Ｂを充たす注目ブロックの割合が閾値Ｎ以上のとき、描画状態と判定する。
（１４）濃度パラメータが閾値Ａ以上であって、「遮蔽物を表す画素数が大きな値から小さな値（ゼロに近い値）に変化する」という条件Ｃを充たす注目ブロックの割合が閾値Ｎ以上のとき、出状態と判定する。
（１５）濃度パラメータが閾値Ｂ未満であって、「遮蔽物を表す画素数が注目ブロックと当該注目ブロックに対応する比較対象ブロックとで共に小さな値である」という条件Ｄを充たす注目ブロックの割合が閾値Ｎ未満のとき、静止状態と判定する。
なお、注目ブロックにおける遮蔽物（或いは遮蔽候補）の画素数は、現フレームｆｎのセグメンテーションマップの注目ブロックの位置を参照すればカウント可能であり、比較対象ブロックにおける遮蔽物の画素数は、前フレームｆｎ−１のセグメンテーションマップの比較対象ブロックの位置を参照すればカウント可能である。
また、以上の条件Ａ〜条件Ｄの各々では、遮蔽物を表す画素数に対して閾値Ｄ１および閾値Ｄ２（閾値Ｄ１＞閾値Ｄ２）を設定し、閾値Ｄ１以上の値を示す場合に「大きな値」と判定し、閾値Ｄ２未満の場合に「小さな値」と判定するようになっていてもよい。また、閾値Ｄ１は条件毎で異なる値に設定してもよいし同じ値であってもよく、閾値Ｄ２についても条件毎で異なる値に設定してもよいし同じ値であってもよい。また、注目ブロックの遮蔽物画素数と当該注目ブロックに対応する比較対象ブロックの遮蔽物画素数との差分を求め、当該差分を閾値処理するようになっていてもよい。
また、以上の（１１）〜（１５）において、「割合」とは、現フレームに設定される全ての注目ブロック数に対する割合を意味する。また、以上の（１１）〜（１５）では、各条件を満たす注目ブロックの割合と閾値とを対比しているが、各条件を満たす注目ブロックの数と閾値とを対比して判定を行うようになっていてもよい。
なお、閾値Ａ、閾値Ｂ、閾値Ｄ１、閾値Ｄ２、閾値Ｎは、システム設計者による事前試験（共有ボード１０４を遮蔽して共有ボード１０４に書き込みや描画を行うことで各閾値を求める試験）によって好ましい値に設定され、設定された各閾値がＶＴ撮像制御部に記憶されるようになっている。なお、閾値Ａは、極めて高い値であって前記の最大値（１６３２０００）よりも低い値に設定され、閾値Ｂは、閾値Ａよりも極めて低い値である。また、閾値Ｎは、共有ボード１０４が遮蔽された場合、遮蔽物があると判定されるような値に設定すれば良い。遮蔽されているか否かをブロックの数で判断する場合、遮蔽物の大きさとブロックの大きさとに基づいて設定すれば良い。
そして、遮蔽物追跡部７１２は、前記（１１）を満たす間、”入状態”を示す活性度を出力し、前記（１２）を満たす間、”書込状態”を示す活性度を出力し、前記（１３）を満たす間、”描画状態”を示す活性度を出力し、前記（１４）を満たす間、”出状態”を示す活性度を出力し、前記（１５）を満たす間、”静止状態”を示す活性度を出力する。
なお、”静止状態”とは、共有ボード１０４の書き込み内容に変化が無い状態を指し、”書込状態”、”描画状態”とは、共有ボードの書き込み内容が変化した状態を指す。
さらに、前記の活性度が”静止状態”の間、撮像制御部７１６は、撮像装置６０４にて得られ且つ仮想透明描画部７１０の合成処理を経ていないストリームを各ディスプレイ６１０、６１２、６１４、６１６に出力し、各ディスプレイ６１０、６１２、６１４、６１６は当該ストリームに基づく画像を表示するようになっている。
これに対し、撮像制御部７１６は、前記の活性度が”入状態”、”書込状態”、”描画状態”あるいは”出状態”になると、前記のストリームを出力せずに、仮想透明描画部７１０にて合成処理された合成画像を各ディスプレイ６１０、６１２、６１４、６１６に出力し、各ディスプレイ６１０、６１２、６１４、６１６は当該合成画像を表示するようになっている。
仮想透明描画部７１０は、前景オブジェクト分離部７０６にて生成されたセグメンテーションマップ７０７を参照して、現フレームにおいて遮蔽物が示されている遮蔽物領域（画素）を特定する。なお、セグメンテーションマップ７０７は、現フレームの一部領域に存在するが前フレーム（基準フレーム）の前記一部領域に存在しない遮蔽物の位置を示すマップである。
そして、仮想透明描画部７１０は、前フレームと現フレームとを合成した合成画像を作成する。具体的に、仮想透明描画部７１０は、遮蔽物領域については、前フレームの内容が示される程度に遮蔽物が透過するようにアルファブレンド処理によって合成を行う。また、仮想透明描画部７１０は、遮蔽物領域以外の領域については、前フレームの画素を合成画像に適用するようになっている。これにより、図４のように半透明化した遮蔽物の示された画像を表示できる。
また、仮想透明描画部７１０は、現フレームの遮蔽物領域の輪郭線（エッジ）を抽出し、この輪郭線を前フレームにおける前記遮蔽物領域に上書合成するようになっていてもよい。これにより、図５のように遮蔽物の輪郭部のみを示した合成画像を表示できる。
また、エッジ検出部９０４におけるエッジ検出の手法は周知のエッジ検出手法が用いられてもよい。例えば、濃度勾配が閾値以上の部分をエッジ部分と判定するような手法が用いられてもよい。
また、図４または図５に示すように、本実施形態の合成処理にて得られる画像においては、前記遮蔽物を、輪郭（エッジ）を含めた透明物若しくは半透明物として描画することにより、遮蔽物の位置を明示している形態であるが、このような形態に限定されるものではない。例えば、エッジが除去されている透過物またはシルエットとして遮蔽物を表示する形態、あるいは、遮蔽物を完全に除去する形態であってもよい。そして、エッジが除去されている透過物またはシルエットとして遮蔽物を表示する形態の場合、図５に示すエッジ選択部９０５においてエッジ除去処理が行われる。
[実施形態の統括]
以上示した実施形態の画像形成方法は、コンピュータに実行させる方法であり、共有ボードを示す画像を形成する方法であって、現時点よりも以前のフレームである前結果画像を現フレームに合成することによって上記画像を形成する合成工程を含んでおり、上記現フレームに遮蔽部分が示されている場合、上記形成工程にて形成される画像において上記遮蔽部分は、上記前結果画像の上記遮蔽部分に対応する部分に基づいて描画されることを特徴とする。
また、以上の画像形成方法は、上記現フレームの上記遮蔽部分を決定する決定工程を含んでもよい。さらに、上記決定工程は、遮蔽物を追跡する追跡工程を含んでもよい。また、上記遮蔽物は、上記共有ボードを示す前記画像において、半透明体として映し出されるようになっていてもよい。さらに、上記遮蔽物は、上記共有ボードを示す前記画像において、輪郭のみが映し出されるようになっていてもよい。また、上記追跡工程は、セグメンテーションマップ（セグメンテーションマスク）を受信する工程と、上記セグメンテーションマップに対してフィルタ処理を実行する工程と、上記フィルタ処理後の上記セグメンテーションマップを記録し、これによりフィルタ処理後のセグメンテーションマップの時間経過に伴う状態変化を生成する工程と、上記状態変化に基づいて、包括的な、上記遮蔽物の動きの方向を見積もる工程と、上記動きの方向の大きさを決定する工程とを含んでもよい。また、以上の画像形成方法は、上記共有ボードの活性度を決定する工程を含み、上記活性度が上記共有ボードに書き込まれている内容の変化を示す時のみ、上記合成工程を実行するようになっていてもよい。また、上記現フレームは、撮像にて得られたフレームに前処理を施して得られたものであってもよい。さらに、上記画像形成方法は、上記撮像されたフレームに遠近歪みを除く補正を施し、上記撮像されたフレームにおいて上記共有ボードに対応する対象領域をクロップすることにより、上記現フレームを形成するようになっていてもよい。また、上記共有ボードは、フリップチャート、白板、黒板、用紙からなる群より選ばれるいずれかであってもよい。
以上示した実施形態の共有ボードシステムは、共有ボードと、上記共有ボードを撮像した撮像画像を取得する撮像装置と、上記共有ボードを示す合成画像を形成する仮想透明撮像制御部とを備え、上記合成画像は、上記撮像画像に対応する現フレームと、以前のフレームである前結果画像とを合成したものであり、上記現フレームに遮蔽部分が示されている場合、上記合成画像において上記遮蔽部分は、上記前結果画像の上記遮蔽部分に対応する部分に基づいて描画されることを特徴とする。
また、以上の共有ボードシステムにおいて、上記共有ボードは、フリップチャート、白板、黒板、用紙からなる群より選ばれるいずれかのボードであることが好ましい。また、上記共有ボードシステムは、上記撮像画像に遠近歪みを除く補正を施して上記現フレームを形成する画像整形部を備えていてもよい。また、上記共有ボードシステムは、上記撮像画像にデモザイク処理を施して上記現フレームを形成するデモザイク処理部を備えてもよい。また、上記共有ボードシステムは、上記現フレームにおける遮蔽物を識別する前景オブジェクト分離部と、上記遮蔽物を追跡する遮蔽物追跡部とを備えてもよい。また、上記遮蔽物は、上記合成画像において、半透明体として映し出されてもよい。また、上記遮蔽物は、上記合成画像において、輪郭のみが映し出されてもよい。また、上記遮蔽物追跡部は、セグメンテーションマスクを受信するグメンテーションマスク受信部と、上記セグメンテーションマスクに対してフィルタ処理を実行するフィルタ処理実行部と、上記フィルタ処理後の上記セグメンテーションマスクを記録し、これによりフィルタ処理後のセグメンテーションマップの時間経過に伴う状態変化を生成する情報生成部と、上記状態変化に基づいて、包括的な、上記遮蔽物の動きの方向を見積もる動き見積部と、上記動きの方向の大きさを決定する決定部とを備えてもよい。また、上記仮想透明撮像制御部は、活性度が上記共有ボードに書き込まれている内容の変化を示す時のみ、上記合成画像を形成するようになっていてもよい。さらに、上記共有ボードシステムは、上記共有ボードを示す上記合成画像をエンハンスする画像エンハンス部を備えるようになっていてもよい。
なお、本発明の実施形態は、共有ボードに示される情報を記録、共有、撮影する方法およびシステムを含む。
本発明の第１の特徴に応じて、本発明の実施形態は、以前のフレームである前結果画像にて維持されており、現時点まで継続している共有ボードの内容（書き込み内容）を、遮蔽物による遮蔽の期間中にて可視化する方法およびシステムを備える。
本発明の第２の特徴に応じて、本発明の実施形態において、遮蔽物は半透明物として映し出され、且つ、現フレームにおける遮蔽位置は、上記前結果画像における上記遮蔽位置に対応する位置に基づいて描画される。
本発明の第３の特徴に応じて、本発明の実施形態において、遮蔽物は輪郭のみが映し出され、且つ、現フレームにおける遮蔽位置は、上記前結果画像における上記遮蔽位置に対応する位置に基づいて描画される。
上記説明に用い開示された図の中のチャート及びダイアグラムは、実行の特定の順序を示しているが、実行の順序が図に示されたものとは異なってもよい。例えば、工程ブロックの実行の順序が、開示された順序から、変更されてもよい。また、さらなる例として、図における連続した２以上の工程ブロックが、同時にあるいは、一部が同時に、実行されてもよい。また、ここに開示された様々な論理的機能を遂行するための、ソフトウェア、ハードウェア及び／またはファームウェアを構成することは、当業者であれば理解できる。
本発明のいくつかの実施形態は、実行命令を格納している、及び／または、上記された特徴を実行するコンピュータをプログラムするために使用される、コンピュータ読取可能な記憶手段及び／または媒体である、コンピュータ・プログラム製品を含んでもよい。
以上の明細書にて採用した用語および表現は、あくまで発明の実施形態を説明するためのものであり、発明の範囲を制限するものではない。そのような表現を用いたとしても、図示または記載されている特徴物、その特徴物の均等物、その特徴物の一部は発明の範囲から除外されない。発明の範囲は、以下に示すクレームによってのみ定められ、制限される。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
１００ 共有ボードシステム
１０２ 撮像装置
１０４ 共有ボード
６００ 共有ボードシステム
６０２ ＶＴ撮像制御部（処理部）
６０４ 撮像装置
６０６ 共有ボード
６０８ 格納部
７０２ 現フレーム受信部
７０６ 前景オブジェクト分離部（マスク生成部）
７０８ マーク履歴メモリ更新部
７１０ 仮想透明描画部（合成部）
７１２ 遮蔽物追跡部（活性度決定部）
７１６ 撮像制御部
９０２ 更新制御部
９０４ エッジ検出部
９０６ エッジ選択部
９０８ マーク履歴メモリ

Claims (8)

  1. 共有ボードを撮像して、当該撮像により得られた画像を処理して表示する画像表示方法であって、
    上記撮像にて得られた画像の現フレームと、上記撮像にて得られた画像の以前のフレームである基準フレームとに基づいて、基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成する第１工程と、
    上記共有ボードの状態を示す活性度を決定する第２工程と、
    上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を表示する第３工程とを含み、
    上記第３工程では、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする画像表示方法。
  2. 共有ボードと、
    上記共有ボードを撮像した撮像画像を取得する撮像装置と、
    上記撮像画像を処理して処理後の画像を表示装置に供給する処理部とを備え、
    上記処理部は、
    上記撮像画像の現フレームと、上記撮像画像の以前のフレームである基準フレームとに基づき、上記基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成するマスク生成部と、
    上記共有ボードの状態を示す活性度を決定する活性度決定部と、
    上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を上記表示装置に供給する合成部とを備え、
    上記合成部は、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする共有ボードシステム。
  3. 上記活性度決定部は、上記遮蔽物マスクにて特定される遮蔽物について、時間経過に伴う変化を追跡する遮蔽物追跡部であり、
    上記マスク生成部は一定期間毎に上記遮蔽物マスクを生成し、
    上記遮蔽物追跡部は、
    一定期間毎に得られる遮蔽物マスクに対してフィルタ処理を実行するフィルタ処理実行部と、
    上記一定時間毎に得られる各遮蔽物マスクに基づいて、上記遮蔽物の大きさと、上記遮蔽物の動きの変化とを見積もる見積部と、
    上記遮蔽物の大きさと遮蔽物の動きの変化とに基づいて上記活性度を決定する決定部とを備えることを特徴とする請求項２に記載の共有ボードシステム。
  4. 上記撮像画像に対して遠近歪みを除く補正を施す画像整形部を備えることを特徴とする請求項２または３に記載の共有ボードシステム。
  5. 上記撮像画像に対してデモザイク処理を施すデモザイク処理部を備えることを特徴とする請求項２から４のいずれか１項に記載の共有ボードシステム。
  6. 上記合成にて得られる画像をエンハンスする画像エンハンス部を備えることを特徴とする請求項２から５のいずれか１項に記載の共有ボードシステム。
  7. 上記合成部は、上記合成にて得られる画像に、上記遮蔽物を半透明体として反映させることを特徴とする請求項２から６のいずれか１項に記載の共有ボードシステム。
  8. 上記合成部は、上記合成にて得られる画像に、上記遮蔽物を輪郭のみ反映させることを特徴とする請求項２から６のいずれか１項に記載の共有ボードシステム。
JP2011201713A 2010-09-15 2011-09-15 画像表示方法、共有ボードシステム Active JP5280503B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/882,923 US8773464B2 (en) 2010-09-15 2010-09-15 Methods and systems for collaborative-writing-surface image formation
US12/882,923 2010-09-15

Publications (2)

Publication Number Publication Date
JP2012064214A true JP2012064214A (ja) 2012-03-29
JP5280503B2 JP5280503B2 (ja) 2013-09-04

Family

ID=45806262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011201713A Active JP5280503B2 (ja) 2010-09-15 2011-09-15 画像表示方法、共有ボードシステム

Country Status (2)

Country Link
US (1) US8773464B2 (ja)
JP (1) JP5280503B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101838679B1 (ko) 2016-07-07 2018-03-14 한국항공우주산업 주식회사 미사일 마스킹 영역 산출방법 및 이를 이용한 공대공 미사일 운용방법
WO2018163977A1 (ja) * 2017-03-08 2018-09-13 ソニー株式会社 画像処理装置および画像処理方法
WO2019064987A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 自筆支援装置
JPWO2019146221A1 (ja) * 2018-01-23 2020-12-17 富士フイルム株式会社 自筆支援装置、自筆支援方法およびプログラム
JP2021529466A (ja) * 2018-06-26 2021-10-28 ウニヴェルズィテート カッセルＵｎｉｖｅｒｓｉｔａｅｔ Ｋａｓｓｅｌ プレゼンテーションシステムおよびプレゼンテーション方法

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9560314B2 (en) 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) * 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
WO2015142580A1 (en) * 2014-03-18 2015-09-24 Citrix Systems, Inc. Sharing physical whiteboard content in electronic conference
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10720187B2 (en) * 2015-09-29 2020-07-21 International Business Machines Corporation Method and apparatus to extract key video frames from online education
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US11164378B1 (en) 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
CN108268204A (zh) * 2016-12-30 2018-07-10 诚屏科技股份有限公司 电子白板系统及其电子白板与操作方法
US20180232192A1 (en) * 2017-02-14 2018-08-16 Samson Timoner System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
WO2019067704A1 (en) 2017-09-27 2019-04-04 Dolby Laboratories Licensing Corporation VIDEO PROCESSING COMPRISING A PHYSICAL WRITE SURFACE
US20210135892A1 (en) * 2019-11-01 2021-05-06 Microsoft Technology Licensing, Llc Automatic Detection Of Presentation Surface and Generation of Associated Data Stream
US11882163B2 (en) 2020-09-29 2024-01-23 Gn Audio A/S System and method for visual and auditory communication using cloud communication

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166245A (ja) * 2005-12-14 2007-06-28 Tokyo Institute Of Technology 画像処理装置、画像処理プログラム及び画像処理方法
JP2011145765A (ja) * 2010-01-12 2011-07-28 Seiko Epson Corp 画像処理装置、画像表示システム、及び画像処理方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5025314A (en) * 1990-07-30 1991-06-18 Xerox Corporation Apparatus allowing remote interactive use of a plurality of writing surfaces
JP2585922B2 (ja) 1992-05-29 1997-02-26 日立ソフトウエアエンジニアリング株式会社 電子黒板装置
JPH0619615A (ja) 1992-06-29 1994-01-28 Matsushita Electric Ind Co Ltd 手書き文字入力装置
US5515491A (en) 1992-12-31 1996-05-07 International Business Machines Corporation Method and system for managing communications within a collaborative data processing system
DE69519548T2 (de) 1994-09-09 2001-06-13 Xerox Corp., Rochester Verfahren zum Interpretieren handgeschriebener schematischer Benutzerschnittstellenbefehle
US5528290A (en) 1994-09-09 1996-06-18 Xerox Corporation Device for transcribing images on a board using a camera based board scanner
US5889889A (en) 1996-12-13 1999-03-30 Lucent Technologies Inc. Method and apparatus for machine recognition of handwritten symbols from stroke-parameter data
US6806903B1 (en) 1997-01-27 2004-10-19 Minolta Co., Ltd. Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction
US7024456B1 (en) 1999-04-23 2006-04-04 The United States Of America As Represented By The Secretary Of The Navy Method for facilitating collaborative development efforts between widely dispersed users
US6507865B1 (en) 1999-08-30 2003-01-14 Zaplet, Inc. Method and system for group content collaboration
US20010035976A1 (en) 2000-02-15 2001-11-01 Andrew Poon Method and system for online presentations of writings and line drawings
US6963334B1 (en) 2000-04-12 2005-11-08 Mediaone Group, Inc. Smart collaborative whiteboard integrated with telephone or IP network
JP3867512B2 (ja) 2000-06-29 2007-01-10 富士ゼロックス株式会社 画像処理装置および画像処理方法、並びにプログラム
US6707444B1 (en) 2000-08-18 2004-03-16 International Business Machines Corporation Projector and camera arrangement with shared optics and optical marker for use with whiteboard systems
AU2001287421A1 (en) 2000-08-21 2002-03-04 Thoughtslinger Corporation Simultaneous multi-user document editing system
US7260257B2 (en) 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7171056B2 (en) 2003-02-22 2007-01-30 Microsoft Corp. System and method for converting whiteboard content into an electronic document
US7224847B2 (en) * 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
US7197751B2 (en) 2003-03-12 2007-03-27 Oracle International Corp. Real-time collaboration client
US7206811B2 (en) 2003-03-13 2007-04-17 Oracle International Corp. System and method for facilitating real-time collaborating by collapsing a queue for a slow client
US7119816B2 (en) 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7428000B2 (en) 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
JP4363151B2 (ja) 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
US7260278B2 (en) 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing
US7372993B2 (en) 2004-07-21 2008-05-13 Hewlett-Packard Development Company, L.P. Gesture recognition
US7792788B2 (en) 2005-03-04 2010-09-07 Microsoft Corporation Method and system for resolving conflicts operations in a collaborative editing environment
US7880719B2 (en) 2006-03-23 2011-02-01 International Business Machines Corporation Recognition and capture of whiteboard markups in relation to a projected image
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US7724947B2 (en) 2006-09-20 2010-05-25 Qualcomm Incorporated Removal of background image from whiteboard, blackboard, or document images
US20080177771A1 (en) 2007-01-19 2008-07-24 International Business Machines Corporation Method and system for multi-location collaboration
US7917584B2 (en) 2007-10-22 2011-03-29 Xcerion Aktiebolag Gesture-based collaboration
US8639032B1 (en) * 2008-08-29 2014-01-28 Freedom Scientific, Inc. Whiteboard archiving and presentation method
US8334902B2 (en) 2009-03-31 2012-12-18 Fuji Xerox Co., Ltd. System and method for facilitating the use of whiteboards

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166245A (ja) * 2005-12-14 2007-06-28 Tokyo Institute Of Technology 画像処理装置、画像処理プログラム及び画像処理方法
JP2011145765A (ja) * 2010-01-12 2011-07-28 Seiko Epson Corp 画像処理装置、画像表示システム、及び画像処理方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101838679B1 (ko) 2016-07-07 2018-03-14 한국항공우주산업 주식회사 미사일 마스킹 영역 산출방법 및 이를 이용한 공대공 미사일 운용방법
JP2022036991A (ja) * 2017-03-08 2022-03-08 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
JPWO2018163977A1 (ja) * 2017-03-08 2020-01-09 ソニー株式会社 画像処理装置および画像処理方法
US11102425B2 (en) 2017-03-08 2021-08-24 Sony Corporation Image processing apparatus and image processing method
WO2018163977A1 (ja) * 2017-03-08 2018-09-13 ソニー株式会社 画像処理装置および画像処理方法
CN114257773A (zh) * 2017-03-08 2022-03-29 索尼公司 图像处理设备和图像处理方法
JP7218786B2 (ja) 2017-03-08 2023-02-07 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
US11659134B2 (en) 2017-03-08 2023-05-23 Sony Corporation Image processing apparatus and image processing method
WO2019064987A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 自筆支援装置
JPWO2019064987A1 (ja) * 2017-09-27 2020-02-27 富士フイルム株式会社 自筆支援装置
US10852767B2 (en) 2017-09-27 2020-12-01 Fujifilm Corporation Handwriting support device
JPWO2019146221A1 (ja) * 2018-01-23 2020-12-17 富士フイルム株式会社 自筆支援装置、自筆支援方法およびプログラム
JP2021529466A (ja) * 2018-06-26 2021-10-28 ウニヴェルズィテート カッセルＵｎｉｖｅｒｓｉｔａｅｔ Ｋａｓｓｅｌ プレゼンテーションシステムおよびプレゼンテーション方法
JP7387653B2 (ja) 2018-06-26 2023-11-28 ウニヴェルズィテート カッセル プレゼンテーションシステムおよびプレゼンテーション方法

Also Published As

Publication number Publication date
US20120062594A1 (en) 2012-03-15
JP5280503B2 (ja) 2013-09-04
US8773464B2 (en) 2014-07-08

Similar Documents

Publication Publication Date Title
JP5280503B2 (ja) 画像表示方法、共有ボードシステム
US10325360B2 (en) System for background subtraction with 3D camera
US9860446B2 (en) Flare detection and mitigation in panoramic images
CN111050210B (zh) 执行操作的方法、视频处理系统及非瞬态计算机可读介质
Zollmann et al. Image-based ghostings for single layer occlusions in augmented reality
US8126268B2 (en) Edge-guided morphological closing in segmentation of video sequences
US8565525B2 (en) Edge comparison in segmentation of video sequences
US8077969B2 (en) Contour finding in segmentation of video sequences
US20090028432A1 (en) Segmentation of Video Sequences
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
Sanches et al. Mutual occlusion between real and virtual elements in augmented reality based on fiducial markers
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
EP1971967A1 (en) Average calculation in color space, particularly for segmentation of video sequences
KR20090091032A (ko) 입자 여과를 이용하여 이동 물체를 추적하는 시스템
Walton et al. Accurate real-time occlusion for mixed reality
CN106682652B (zh) 基于增强现实的结构表面病害巡检和分析方法
JP4697923B2 (ja) 水中または水面における移動体の計数システムおよび計数方法
CN115147318B (zh) 隐私遮挡方法及装置
CN114708135A (zh) 图像处理方法、装置、设备、存储介质和计算机程序产品
Somasundaram et al. Inserting synthetic characters into live-action scenes of multiple people
Lotfi et al. An Efficient Content-Based Video Coding Method for Distance Learning Applications
Ehmann et al. Temporally coherent 4D video segmentation for teleconferencing
Rodríguez Serra Background subtraction with PTZ cameras

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5280503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150