JP2020525962A - インテリジェントホワイトボード連携システムおよび方法 - Google Patents

インテリジェントホワイトボード連携システムおよび方法 Download PDF

Info

Publication number
JP2020525962A
JP2020525962A JP2020520432A JP2020520432A JP2020525962A JP 2020525962 A JP2020525962 A JP 2020525962A JP 2020520432 A JP2020520432 A JP 2020520432A JP 2020520432 A JP2020520432 A JP 2020520432A JP 2020525962 A JP2020525962 A JP 2020525962A
Authority
JP
Japan
Prior art keywords
whiteboard
color
foreground
stroke
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020520432A
Other languages
English (en)
Other versions
JP7230016B2 (ja
Inventor
エイケネス,アンダーズ
エリクセン,シュタイン,オーヴ
コーネリアセン,ヤン,トーレ
シャー,イーモン
Original Assignee
ハドリー インコーポレイテッド
ハドリー インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハドリー インコーポレイテッド, ハドリー インコーポレイテッド filed Critical ハドリー インコーポレイテッド
Publication of JP2020525962A publication Critical patent/JP2020525962A/ja
Application granted granted Critical
Publication of JP7230016B2 publication Critical patent/JP7230016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • G06V30/162Quantising the image signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/18105Extraction of features or characteristics of the image related to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/214Monitoring or handling of messages using selective forwarding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6072Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Drawing Aids And Blackboards (AREA)

Abstract

ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法が提供される。背景白色ピクセルおよび前景マーカ色ごとの前景色ピクセルを分類する際に、ホワイトボード内の多数のピクセルの周りの局所パッチが用いられる。背景白色および各前景マーカ色を定義する際に、代替的な色空間において大域的および局所的にクラスタリングが行われる。局所パッチにおける最大局所背景白色および最も暗いピクセル輝度を利用して、前景マーカ色として分類された前景ピクセルごと、およびイメージセンサ色平面ごとに別個に色正規化が行われる。所定の幅を有する前景マーカ色の各ストロークの長さに沿った断面の変曲点のスプライン補間に基づいてストロークが再構成される。メッセージングユーティリティを含むインテリジェントホワイトボード連携システムも提供され、これによって参加者は、関連するバイオメトリクス情報に基づいて、タイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることを可能にされる。

Description

本開示は、包括的には、ホワイトボードを用いたビデオ会議に関する。特に、本開示は、タイムスタンプを付されたホワイトボードデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法に関する。より詳細には、関連するバイオメトリクス情報に基づいて、参加者がタイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることが可能にされる、メッセージングユーティリティを含むインテリジェントホワイトボードビデオ連携システムが提供される。
ホワイトボードは、産業場面および学術場面にわたる対面のミーティングおよびビデオ会議になくてはならないものである。しかしながら、ホワイトボードから内容またはデータを取り込むことは、中でも、照明、ホワイトボード上の反射、色およびストロークの不適切な分解能、および動いている物体または人による遮蔽を含む様々なアーチファクトがあると、いくつかの独自の困難が課される。既存のビデオカメラおよびビデオ会議ハードウェアは、所望の精度および分解能でホワイトボードの内容およびデータを取り込むのに最適化されていない。通例、ホワイトボードからデータを抽出するために光学文字認識技術を適用することができるものの、そのようなデータの使用可能性および精度は限られている。
したがって、ホワイトボードデータを取り込み、高分解能のホワイトボードイメージを生成するための改善された方法およびシステムが必要とされている。参加者によるインテリジェントデータアクセスおよびコミュニケーションを可能にするために、最適化されたホワイトボード連携システムが更に必要とされている。
したがって、本開示の目的は、ホワイトボードから内容およびデータを抽出し、高分解能イメージを生成するための方法およびシステムを提供することである。本開示の更なる目的は、時刻および参加者の関連するバイオメトリクスに基づいて、ホワイトボードの内容へのインテリジェントデータアクセスと、ホワイトボードビデオ会議システムにおける参加者間のコミュニケーションとを可能にするユーティリティを提供することである。
特に、本開示によれば、1つの実施形態において、ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込むための方法が提供される。本方法は、ホワイトボードの4つの角部を計算し、それによってホワイトボードを定義することと、背景白色を特定し、背景白色ピクセルを識別することと、前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことと、所定の幅を有する前景マーカ色ごとにストロークを再構成することとを含む。各ストロークはホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる。
別の実施形態において、ストロークを再構成することは、前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、所定の幅を有するペン曲線に基づいて、再構成されたストロークをレンダリングすることとを含む。
更に別の実施形態において、所定の幅は、ストロークの平均幅である。更なる実施形態において、所定の幅は、前景マーカ色ごとに変動する。
別の実施形態において、変曲点を接続することは、変曲点にスプライン補間を適用することを含む。更に別の実施形態において、スプライン補間は、平滑化スプライン補間である。更なる実施形態において、スプライン補間は、三次平滑化スプライン補間である。
更に別の実施形態において、ホワイトボードを定義することは、内部が白色の長方形を検出することと、ホワイトボードのアスペクト比を特定することとを更に含む。更なる実施形態において、ホワイトボードを定義することは、台形補正を適用することを更に含む。
別の実施形態において、背景白色を特定し、背景白色ピクセルを識別することは、ホワイトボード内の各ピクセルを代替的な色空間に変換することと、その色空間におけるピクセルのクラスタのヒストグラムを生成することと、最頻色を特定することとを更に含む。最頻色は背景白色として定義される。
更なる実施形態において、代替的な色空間は、HSV、YCbCr、YPbPr、TSL、CIELABおよびCIELUV空間のうちの1つである。
別の実施形態において、背景白色を特定し、背景白色ピクセルを識別することは、局所パッチのための多数の局所背景白色を推定することを更に含む。更に別の実施形態において、局所パッチは、多数のピクセルの各々を取り囲む、20×20、50×50、および75×75の寸法のうちの1つである。更なる実施形態において、多数のピクセルは、ホワイトボード内の各ピクセルを含む。別の実施形態において、多数の局所背景白色を推定することは、局所パッチごとに代替的な色空間においてピクセルのクラスタリングを行うことを更に含む。
別の実施形態において、方法は、局所パッチごとに背景白色ピクセルのバイナリマスクを生成することと、ピクセルが全ての局所パッチの所定のパーセンテージを超えて背景白色である場合、そのピクセルを背景白色として分類することとを更に含む。更なる実施形態において、所定のパーセンテージは90%である。別の実施形態において、背景白色として分類されないピクセルは、前景ピクセルとして分類される。
別の実施形態によれば、前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことは、代替的な色空間において前景ピクセルのクラスタリングを行うことであって、代替的な色空間は、HSV、YCbCr、YPbPr、TSL、CIELABおよびCIELUV空間のうちの1つであることと、クラスタリングに基づいて前景ピクセルを前景マーカ色として分類することであって、各前景マーカ色は、その前景マーカ色として分類された全てのピクセルの最も典型的な(平均またはメディアン)色として定義されることと、前景マーカ色ごとにバイナリマスクを生成することとを更に含む。
別の実施形態において、本方法は、イメージセンサ色平面ごとに、前景マーカ色として分類された各ピクセルを取り囲む局所パッチ内で極大輝度を有する背景白色ピクセルを識別することと、背景白色ピクセルの極大輝度で除算することによって前景マーカピクセルの値を正規化することとを更に含む。局所パッチは、前景マーカ色として分類されたピクセルを取り囲む、20×20、50×50、および75×75の寸法のうちの1つである。
更に別の実施形態において、本方法は、イメージセンサ色平面ごとに、前景マーカ色として分類されたピクセルを取り囲む局所パッチにおいて、最も暗い輝度を有する前景マーカ色ピクセルを識別することと、前景マーカピクセルとして分類されたピクセルの値を、最も暗い輝度を減算することによって正規化し、それによってイメージセンサ色平面の正規化されたグレースケールイメージを導出することとを更に含む。
更なる実施形態において、本方法は、イメージセンサ色平面ごとに正規化されたグレースケールイメージをマージすることによって、高分解能グレースケールイメージを生成することを更に含む。
別の実施形態において、本方法は、高分解能グレースケールイメージにおいて対応する前景マーカ色として分類された各ピクセルに最も典型的な(平均またはメディアン)前景マーカ色を適用することによって、高分解能カラーイメージを再構成することを更に含む。
更に別の実施形態において、ホワイトボードビデオ信号の時系列を比較することと、静止していると判断されたイメージからのみホワイトボードデータを取り込むこととによって、動いている人物によるビューの間欠的遮蔽が除去される。
本開示によれば、別の実施形態において、ホワイトボード会議のために、未加工ホワイトボードビデオ信号からタイムスタンプを付されたホワイトボードデータを生成するためのシステムが提供される。本システムは、未加工ホワイトボードビデオイメージ信号からホワイトボードを検出するように適合されたホワイトボード検出ユニットと、大域背景白色を定義し、ピクセルを背景白色として分類するように適合された背景ユニットと、各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合された前景マーカユニットと、各前景マーカ色のストロークを再構成するように適合されたストロークデジタイザであって、各ストロークは未加工ホワイトボードビデオ信号に基づくタイムスタンプと関連付けられる、ストロークデジタイザと、タイムスタンプに関連付けられた、再構成されたホワイトボードイメージをレンダリングするように適合されたディスプレイとを備える。
更に別の実施形態において、ストロークデジタイザは、前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、所定の幅を有するペン曲線に基づいて、再構成されたストロークをレンダリングすることとによって再構成されたストロークを生成するように更に適合される。
更なる実施形態において、所定の幅は、ストロークの平均幅である。別の実施形態において、所定の幅は、前景マーカ色ごとに変動する。
更に別の実施形態において、ストロークデジタイザは、変曲点にスプライン補間を適用することによってペン曲線を導出するように更に適合される。更なる実施形態において、スプライン補間は、平滑化スプライン補間である。別の実施形態において、スプライン補間は、三次平滑化スプライン補間である。
更なる実施形態において、背景ユニットは、局所パッチのための多数の局所背景白色を推定し、局所背景白色のためのバイナリマスクを生成するように更に適合される。局所パッチは、多数のピクセルの各々を取り囲む、20×20、50×50、および75×75の寸法のうちの1つである。更に別の実施形態において、多数のピクセルは、ホワイトボード内の各ピクセルを含む。
別の実施形態によれば、前景マーカユニットは、前景色として分類された各前景ピクセルを取り囲む局所パッチに基づいて、前景マーカ色ごとに別個に、およびイメージセンサ色平面ごとに別個に、色を正規化するように更に適合される。更に別の実施形態において、前景マーカユニットは、局所パッチ内で識別された、局所背景白色最大および前景色ピクセルの最も暗い輝度に基づいて色を正規化するように更に適合される。
更なる実施形態において、前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、それによって、イメージセンサ色平面とごとに別個に正規化されたグレースケールイメージを組み合わせることによって、高分解能のグレースケールイメージを生成するように更に適合される。別の実施形態において、前景マーカユニットは、高分解能グレーイメージにおいて対応する前景マーカ色として分類された各ピクセルに定義された前景マーカ色を適用することによって高分解能カラーイメージを再構成するように更に適合される。
別の実施形態によれば、システムは、再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、ディスプレイにおいて、ユーザによって指定されたストロークに対応するホワイトボードビデオイメージの一部を再生するように適合されたビデオストロークレビュアを更に備える。
更に別の実施形態において、ディスプレイは、タッチスクリーン入力を受信するように更に適合される。
別の実施形態において、システムは、ユーザからの単語入力に基づいて再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別し、ディスプレイにおいて、見つかった再構成されたストロークを所定の色で強調するように適合された単語検出器を更に備える。
更に別の実施形態において、システムは、ユーザからの音声入力に基づいてホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別し、ディスプレイにおいて、見つかった再構成されたストロークを所定の色で強調するように適合された音声検出器を更に備える。
更なる実施形態において、ディスプレイは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合されたワードクラウドパブリッシャを更に備える。
別の実施形態において、システムは、ホワイトボード会議の参加者のバイオメトリック署名を記憶し、それによって、参加者のバイオメトリック署名のうちの1つに基づいて参加者が識別されることを可能にするように適合されたバイオメトリックデータベースを更に備える。更に別の実施形態では、バイオメトリックデータベースは、参加者のストローク署名、顔署名、および音声署名のうちの1つを記憶するように適合される。
本開示によれば、更なる実施形態において、複数の参加者のためのホワイトボードビデオ連携システムが提供される。システムは、バイオメトリックデータベースにおける参加者の対応する署名のうちの1つに基づいて、タイムラプスデータを含むホワイトボードデータを参加者に配信するように適合されたメッセージングユニットを更に備える。
別の実施形態において、メッセージングユニットは、Slack、Facebook Workplace、Cisco Spark、Microsoft Teams、HipChat、およびEmailのうちの1つである。更に別の実施形態において、メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合される。ホワイトボードジェスチャは、ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含む。
更なる実施形態において、メッセージングユニットは、再構成されたホワイトボードイメージ内のハッシュタグを検出し、検出されたハッシュタグ領域と、所定のユーザチャネルとの間の一致を特定し、検出されたハッシュタグ領域内の再構成されたホワイトボードイメージを一致したユーザチャネルに投稿するように適合される。
別の実施形態によれば、ディスプレイは、所定の時刻より後のタイムスタンプを有する再構成されたストロークのみを示し、それによって、複数の参加者が、所定の時刻から仮想連携セッションを始めることを可能にするように更に適合される。
本開示によれば、別の実施形態において、アナログホワイトボードイメージを再構成するシステムが提供される。システムは、ディスプレイ内の再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合されたインクプリンタを更に備える。更なる実施形態において、インクプリンタは、ホワイトボードプリントアウトのサイズを調整するように更に適合される。
本開示の1つの実施形態による、背景白色を定義し、背景白色ピクセルを分類するための方法を概説する。 別の実施形態による、前景マーカ色の色正規化、および前景マーカ色ピクセルの分類のための方法を概説する。 別の実施形態による、前景マーカ色正規化のためのピクセルのクラスタのヒストグラムを示す。 別の実施形態による、高分解能グレースケールイメージを生成するためにマージされている個々の色平面を示す。 別の実施形態による、ストローク再構成のための変曲点を示す。
様々な実施形態において、ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法が提供される。1つの実施形態によるインテリジェントホワイトボード連携システムは、メッセージングユーティリティを含み、このメッセージングユーティリティによって、参加者は、関連するバイオメトリクス情報に基づいて、タイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることを可能にされる。
別の実施形態によれば、背景白色および前景マーカ色を定義する際に、代替的な色空間において大域的および局所的にクラスタリングが行われる。特定の実施形態では、背景白色ピクセルおよび前景マーカ色ごとの前景色ピクセルを分類する際に、ホワイトボードにおける多数のピクセルを取り囲む局所パッチが用いられる。1つの実施形態によれば、局所パッチにおける最大局所背景白色および最も暗いピクセル輝度を利用して、前景マーカ色として分類された前景ピクセルごと、およびイメージセンサ色平面ごとに別個に色正規化が行われる。別の実施形態では、所定の幅を有する前景マーカ色の各ストロークの長さに沿った断面の変曲点のスプライン補間に基づいてストロークが再構成される。
1.ホワイトボード検出および背景最適化
ホワイトボードの内容を取り込むために、特定の実施形態において、カメラは、広い視野(例えば、100°〜180°のHFOV)、高分解能センサ(例えば、12MP超)、およびイメージセンサよりも分解能が高い光学レンズを有する。特定の実施形態において、そのようなカメラは、二重のイメージパイプラインを有し、一方は、デジタルパンチルトズーム(PTZ)動作を可能にする、ビデオストリームのためものものであり、他方はホワイトボードの内容のためのものである。
1つの実施形態において、イメージのホワイトボード領域は、内部が白色の長方形と、そのような長方形の4つの角部とを含む、ホワイトボードに関連した特徴を調査することによって検出される。別の実施形態では、ホワイトボード平面は、カメラの光軸に対し垂直ではなく、アスペクト比が特定される。他の実施形態では、ホワイトボードの正しい取り込みを可能にするために、続いて台形補正が行われる。
代替的な実施形態では、インテリジェントホワイトボード連携システムのユーザまたは参加者は、システムが検出した領域が実際にホワイトボード入力領域内にあるか否かを確認するオプションを与えられる。別の実施形態では、ユーザまたは参加者は、ホワイトボードの4つの角部を識別または確認するオプションを与えられる。
ホワイトボードビュー内の人物または物体の間欠的動きは、記録され、連続イメージにおける変化を比較することによって解明される。別の実施形態によれば、イメージのうち、「静止」として分類された一部のみが保持され、ホワイトボード検出およびデータ取り込みにおいて用いられる。これにより、ホワイトボードビデオ取り込みの全体シーケンス中に、カメラビューから永続的に遮られたホワイトボードの部分がないという仮定の下で、ホワイトボード、およびビューの間欠的遮蔽のないその内容の完全な取り込みが可能になる。
ホワイトボードが検出または定義されると、ホワイトボードの背景白色が特定され、背景白色ピクセルが分類される。
ホワイトボードの投じられた影および汚れた表面からのアーチファクト等の一般的なアーチファクトに起因して、ホワイトボードの背景白色は、多くの場合、一貫して完全な白色の色調ではない。これにより、所望の分解能でホワイトボードイメージを生成し、所望の精度でホワイトボードの内容を抽出することに問題が課される。本開示のシステムおよび方法は、これらの問題を軽減し、各ピクセルを取り囲む局所パッチからのデータを利用したホワイトボード背景特定を最適化する。
1つの実施形態において、代替的な色空間におけるピクセルのクラスタリングが行われる。代替的な色空間は、HSV、YCbCr、YPbPr、TSL、CIELABまたはCIELUV空間である。例えば、初期のデモザイク処理後に、ピクセルはRGB空間からHSV空間に変換される。図1(2)を参照されたい。HSV空間におけるピクセルの2次元ヒストグラム(色相および飽和)が生成され、クラスタリング分析が行われる。1つの実施形態によれば、ホワイトボードにおけるピクセルのほとんどが背景白色であると仮定して、最も高い周波数を有する色(色相および飽和)が(大域的)背景白色として特定される。図1(3)を参照されたい。
更なる実施形態では、メディアンフィルタリングは、任意選択により、背景白色ピクセルごとおよびカラーチャネルごとに別個にピクセルの小さなマージン(5×5)を有して実行される。
図1(4〜6)を参照すると、各ピクセルを取り囲む、比較的小さな寸法、例えば、20×20、50×50または75×75を有するピクセルの局所パッチが選択される。そのような局所パッチのためにHSV空間において2次元色相−飽和散布図が生成される。1つの実施形態では、(大域)背景白色からデルタより離れたピクセルが除去され、残りのピクセルは、背景白色ピクセルとして事前に分類される。図1(7〜8)を参照されたい。全ての50×50の局所パッチについて背景白色ピクセルのためのバイナリマスクが生成される。図1(9)を参照されたい。1つの実施形態において、全ての局所パッチにAND演算子が適用され、それによって、(大域)背景白色ピクセルが、全ての局所パッチにおいて背景白色である場合にのみ、このピクセルの分類を確認する。代替的な実施形態では、局所パッチにOR演算子が適用され、それによって、(大域)背景白色ピクセルが、局所パッチの少なくとも1つにおいて背景白色として示される場合に、このピクセルの分類を確認する。
別の実施形態では、ピクセルは、局所パッチの所定のパーセンテージにわたって背景白色である場合、(大域)背景白色ピクセルとして最終的に分類される。いくつかの実施形態において、所定のパーセンテージは90%である。図1(10)を参照されたい。
2.色正規化
背景白色ピクセルとして分類されない全てのピクセルは、前景ピクセルとみなされる。ピクセルは、初期デモザイク処理後に、前景マーカ色に属する前景ピクセルとして事前に分類することができる。1つの実施形態における背景白色の特定および背景白色ピクセルの分類に続いて、残りのピクセルが、前景ピクセルとして確認される。次に、前景ピクセルに対し、更なる処理および高度な色正規化が行われる。
図2(1)を参照すると、例えば、前景ピクセルのクラスタの2次元ヒストグラムが、HSV空間等の代替的な色空間において生成される。独自の前景マーカ色に対し、クラスタリング分析が行われる。1つの実施形態では、本開示のインテリジェントホワイトボード連携システムにおいて、最大で12の前景マーカ色が許容される。図3を参照すると、例えば、ここでは4つの別個のクラスタ(黒、緑、青、赤)が各前景マーカ色を互いに区別する。x軸における色相は、このクラスタリング分析において、主な差別化要因である。
クラスタリング分析に基づいて、各前景マーカ色のためのバイナリマスクが生成される。各前景マーカ色の最も典型的な色(平均またはメディアン)が推定される。これは、1つの実施形態によればその前景マーカ色として特定される。図2(2)を参照されたい。
特定の実施形態において、各前景マーカピクセルの周りの所定の数のピクセルの小さなマージンが、更なる処理のための前景マーカピクセルの拡張を可能にするように追加される。1つの実施形態では、小さなマージンは、5×5である。
図2(3)を参照すると、イメージセンサ色平面ごとに別個に、各前景色ピクセルの値が、その前景色ピクセルを取り囲む局所パッチにおける背景白色ピクセルの極大輝度で除算することによって正規化される。様々な実施形態において、局所パッチは、各前景色ピクセルを取り囲む20×20、50×50、または75×75ピクセルの寸法である。図2(4)を参照すると、イメージセンサ色平面ごとに別個に、各前景色ピクセルの値が、その前景色ピクセルを取り囲む局所パッチにおける前景ピクセルの最も暗い輝度を減算することにより更に正規化される。
ベイヤ領域における、最大背景白色ピクセルと、最も暗い前景色ピクセルとを用いた上記の局所パッチベースの正規化に続いて、イメージセンサ色平面ごとの正規化されたグレースケール(白黒)イメージが生成される。図4を参照すると、1つの実施形態では、次に、個々の色平面をマージすることによって、高分解能のグレースケールイメージが作成される。特に、ここで示されるように、4つの正規化されたイメージセンサ色平面R、B、Gr、Gbが1つの白黒イメージにマージされる。イメージセンサのベイヤパターンピクセル部位に対応してピクセル位置がシフトされる。
1つの実施形態によれば、最後に、色正規化を完了させるために、高分解能グレースケールイメージ内の全ての前景ピクセルが、対応する前景マーカ色の最も典型的な色(平均またはメディアン)を適用することによって「着色」され、それによって、ホワイトボードの高分解能カラーイメージが再構成される。図3(6)を参照されたい。
3.ストローク再構成
本開示の1つの実施形態によれば、インテリジェントホワイトボード連携システムにおけるアクセスのために、結果として得られるホワイトボードイメージの分解能および一貫性、ならびにホワイトボードデータおよび内容の精度を改善するために、全ての前景マーカ色のストロークが再構成または「デジタル化」される。
図5を参照すると、グレースケールイメージに対し動作して、各ストロークの最急上昇および降下が調べられ、ストロークの断面からの変曲点が識別される。変曲点を接続することによってペン曲線が作成され、ペン曲線に基づいて、所定の幅を採用して再構成されたストロークがレンダリングされる。1つの実施形態における所定の幅は、対応する前景マーカ色の全てのストロークの平均幅である。別の実施形態によれば、様々な前景マーカ色のための再構成されたストロークは、変動する幅を採用する。特定の実施形態において、各前景色のストローク幅は、ホワイトボード連携システムのユーザによって選択することができる。
1つの実施形態によれば、変曲点を接続する際に、スプライン補間が行われ、平滑化スプラインまたは三次平滑化スプラインが作成され、それによって、代替的な実施形態において対応するペン曲線が導出される。
まとめると、様々な実施形態によれば、背景最適化、色正規化、およびストローク再構成時に、結果として得られる再構成されたホワイトボードイメージは、一貫した白色背景と、均一に着色されたストロークと、イメージセンサの元の分解能と比較して数倍高い分解能とを呈する。
4.インテリジェントホワイトボード連携システム
1つの実施形態によれば、本開示のシステムは、ホワイトボード会議のための未加工ホワイトボードビデオ信号からタイムスタンプを付されたホワイトボードデータを生成するように適合される。システムは、ホワイトボード検出ユニット、背景ユニット、前景マーカユニット、ストロークデジタイザ、およびディスプレイを備える。様々な実施形態において、以下に論考される追加のコンポーネントの各々を含む、システムにおける各コンポーネントまたはユニットは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組合せとすることができる。各コンポーネントは、互いに電子的にまたはデジタルで接続され、それによって、データおよび信号が、システム内およびこれらのコンポーネント間で送信される。代替的な実施形態におけるディスプレイは、システムの他のコンポーネントに無線で接続される。別の実施形態では、システムは、各々がホワイトボード会議の個々のユーザまたは参加者によって操作または利用される多数のディスプレイを含む。
ホワイトボード検出ユニットは、未加工ホワイトボードビデオイメージ信号から、ホワイトボードを検出および定義するように適合される。ホワイトボード検出ユニットは、イメージ信号の任意の非ホワイトボード領域を除去する。この発明を実施するための形態のセクション1において上記で検討したように、ホワイトボードの検出において様々な方法が利用される。
背景ユニットは、大域背景白色を背景白色として定義し、ピクセルを背景白色として分類するように適合される。背景ユニットは、背景白色定義の一貫性および背景白色ピクセル分類の精度を改善するために、この発明を実施するための形態のセクション1において上記で検討したように、最適化技法を利用する。例えば、図1を参照されたい。例えば、背景ユニットは、背景白色ピクセルの分類において、ホワイトボード内の多数のピクセルを取り囲む局所パッチからのデータに依拠する。上記で検討したように、背景ユニットは、背景白色を定義する際に、代替的な色空間において大域的および局所的にピクセルのクラスタリングを行い、背景白色のためのバイナリマスクを生成する。例えば、図1を参照されたい。
前景マーカユニットは、各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合される。前景マーカユニットは、前景ピクセルに対する色正規化を行うために、この発明を実施するための形態のセクション2において上記で検討したような様々な方法を用いる。例えば、図2を参照されたい。例えば、前景マーカユニットは、局所最大背景白色と、各前景ピクセルを取り囲む局所パッチにおける最も暗いピクセル輝度とを利用して、イメージセンサ色平面ごとに別個にその色を正規化する。
更なる実施形態における前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、個々の色平面についてそのようなグレースケールイメージをマージして、より高い分解能のグレースケールイメージを形成する。例えば、図4を参照されたい。前景マーカユニットは、より高い分解能のグレーイメージにおける対応する前景マーカ色として分類された各ピクセルに定義された前景マーカ色を適用することによって、高分解能のカラーイメージを構築するように更に適合される。定義された前景マーカ色は、1つの実施形態において、その特定の前景マーカ色の平均またはメディアンである。
ストロークデジタイザは、各前景マーカ色のストロークを再構成またはデジタル化するように適合される。各ストロークは、未加工ホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる。ストロークデジタイザは、各前景マーカ色のストロークを再構成するために、この発明を実施するための形態のセクション3において上記で検討したような様々な方法を用いる。例えば、図5を参照されたい。
本開示のディスプレイは、タイムスタンプ情報を含む再構成されたホワイトボードイメージをレンダリングするように適合される。様々な実施形態によるディスプレイは、コンピュータ端末、タブレット、スマートフォン、モノのインターネット(「IoT」)端末、およびバーチャルリアリティーまたは拡張現実(VR/AR)ディスプレイデバイスのうちの1つである。1つの実施形態において、ディスプレイは、タッチスクリーン対応である。別の実施形態では、ディスプレイは、音声入力対応である。ホワイトボード連携システムのユーザまたは参加者は、様々なタイプのディスプレイへのアクセスを有し、それらの全てが、システムおよび他のディスプレイとの通信に対応している。代替的な実施形態では、そのような通信は、有線、無線、Bluetooth(登録商標)経由、または他のネットワーク接続経由である。
別の実施形態では、システムは、ディスプレイに接続されたビデオストロークレビュアを更に備える。ストロークレビュアは、再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、ユーザによって指定された関心対象の1つ以上のストロークに対応するホワイトボードビデオイメージのセグメントをディスプレイにおいて再生するように適合される。ユーザは、レビューされるビデオのセグメントの時間の長さを指定することができる。1つの実施形態では、ユーザは、タッチスクリーン対応のディスプレイにおいて関心対象の単数または複数のストロークを強調することによってこれらを示す。別の実施形態では、ユーザは、マウスカーソルを用いてストロークを囲むことによってそのような関心対象を示す。代替的な実施形態において、ビデオストロークレビュアは、ディスプレイの一部である。別の実施形態において、ディスプレイに結合されたビデオストロークレビュアは、ユーザの関心対象に基づいて、再構成されたストロークのタイムラプスシーケンスを表示するように適合される。
更なる実施形態におけるシステムは、ディスプレイに接続された単語検出器を含む。単語検出器は、ユーザからの単語入力に基づいて、再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別するように適合される。単語検出器は、キーボード入力またはタッチスクリーン入力を受信するように適合される。単語検出器は、ディスプレイ内の再構成されたストロークを所定の色で強調するように更に適合される。1つの実施形態によれば、所定の色は、ユーザによって選択され、所定の色は、混乱を避けるために、システムにおいて認識されたいずれの前景マーカ色でもない。
別の実施形態では、システムは、ディスプレイに接続された音声検出器を含む。音声検出器は、音声認識が可能である。音声検出器は、ユーザからの音声入力に基づいて、ホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別するように適合される。音声検出器は、ディスプレイにおいて、再構成されたストロークを所定の色で強調するように更に適合される。1つの実施形態によれば、所定の色は、ユーザによって選択される。混乱を避けるために、所定の色は、システムにおいて認識された任意の前景マーカ色と同じいずれの色も除外する。
更なる実施形態において、ディスプレイは、内部にワードクラウドパブリッシャを更に備える。ワードクラウドパブリッシャは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合される。1つの実施形態において、ワードクラウドパブリッシャはソフトウェアユーティリティであり、ユーザが再構成されたホワイトボードイメージに対し直接注釈付けまたはコメントすることを可能にする。代替的な実施形態において、ワードクラウドパブリッシャは、関心対象の単数または複数のストロークに基づいてユーザまたは参加者に関心対象のキーワードを表示する。
更なる実施形態における本開示のインテリジェントホワイトボード連携システムは、バイオメトリックデータベースを含む。バイオメトリックデータベースは、ホワイトボード会議の全ての参加者またはインテリジェントホワイトボード連携システムのユーザのバイオメトリック署名を記憶する。バイオメトリックデータベースは、参加者またはユーザが、ストローク署名、顔署名および音声署名を含む、参加者のバイオメトリック署名のうちの1つに基づいて識別されることを可能にする。データベースは、氏名、地位、組織および関心対象を含む、参加者またはユーザの他の識別情報も含む。そのようなシステムは、中でも、参加者のアイデンティティ、バイオメトリック署名および関心対象を含めて、システムのユーザまたは参加者に関して知ることが可能であるという意味でインテリジェントである。このため、本開示のインテリジェントホワイトボード連携システムは、以下で検討されるメッセージングユニット等のユーティリティまたはコンポーネントを用いて、システムのユーザまたは参加者による、およびこれらのユーザまたは参加者間でのスマートな情報共有およびコミュニケーションを可能にする。
特定の実施形態によれば、インテリジェントホワイトボード連携システムは、メッセージングユニットを含む。メッセージングユニットは、参加者の関連するバイオメトリック署名または他の識別情報に基づいて、タイムラプスデータを含むホワイトボードデータを参加者に配信し、参加者が互いにコミュニケーションすることを可能にするように適合される。例えば、メッセージングユニットは、ホワイトボード会議における赤マーカを用いて、この赤マーカの下での全てのストロークデータを参加者に投稿または中継することができる。その参加者は、ホワイトボードにおける関心対象のグラフがメッセージングユニットを介して別の参加者に転送されることも要求することができる。様々な実施形態において、メッセージングユニットは、Slack、Facebook Workplace、Cisco Spark、Microsoft Teams、HipChat、またはEmailである。
別の実施形態において、メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合される。代替的な実施形態によれば、これらのジェスチャは、ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含み、未加工ホワイトボードビデオ信号内に存在することができるか、または再構成されたホワイトボードイメージにおいてユーザによって挿入することができる。
特定の実施形態において、メッセージングユニットは、ホワイトボードイメージにおいてハッシュタグを検出し、検出されたハッシュタグ領域と所定のユーザチャネルとの間での一致を特定するように適合される。一致が存在する場合、メッセージングユニットは、一致したユーザチャネルに対し、ハッシュタグ領域内のホワイトボードイメージを投稿する。一致は、ユーザもしくは参加者からの単語もしくは音声入力、またはユーザによって示され、システムによってサポートされる他の基準に基づくことができる。
更なる実施形態によれば、ディスプレイは、所定の時刻よりも後のタイムスタンプを有する再構成されたストロークのみを示すように適合される。これにより、参加者は、所定の時間からのインテリジェントホワイトボード連携システムを用いて仮想連携セッションを始めることが可能になる。実際に、この特徴は、ユーザが所定の時刻よりも古いホワイトボードの内容を仮想的に「消去」し、それによって、無関係のデータをフィルタリング除去することも可能にする。
システムは、メッセージングユニットを介して、所定の時間で区切られたそのようなホワイトボードタイムラプスコンテンツを、ホワイトボード会議後にミーティング概要として参加者に、更には会議に参加することができなかった組織内の人物に配信することができる。
本開示の更なる実施形態において、システムは、無線で、または有線接続を介して、ディスプレイに接続されたインクプリンタを更に含む。インクプリンタは、ディスプレイ内の再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合される。更なる実施形態におけるインクプリンタは、ホワイトボードプリントアウトのサイズを調整するように更に適合される。
本明細書における様々な実施形態の説明は、図面および例を含めて、本発明およびその様々な実施形態を例示するものであり、限定するものではない。

Claims (53)

  1. ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込むための方法であって、
    前記方法は、
    ホワイトボードの4つの角部を計算し、それによって前記ホワイトボードを定義することと、
    背景白色を特定し、背景白色ピクセルを識別することと、
    前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことと、
    所定の幅を有する前景マーカ色ごとにストロークを再構成すること、
    を含み、
    各ストロークは、前記ホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる、方法。
  2. ストロークを再構成することは、
    前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、
    所定の幅を有する前記ペン曲線に基づいて、再構成されたストロークをレンダリングすることと、
    を含む、請求項1に記載の方法。
  3. 前記定の幅は、ストロークの平均幅である、請求項2に記載の方法。
  4. 前記所定の幅は、他の前景マーカ色と比較して、前景マーカ色ごとに変動する、請求項2に記載の方法。
  5. 変曲点を接続することは、前記変曲点にスプライン補間を適用することを含む、請求項2に記載の方法。
  6. 前記スプライン補間は、平滑化スプライン補間である、請求項5に記載の方法。
  7. 前記平滑化スプライン補間は、三次平滑化スプライン補間である、請求項6に記載の方法。
  8. ホワイトボードを定義することは、
    内部が白色の長方形を検出することと、
    前記ホワイトボードのアスペクト比を特定することと、
    を更に含む、請求項1に記載の方法。
  9. ホワイトボードを定義することは、台形補正を更に含む、請求項8に記載の方法。
  10. 背景白色を特定し、背景白色ピクセルを識別することは、
    前記ホワイトボード内の各ピクセルを代替的な色空間に変換することと、
    その色空間におけるピクセルのクラスタのヒストグラムを生成することと、
    最頻色を特定することと、
    を更に含み、
    前記最頻色は、前記背景白色として定義される、請求項1に記載の方法。
  11. 前記代替的な色空間は、HSV、YCbCr、YPbPr、TSL、CIELABおよびCIELUV空間のうちの1つである、請求項10に記載の方法。
  12. 背景白色を特定し、背景白色ピクセルを識別することは、局所パッチのための多数の局所背景白色を推定することを更に含む、請求項10に記載の方法。
  13. 前記局所パッチは、多数のピクセルの各々を取り囲む、20×20、50×50、および75×75の寸法のうちの1つである、請求項12に記載の方法。
  14. 前記多数のピクセルは、前記ホワイトボード内の各ピクセルを含む、請求項13に記載の方法。
  15. 多数の局所背景白色を推定することは、局所パッチごとに代替的な色空間においてピクセルのクラスタリングを行うことを更に含み、
    前記代替的な色空間は、HSV、YCbCr、YPbPr、TSL、CIELABおよびCIELUV空間のうちの1つである、請求項12に記載の方法。
  16. 局所パッチごとに背景白色ピクセルのバイナリマスクを生成することと、
    ピクセルが全ての局所パッチの所定のパーセンテージを超えて背景白色である場合、そのピクセルを背景白色として分類することと、
    を更に含む、請求項15に記載の方法。
  17. 前記所定のパーセンテージは90%である、請求項16に記載の方法。
  18. ピクセルが背景白色として分類されない場合、そのピクセルを前景ピクセルとして分類することを更に含む、請求項16に記載の方法。
  19. 前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことは、
    i)代替的な色空間において前景ピクセルのクラスタリングを行うことであって、前記代替的な色空間は、HSV、YCbCr、YPbPr、TSL、CIELABおよびCIELUV空間のうちの1つであることと、
    ii)前記クラスタリングに基づいて前景ピクセルを前景マーカ色として分類することと、
    iii)前景マーカ色ごとにバイナリマスクを生成することと、
    を更に含み、
    各前景マーカ色は、その前景マーカ色として分類された全てのピクセルの最も典型的な色として定義され、
    前記最も典型的な色は、その前景マーカ色のメディアンおよび平均のうちの1つである、請求項1に記載の方法。
  20. イメージセンサ色平面ごとに、前景マーカ色として分類された各ピクセルを取り囲む局所パッチ内で極大輝度を有する背景白色ピクセルを識別することと、
    前記背景白色ピクセルの前記極大輝度で除算することによって前記前景マーカピクセルの値を正規化することと、
    を更に含む、請求項19に記載の方法。
  21. 前記局所パッチは、前景マーカ色として分類された前記ピクセルを取り囲む、20×20、50×50、および75×75の寸法のうちの1つである、請求項20に記載の方法。
  22. イメージセンサ色平面ごとに、前景マーカ色として分類された前記ピクセルを取り囲む前記局所パッチにおいて、最も暗い輝度を有する前景マーカ色ピクセルを識別することと、
    前景マーカピクセルとして分類された前記ピクセルの前記値を、前記最も暗い輝度を減算することによって正規化し、それによって前記イメージセンサ色平面の正規化されたグレースケールイメージを導出することと、
    を更に含む、請求項21に記載の方法。
  23. イメージセンサ色平面ごとに前記正規化されたグレースケールイメージをマージすることによって、高分解能グレースケールイメージを生成することを更に含む、請求項22に記載の方法。
  24. 前記高分解能グレースケールイメージにおいて対応する前景マーカ色として分類された各ピクセルに前記最も典型的な前景マーカ色を適用することによって、高分解能カラーイメージを再構成することを更に含み、
    前記最も典型的な前景マーカ色は、前記対応する前景マーカ色のメディアンおよび平均のうちの1つである、請求項23に記載の方法。
  25. 前記ホワイトボードビデオ信号の時系列を比較することによって、前記ホワイトボードのビューを間欠的に遮る人物を除去することと、
    静止していると判断されたイメージからのみホワイトボードデータを取り込むことと、
    を更に含む、請求項1に記載の方法。
  26. ホワイトボード会議のために、未加工ホワイトボードビデオイメージからタイムスタンプを付されたホワイトボードデータを生成するためのシステムであって、
    前記システムは、
    前記未加工ホワイトボードビデオイメージからホワイトボードを検出するように適合されたホワイトボード検出ユニットと、
    大域背景白色を定義し、ピクセルを背景白色として分類するように適合された背景ユニットと、
    各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合された前景マーカユニットと、
    各前景マーカ色のストロークを再構成するように適合されたストロークデジタイザと、
    タイムスタンプに関連付けられた、再構成されたホワイトボードイメージをレンダリングするように適合されたディスプレイと、
    を備え、
    各ストロークは前記未加工ホワイトボードビデオイメージに基づくタイムスタンプと関連付けられる、システム。
  27. 前記ストロークデジタイザは、(i)前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、(ii)所定の幅を有する前記ペン曲線に基づいて、再構成されたストロークをレンダリングすることと、によって前記再構成されたストロークを生成するように更に適合される、請求項26に記載のシステム。
  28. 前記所定の幅は、前記ストロークの平均幅である、請求項27に記載のシステム。
  29. 前記所定の幅は、他の前景マーカ色と比較して、前景マーカ色ごとに変動する、請求項27に記載のシステム。
  30. 前記ストロークデジタイザは、前記変曲点にスプライン補間を適用することによって前記ペン曲線を導出するように更に適合される、請求項27に記載のシステム。
  31. 前記スプライン補間は、平滑化スプライン補間である、請求項30に記載のシステム。
  32. 平滑化スプライン補間は、三次平滑化スプライン補間である、請求項31に記載のシステム。
  33. 前記背景ユニットは、局所パッチのための多数の局所背景白色を推定し、背景白色のためのバイナリマスクを生成するように更に適合される、請求項26に記載のシステム。
  34. 前記局所パッチは、多数のピクセルの各々を取り囲む、20×20、50×50、および75×75の寸法のうちの1つである、請求項26に記載のシステム。
  35. 前記多数のピクセルは、前記ホワイトボード内の各ピクセルを含む、請求項34に記載のシステム。
  36. 前記前景マーカユニットは、前景色として分類された各前景ピクセルを取り囲む局所パッチに基づいて、前景マーカ色ごとに別個に、およびイメージセンサ色平面ごとに別個に、色を正規化するように更に適合される、請求項26に記載のシステム。
  37. 前記前景マーカユニットは、前記局所パッチ内で識別された、最大局所背景白色および前景色ピクセルの最も暗い輝度に基づいて色を正規化するように更に適合される、請求項36に記載のシステム。
  38. 前記前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、それによって、イメージセンサ色平面とごとに別個に正規化されたグレースケールイメージを組み合わせることによって、高分解能のグレースケールイメージを生成するように更に適合される、請求項37に記載のシステム。
  39. 前記前景マーカユニットは、前記高分解能グレーイメージにおいて対応する前景マーカ色として分類された各ピクセルに前記定義された前景マーカ色を適用することによって高分解能カラーイメージを再構成するように更に適合される、請求項38に記載のシステム。
  40. 再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、前記ディスプレイにおいて、ユーザによって指定されたストロークに対応する前記ホワイトボードビデオイメージの一部を再生するように適合されたビデオストロークレビュアを更に備える、請求項26に記載のシステム。
  41. 前記ディスプレイは、タッチスクリーン入力を受信するように更に適合される、請求項40に記載のシステム。
  42. ユーザからの単語入力に基づいて再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別し、前記ディスプレイにおいて、前記再構成されたストロークを所定の色で強調するように適合された単語検出器を更に備える、請求項26に記載のシステム。
  43. ユーザからの音声入力に基づいて前記ホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別し、前記ディスプレイにおいて、前記再構成されたストロークを所定の色で強調するように適合された音声検出器を更に備える、請求項26に記載のシステム。
  44. 前記ディスプレイは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合されたワードクラウドパブリッシャを更に備える、請求項26に記載のシステム。
  45. 前記ホワイトボード会議の参加者のバイオメトリック署名を記憶し、それによって、前記参加者の前記バイオメトリック署名のうちの1つに基づいて前記参加者が識別されることを可能にするように適合されたバイオメトリックデータベースを更に備える、請求項26に記載のシステム。
  46. 前記バイオメトリック署名は、ストローク署名、顔署名、および音声署名のうちの1つである、請求項45に記載のシステム。
  47. 複数の参加者のためのホワイトボードビデオ連携システムであって、
    請求項45に記載のシステムと、
    前記バイオメトリックデータベースにおける前記参加者の対応する署名のうちの1つに基づいて、タイムスタンプを付されたホワイトボードデータを参加者に配信するように適合されたメッセージングユニットと、
    を備える、ホワイトボードビデオ連携システム。
  48. 前記メッセージングユニットは、Slack、Facebook Workplace、Cisco Spark、Microsoft Teams、HipChat、およびEmailのうちの1つである、請求項47に記載のシステム。
  49. 前記メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合され、前記ホワイトボードジェスチャは、前記ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含む、請求項48に記載のシステム。
  50. 前記メッセージングユニットは、(i)再構成されたホワイトボードイメージ内のハッシュタグを検出し、(ii)前記検出されたハッシュタグ領域と、所定のユーザチャネルとの間の一致を特定し、(iii)前記検出されたハッシュタグ領域内の前記再構成されたホワイトボードイメージを前記一致したユーザチャネルに投稿するように適合される、請求項49に記載のシステム。
  51. 前記ディスプレイは、所定の時刻より後のタイムスタンプを有する再構成されたストロークのみを示し、それによって、前記複数の参加者が、前記所定の時刻から仮想連携セッションを始めることを可能にするように更に適合される、請求項47に記載のシステム。
  52. アナログホワイトボードイメージを再構成するシステムであって、
    請求項26に記載のシステムと、
    前記ディスプレイに接続されたインクプリンタと、
    を備え、
    前記インクプリンタは、前記ディスプレイ内の前記再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合される、システム。
  53. 前記インクプリンタは、前記ホワイトボードプリントアウトのサイズを調整するように更に適合される、請求項52に記載のシステム。
JP2020520432A 2017-06-26 2018-06-25 インテリジェントホワイトボード連携システムおよび方法 Active JP7230016B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/632,953 US10387747B2 (en) 2017-06-26 2017-06-26 Intelligent whiteboard collaboratio systems and methods
US15/632,953 2017-06-26
PCT/US2018/039373 WO2019005706A1 (en) 2017-06-26 2018-06-25 SYSTEMS AND INTELLIGENT METHODS OF COLLABORATING WHITEBOARD

Publications (2)

Publication Number Publication Date
JP2020525962A true JP2020525962A (ja) 2020-08-27
JP7230016B2 JP7230016B2 (ja) 2023-02-28

Family

ID=64693322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020520432A Active JP7230016B2 (ja) 2017-06-26 2018-06-25 インテリジェントホワイトボード連携システムおよび方法

Country Status (9)

Country Link
US (2) US10387747B2 (ja)
EP (1) EP3646241A4 (ja)
JP (1) JP7230016B2 (ja)
KR (1) KR102670702B1 (ja)
CN (1) CN110809769B (ja)
AU (1) AU2018295212B2 (ja)
CA (1) CA3067222A1 (ja)
NO (1) NO20191491A1 (ja)
WO (1) WO2019005706A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6996367B2 (ja) * 2018-03-14 2022-01-17 株式会社リコー 電子黒板システム、電子黒板、方法、プログラム及び会議システム
US11638147B2 (en) 2019-11-22 2023-04-25 International Business Machines Corporation Privacy-preserving collaborative whiteboard using augmented reality
US11245871B1 (en) * 2021-01-04 2022-02-08 Servicenow, Inc. Gesture-based whiteboard
WO2023122537A1 (en) * 2021-12-20 2023-06-29 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image
WO2023235581A1 (en) * 2022-06-03 2023-12-07 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028901A1 (en) * 2001-06-14 2003-02-06 International Business Machines Corporation Periodic broadcast and location of evolving media content with application to seminar and stroke media
JP2004080750A (ja) * 2002-06-19 2004-03-11 Microsoft Corp ホワイトボードおよび音声のキャプチャのためのシステムおよび方法
US20040165786A1 (en) * 2003-02-22 2004-08-26 Zhengyou Zhang System and method for converting whiteboard content into an electronic document
JP2007334876A (ja) * 2006-06-19 2007-12-27 Reallusion Inc 文書イメージ処理システムおよび文書イメージ処理方法
JP2011524572A (ja) * 2008-06-14 2011-09-01 マイクロソフト コーポレーション マルチメディア会議イベント用のホワイトボード管理手法
US20150135328A1 (en) * 2013-11-14 2015-05-14 Wells Fargo Bank, N.A. Vehicle interface
US20150213395A1 (en) * 2014-01-24 2015-07-30 T Minus 5 Llc Meeting Tracking
US20160210037A1 (en) * 2015-01-21 2016-07-21 Lenovo (Singapore) Pte. Ltd. Presentation of representation of handwriting input on display

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404439A (en) * 1992-04-15 1995-04-04 Xerox Corporation Time-space object containment for graphical user interface
EP0566293B1 (en) * 1992-04-15 2003-07-16 Xerox Corporation Graphical drawing and editing systems and methods therefor
US5592608A (en) * 1993-10-15 1997-01-07 Xerox Corporation Interactively producing indices into image and gesture-based data using unrecognized graphical objects
US6144991A (en) * 1998-02-19 2000-11-07 Telcordia Technologies, Inc. System and method for managing interactions between users in a browser-based telecommunications network
US6473794B1 (en) * 1999-05-27 2002-10-29 Accenture Llp System for establishing plan to test components of web based framework by displaying pictorial representation and conveying indicia coded components of existing network framework
SG121851A1 (en) * 1999-06-30 2006-05-26 Silverbrook Res Pty Ltd Method and system for conferencing using processing sensor
US7653925B2 (en) * 1999-11-17 2010-01-26 Ricoh Company, Ltd. Techniques for receiving information during multimedia presentations and communicating the information
US20010035976A1 (en) * 2000-02-15 2001-11-01 Andrew Poon Method and system for online presentations of writings and line drawings
US6859909B1 (en) * 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
US6904182B1 (en) * 2000-04-19 2005-06-07 Microsoft Corporation Whiteboard imaging system
US20030095113A1 (en) * 2001-11-21 2003-05-22 Yue Ma Index and retrieval system and method for scanned notes from whiteboard
US7177483B2 (en) * 2002-08-29 2007-02-13 Palo Alto Research Center Incorporated. System and method for enhancement of document images
US7298930B1 (en) * 2002-11-29 2007-11-20 Ricoh Company, Ltd. Multimodal access of meeting recordings
JP2005108230A (ja) * 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ/ビデオコンテンツ認識・処理機能内蔵印刷システム
US7260278B2 (en) * 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing
US20050227218A1 (en) * 2004-03-06 2005-10-13 Dinesh Mehta Learning system based on metadata framework and indexed, distributed and fragmented content
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US7724953B2 (en) * 2006-05-17 2010-05-25 Qualcomm Incorporated Whiteboard, blackboard, and document image processing
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
JP5219706B2 (ja) * 2008-09-12 2013-06-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
US20120072843A1 (en) * 2010-09-20 2012-03-22 Disney Enterprises, Inc. Figment collaboration system
US8723789B1 (en) * 2011-02-11 2014-05-13 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US20130031457A1 (en) * 2011-07-28 2013-01-31 Peter Griffiths System for Creating and Editing Temporal Annotations of Documents
CN104106037B (zh) * 2012-02-13 2017-10-03 日立麦克赛尔株式会社 投影仪,图形输入·显示装置,便携终端和程序
US9013454B2 (en) * 2012-03-02 2015-04-21 Ricoh Co., Ltd. Associating strokes with documents based on the document image
US8805068B2 (en) * 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
US20140313216A1 (en) * 2013-04-18 2014-10-23 Baldur Andrew Steingrimsson Recognition and Representation of Image Sketches
US9665259B2 (en) * 2013-07-12 2017-05-30 Microsoft Technology Licensing, Llc Interactive digital displays
JP6255826B2 (ja) * 2013-09-13 2018-01-10 株式会社リコー システム、情報処理装置、画像表示方法、プログラム、記憶媒体
US20150135067A1 (en) * 2013-11-14 2015-05-14 Wells Fargo Bank, N.A. Intelligent data presentation
CN107534704B (zh) * 2015-05-07 2020-11-06 株式会社理光 一种经由通信网络连接的信息处理方法、设备和介质
US9658702B2 (en) * 2015-08-12 2017-05-23 Smart Technologies Ulc System and method of object recognition for an interactive input system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028901A1 (en) * 2001-06-14 2003-02-06 International Business Machines Corporation Periodic broadcast and location of evolving media content with application to seminar and stroke media
JP2004080750A (ja) * 2002-06-19 2004-03-11 Microsoft Corp ホワイトボードおよび音声のキャプチャのためのシステムおよび方法
US20040165786A1 (en) * 2003-02-22 2004-08-26 Zhengyou Zhang System and method for converting whiteboard content into an electronic document
JP2007334876A (ja) * 2006-06-19 2007-12-27 Reallusion Inc 文書イメージ処理システムおよび文書イメージ処理方法
JP2011524572A (ja) * 2008-06-14 2011-09-01 マイクロソフト コーポレーション マルチメディア会議イベント用のホワイトボード管理手法
US20150135328A1 (en) * 2013-11-14 2015-05-14 Wells Fargo Bank, N.A. Vehicle interface
US20150213395A1 (en) * 2014-01-24 2015-07-30 T Minus 5 Llc Meeting Tracking
US20160210037A1 (en) * 2015-01-21 2016-07-21 Lenovo (Singapore) Pte. Ltd. Presentation of representation of handwriting input on display

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI-WEI HE;ZHENGYOU ZHANG: "Real-Time Whiteboard Capture and Processing Using a Video Camera for Remote Collaboration", IEEE TRANSACTIONS ON MULTIMEDIA VOL.9 NO.1 JANUARY 2007, vol. Volume: 9, Issue: 1, JPN6022027634, January 2007 (2007-01-01), pages 198 - 206, ISSN: 0004818578 *
武部 浩明: "デジタルペンを活用したグループワーク電子化支援システム", 電子情報通信学会技術研究報告 VOL.111 NO.500, vol. PRMU2011-260, HIP2011-88 (2012-3), JPN6022027633, 22 March 2012 (2012-03-22), JP, pages 129 - 134, ISSN: 0004818577 *
神谷 葉月: "インタラクティブな手書き幾何作図のための自由曲線整形法", 情報処理学会 研究報告 ヒューマンコンピュータインタラクション(HCI), vol. Vol.2017-HCI-171 No.17, JPN6022027632, 16 January 2017 (2017-01-16), JP, pages 1 - 8, ISSN: 0004818576 *

Also Published As

Publication number Publication date
CN110809769A (zh) 2020-02-18
US20190325253A1 (en) 2019-10-24
NO20191491A1 (en) 2019-12-18
JP7230016B2 (ja) 2023-02-28
AU2018295212B2 (en) 2023-04-20
EP3646241A4 (en) 2021-03-24
US11205087B2 (en) 2021-12-21
CN110809769B (zh) 2024-02-13
CA3067222A1 (en) 2019-01-03
US10387747B2 (en) 2019-08-20
KR20200022453A (ko) 2020-03-03
WO2019005706A1 (en) 2019-01-03
AU2018295212A1 (en) 2020-01-16
US20180373954A1 (en) 2018-12-27
KR102670702B1 (ko) 2024-05-31
EP3646241A1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
JP7230016B2 (ja) インテリジェントホワイトボード連携システムおよび方法
CN109804622B (zh) 红外图像流的重新着色
US9524028B2 (en) Visual language for human computer interfaces
CN107408205B (zh) 用红外成像区分前景和背景
US10469701B2 (en) Image processing method that obtains special data from an external apparatus based on information multiplexed in image data and apparatus therefor
Du et al. Saliency-guided color-to-gray conversion using region-based optimization
US11138695B2 (en) Method and device for video processing, electronic device, and storage medium
US20180336397A1 (en) Method for detecting a live face for access to an electronic device
TWI701018B (zh) 資訊處理裝置、資訊處理方法、及程式
US20180232192A1 (en) System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
Hadiprakoso et al. Face anti-spoofing using CNN classifier & face liveness detection
Zangana et al. A new algorithm for human face detection using skin color tone
CN109583330B (zh) 一种用于人脸照片的毛孔检测方法
TW201738844A (zh) 監控裝置、監控方法及計數方法
US20180116582A1 (en) Elasticity evaluation apparatus, elasticity evaluation method, and elasticity evaluation program
Sandnes et al. Simple and practical skin detection with static RGB-color lookup tables: A visualization-based study
Devi et al. Active facial tracking
Singhai et al. Hand segmentation for hand gesture recognition
CN109766831A (zh) 一种道路色带识别方法、装置、计算机设备、及存储介质
KR20240147241A (ko) 지문 융선의 디지털 증강 장치 및 방법
CN118840335A (en) Health condition identification method, device, equipment and readable storage medium
Reddy et al. Log-gabor filters and lda based facial expression recognition
CN112907492A (zh) 物体运动轨迹的生成方法及生成系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221004

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221005

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230215

R150 Certificate of patent or registration of utility model

Ref document number: 7230016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150