JP2017229060A - 会議コンテンツを表現する方法、プログラム、及び装置 - Google Patents

会議コンテンツを表現する方法、プログラム、及び装置 Download PDF

Info

Publication number
JP2017229060A
JP2017229060A JP2017078380A JP2017078380A JP2017229060A JP 2017229060 A JP2017229060 A JP 2017229060A JP 2017078380 A JP2017078380 A JP 2017078380A JP 2017078380 A JP2017078380 A JP 2017078380A JP 2017229060 A JP2017229060 A JP 2017229060A
Authority
JP
Japan
Prior art keywords
participant
online presentation
presentation
online
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017078380A
Other languages
English (en)
Other versions
JP6939037B2 (ja
Inventor
ローラン ドゥヌ
Laurent Denoue
ドゥヌ ローラン
ガーゲンソン アンドレアス
Andreas Girgensohn
ガーゲンソン アンドレアス
カーター スコット
Scott Carter
カーター スコット
メロー ジェニファー
Marlow Jennifer
メロー ジェニファー
クーパー マシュー
Matthew Cooper
クーパー マシュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2017229060A publication Critical patent/JP2017229060A/ja
Application granted granted Critical
Publication of JP6939037B2 publication Critical patent/JP6939037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】会議参加者の発話の状態や発話における参加者の関係を表現することを可能とする。
【解決手段】コンピュータが、少なくとも1つのメディアセグメントについて、オンラインプレゼンテーションを処理し、前記少なくとも1つのメディアセグメントから、少なくとも1人の前記オンラインプレゼンテーションの参加者の関係を示す情報を抽出し、前記少なくとも1人の参加者に対する前記少なくとも1つの関係を示す要約を、前記オンラインプレゼンテーションについて、生成する。
【選択図】図6

Description

本開示は、会議コンテンツを表現する方法、プログラム、及び装置に関する。
関連技術の実装において、ウェブベースビデオ会議ツールが存在し、当該ツールによれば、ユーザは、オンライン会議を行うことができ、ウェブカメラ及び画面を共有することができ、写真及びテキストメッセージを交換することができる。関連技術の実装によれば、ユーザは、誰が出席したか、(音声アクティビティ検出を使用して、)ユーザが発話したとき、ウェブカメラまたは共有画面が適切に選択されたキーフレームによってどのように見えたか、共有コンテンツ上でユーザのどのアクションがあったか、などに基づいて、会議を記録することができ、会議にインデックスを付加することができる。
関連技術の実装において、ウェブ会議は、参加者毎に1つのフラットなビデオファイルを使用してアーカイブされるか、もしくは、参加者の全ストリームをタイル化して結合した1つのビデオファイルを使用してアーカイブされる。しかしながら、線形的なビデオで、例えば、誰がどこで発話したか、を理解するために、もしくは、会議の発話順の特徴をブラウズするために、(例えば、長時間発話している参加者がいたか、発話者が何について発話していたか、発話者以外の参加者は何を見ていたか、などを知るために)会議をブラウズするのは困難である。
会議をブラウズするインターフェイスを提供するために、関連技術の実装は、サーチ機構を提供している。発話のテキスト化及びOCR(optical character recognition)を使用して、適切なインデックスが会議に付加された場合、サーチインターフェイスはビデオから抽出されたスニペット(例えば、キーフレーム)をリターンすることができる。これにより、ユーザは、ビデオ会議の関連部分を迅速に抽出することができる。
関連技術のサーチシステムにおいて、ソースストリームは、マルチレベルビデオ分割におけるスピーチトランスクリプトから引き出される話者セグメント及びトピック情報を使用して分割されてもよい。
アドコック(Adcock)ら、マルチレベルインデックスを使用したインタラクティブビデオサーチ(Interactive Video Search Using Multilevel Indexing)、画像及びビデオ検索(Image and Video Retrieval)、コンピュータサイエンス(Computer Science)、2005年、Volume 3568、頁205〜2014 バーグストロム(Bergstrom)ら、もっと見る:音声キューの可視化(Seeing More: Visualizing Audio Cues)、ヒューマンコンピュータインタラクション(Human-Computer Interaction)、コンピュータサイエンス(Computer Science)、2007年、Volume 4663、頁29〜42 チュアン(Chuang)ら、不要なワードを散乱させない、テキスト可視化の記述的キーフレーズ(Without the Clutter of Unimportant Words: Descriptive Keyphrases for Text Visualization)、コンピュータヒューマンインタラクションにおけるACMトランザクション(ACM Transactions on Computer-Human Interaction)、2012年10月、No. 19、頁29
本開示の課題は、会議参加者の発話の状態や発話における参加者の関係を表現することを可能とすることである。
第1の態様は、会議コンテンツを表現する方法であって、コンピュータが、少なくとも1つのメディアセグメントについて、オンラインプレゼンテーションを処理し、前記少なくとも1つのメディアセグメントから、少なくとも1人の前記オンラインプレゼンテーションの参加者の関係を示す情報を抽出し、前記少なくとも1人の参加者に対する前記少なくとも1つの関係を示す要約を、前記オンラインプレゼンテーションについて、生成する。
第2の態様は、第1の態様の方法であって、前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記少なくとも1人の参加者の前記オンラインプレゼンテーションへの関与レベルを含み、前記オンラインプレゼンテーションの前記要約を生成することは、前記オンラインプレゼンテーションに参加した各参加者に対して、前記関与レベルを表す強調表示を含む前記参加者を表す画像を生成することを含む。
第3の態様は、第1の態様の方法であって、前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記オンラインプレゼンテーションにおける複数の参加者の発話順を含み、前記オンラインプレゼンテーションについて前記要約を生成することは、前記参加者を表す画像の間に、前記複数の参加者の発話順を示す表示を生成することを含む。
第4の態様は、第1または第2の態様の方法であって、前記オンラインプレゼンテーションの間共有されるコンテンツを、前記メディアセグメントから抽出する、ことをさらに含み、前記オンラインプレゼンテーションの前記要約を生成することは、少なくとも1人参加者の間で共有される前記コンテンツまたは前記メディアセグメントの音声認識から抽出されるキーワードの少なくとも一方を生成することを含む。
第5の態様は、第1〜第4の何れか1項に記載の方法であって、前記少なくとも1人の参加者のオンラインプレゼンテーションのストリームの各々の重要度を判定する、ことをさらに含み、前記オンラインプレゼンテーションの前記要約を生成することは、前記重要度に基づいて前記オンラインプレゼンテーションのプレゼンテーション時間の各々について、前記ストリームを選択することを含む。
第6の態様は、第5の態様の方法であって、前記要約の背景として選択された前記ストリームを使用する、ことをさらに含む。
第7の態様は、第1〜第6の態様の方法であって、前記メディアセグメントから感情を検出する、ことを含み、前記オンラインプレゼンテーションの前記要約を生成することは、前記少なくとも1人の参加者の各々を表す画像に、前記感情を示す表示を重畳することを含む。
第8の態様は、第1〜第7の何れかの態様の方法であって、前記オンラインプレゼンテーションの前記要約を生成することは、前記メディアセグメントから生成された少なくとも1つのキーワードに基づいてサーチインターフェイスを生成することを含む。
第9の態様は、第1〜第8の何れかの態様の方法であって、前記要約は、前記メディアセグメントを拾い見するインターフェイスを含む。
第10の態様は、第1〜第8の何れかの態様の方法であって、前記要約は、前記メディアセグメントからの画像、プレゼンテーションマテリアル、及び参加者に関する情報を含むストーリーボードを含む。
第11の態様は、会議コンテンツ表現処理をコンピュータに実行させるためのプログラムであって、少なくとも1つのメディアセグメントについてオンラインプレゼンテーションを処理し、前記少なくとも1つのメディアセグメントから、少なくとも1人の前記オンラインプレゼンテーションの参加者の関係を示す情報を抽出し、前記少なくとも1人の参加者に対する前記少なくとも1つの関係を示す要約を、前記オンラインプレゼンテーションについて、生成する。
第12の態様は、第11の態様のプログラムであって、前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記少なくとも1人の参加者の前記オンラインプレゼンテーションへの関与レベルを含み、前記オンラインプレゼンテーションの前記要約を生成することは、前記オンラインプレゼンテーションに参加した各参加者に対して、前記関与レベルを表す強調表示を含む前記参加者を表す画像を生成することを含む。
第13の態様は、第11または第12の態様のプログラムであって、前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記オンラインプレゼンテーションにおける複数の参加者の発話順を含み、前記オンラインプレゼンテーションについての前記要約を生成することは、前記参加者を表す画像の間に、前記複数の参加者の発話順を示す表示を生成することを含む。
第14の態様は、第11〜第13の何れかの態様のプログラムであって、前記オンラインプレゼンテーションの間共有されるコンテンツを、前記メディアセグメントから抽出する、ことをさらに含み、前記オンラインプレゼンテーションの前記要約を生成することは、1人もしくは複数の参加者の間で共有される前記コンテンツまたは前記メディアセグメントの音声認識から抽出されるキーワードの少なくとも一方を生成することをさらに含む。
第15の態様は、装置であって、少なくとも1つのメディアセグメントについてオンラインプレゼンテーションを処理し、前記少なくとも1つのメディアセグメントから、少なくとも1人の前記オンラインプレゼンテーションの参加者の関係を示す情報を抽出し、前記少なくとも1人の参加者に対する前記少なくとも1つの関係を示す要約を、前記オンラインプレゼンテーションについて生成する、プロセッサ、を含む。
第16の態様は、装置であって、前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記少なくとも1人の参加者の前記オンラインプレゼンテーションへの関与レベルを含み、前記プロセッサは、前記オンラインプレゼンテーションに参加した各参加者に対して、前記関与レベルを表す強調表示を含む、前記参加者を表す画像を生成することで、前記オンラインプレゼンテーションの前記要約を生成し、前記関与レベルは、前記少なくとも1人の参加者からの音声及び入力の少なくとも一方に基づいて判定される。
第17の態様は、第15または第16の態様の装置であって、前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記オンラインプレゼンテーションにおける複数の参加者の発話順を含み、前記プロセッサは、前記参加者を表す画像の間に、前記複数の参加者の発話順を示す表示を生成することで、前記オンラインプレゼンテーションの前記要約を生成する。
第18の態様は、第15の態様の装置であって、前記プロセッサは、さらに、前記オンラインプレゼンテーションの間共有されるコンテンツを、前記メディアセグメントから抽出し、前記プロセッサは、少なくとも1人の参加者の間で共有される前記コンテンツまたは前記メディアセグメントの音声認識から抽出されるキーワードの少なくとも一方を生成することで、前記オンラインプレゼンテーションの前記要約を生成し、前記プロセッサは、前記メディアセグメントの音声認識から抽出されたキーワード及び前記メディアセグメントのテキストチャット部分から抽出されたキーワードの少なくとも一方に基づいて前記要約のサーチインターフェイスを生成する。
第19の態様は、第15〜第18の何れかの態様であって、前記プロセッサは、さらに、前記少なくとも1人の参加者のオンラインプレゼンテーションストリームの各々の重要度を判定し、前記プロセッサは、前記重要度に基づいて前記オンラインプレゼンテーションのプレゼンテーション時間の各々のストリームを選択することで、前記オンラインプレゼンテーションの前記要約を生成し、前記重要度は、前記オンラインプレゼンテーションストリームの各々の最大化された閲覧数に基づいて前記少なくとも1人の参加者の関心から判定される。
第20の態様は、第15の態様であって、前記プロセッサは、さらに、前記メディアセグメントから感情を検出し、前記プロセッサは、前記少なくとも1人の参加者の各々を表す画像に、前記感情を示す表示を重畳することで、前記オンラインプレゼンテーションの前記要約を生成する。
本開示は、会議参加者の発話の状態や発話における参加者の関係を表現することを可能とする。
例示的な実装による会議記録の生成ビデオの状態のいくつかまたはストーリーボードのパネルのいくつかを示す。 例示的な実装による会議記録の生成ビデオの状態のいくつかまたはストーリーボードのパネルのいくつかを示す。 例示的な実装による会議記録の生成ビデオの状態のいくつかまたはストーリーボードのパネルのいくつかを示す。 例示的な実装による話者間の遷移例を示す。 例示的な実装によるタイトルキーフレームの例を示す。 感情の適用を含む例示的な実装を示す。 例示的な実装によるフローチャートの例を示す。 例示的な実装によるフローチャートの例を示す。 例示的な実装での使用に適した例示的なコンピュータデバイスを含む計算処理環境の例を示す。
以下で、本開示の図面及び例示的な実装について詳細に説明する。複数の図面にわたって重複する参照符号及び説明は、煩雑さを避けるために省略する。使用する用語は例示であり、限定を意図していない。例えば、用語「自動」は、全自動の実装、もしくは、所望される実装に応じた、実装のある局面におけるユーザまたは管理者の制御を含む半自動の実装を含み得る。
例示的な実装において、特定のプレゼンテーションの要約の形態で、インターフェイスを説明するが、他の実装も可能であり、本開示は、当該インターフェイスに限定されない。例えば、インターフェイスは、特定のプレゼンテーションをナビゲートするために修正された汎用的なテンプレートインターフェイスの形態であってもよい。オンラインプレゼンテーションは、ドキュメントに関与する所与のオンラインプレゼンテーションであってよいし、ライブ(例えば、会議室)、メッセンジャアプリケーションによるインターネットを介した会議、または記録されオンラインでアクセス可能な電話会議の何れかの2人以上の参加者による記録された会議を含んでもよい。
サーチベースインターフェイスは、サーチを実行する前に、何をサーチするのか、をユーザが知る必要がある点で限定的である。さらに、関連技術のシンプルな結果スニペットの使用は、会議の全体的なコンテキストを理解することができるように、ユーザを支援することに限定される。関連技術の実装は、会議中に共有されるドキュメント上で行われるユーザのアクションを重畳する、改良されたスニペットを提供することで上記問題に対処している。しかしながら、重畳では、全体として会議を表すことはできないし、会議を跨るコンテキストを提供することができない。
また、関連技術は、サーチ結果を提供する基本システムによるオンラインプレゼンテーションのアーカイブシステムを開示しているだけである。アーカイブシステムは、オンラインプレゼンテーションにインデックスを付加するためにオンラインプレゼンテーションの最小限の分析を行うだけである。本開示の例示的な実装は、個々のオンラインプレゼンテーションに向くインターフェイスを生成するプロセスを組み合わせることで、個々のオンラインプレゼンテーションのサーチ可能性の欠如という基本的な問題に対処する。
記録されたメタデータ(誰がいつ発話したか、発話者のウェブカメラ画像、発話者の画面キャプチャ、チャットメッセージ、マウスアクションなど)を使用することで、本開示の例示的な実装は、会議を迅速に拾い見ることができる2つの表現のバージョンを生成する。一方は、ビデオのようにタイムラインによってユーザが操作することができ、他方は、ストーリーボードインターフェイスのような外観をもつ。
例示的な実装のインターフェイスによれば、ユーザは極めて迅速に、発話者の順番(例えば、誰がいつ発話したか)などの会議の要約を取得することができ、概ね1人の話者が発話しているときに対して、複数の話者が発話する重要な(極めて関連性が高い)議論が生じているときを識別し、議論されているトピックを識別し(例えば、音声テキスト変換、画面の共有及びチャットメッセージのOCR)、共有物(例えば、スクリーンショットまたは画面共有、ホワイトボード画像、チャット、リンク)を確認し(例えば、見る)、ドキュメント上でのマウスモーションなどを共有している間に何が行われたか確認する(例えば、見る)。関心ポイントを見付けると、ユーザはその時点の会議を再生することができる。
また、ユーザはキーワード及びメタデータを使用することで、会議の生成された表示をサーチし、フィルタリングする(例えば、ジョンが発話していたときだけを表示する、チャットが送信されたときだけを表示する、スライドが表示されたときだけを表示する)ことができる。
本開示の例示的な実装は、会議の2つの新しい表示を生成する。一方は、ビデオに類似した拾い見可能なプレゼンテーションであり、他方は会議のシーンを順に説明するようなストーリーボード形式であってよいが、これらに限定されない。ストーリーボード形式の各パネル及び拾い見プレゼンテーション形式の各セグメントは、主な共有コンテンツを表示する領域(例えば、矩形、円形など)に、各参加者の顔画像が表示される実装を使用する。一例において、参加者の顔画像は、各参加者のキャプチャしたキーフレームを示し、参加者の顔画像の周囲に枠や輪を設けることで参加者が発話していることを示すことができる。顔画像の周囲の枠や輪のサイズ(太さや大きさ)は他の参加者との相対的な発話時間を示すことができる。例示的な実装は顔画像の周囲に設けた枠や輪を使用するが、所望される実装に依存して、他の実装(例えば、グレースケールからカラートーンへの変化、サイズなど)も可能であり、本開示は顔画像の周囲に設けた枠や輪による強調表示に限定されない。他の例示的な実装において、ストリーボードパネル形式として表示されているシーンまたは拾い見プレゼンテーション形式のある時点で表示されているセグメントにおける、発話者の遷移を示すために、異なる太さの矢印または他の指標で参加者の顔をつなげてもよい。
図1A〜図1Cは、例示的な実装において会議記録で生成したビデオのいくつかの状態もしくはストーリーボードのいくつかのパネルを例示する。図1A〜図1Cの例示的な実装で示したように、発話している話者の周りを囲む輪を付すことによる強調表示をした状態で、各セグメントの異なるタイトルキーフレームを表示している。図1Aの例では、第1ユーザが発話し、第1ユーザがスライドを表示している間、他のユーザは、発話を聞いている。次に、図1Bは、第2ユーザが共有スライドを使用して発話し、第2ユーザのマウスで共有スライドのチャートを指し示していることを示す。図1A及び図1Bに例示されるように、主領域には、例えば、ドキュメント、画像、画面、チャットメッセージ、ホワイトボード画像、及び他のプレゼンテーションマテリアルなどの共有コンテンツを表示している。
図1Cの例において、2人のユーザの間で重要なインタラクションがあり、それを、ユーザーの周りを囲む輪の太さのサイズによる強調表示で示している。発話テキスト変換によって抽出される重要なキーワード(管理(management)、プロジェクト(project))は、2人のユーザがプロジェクト管理について発話していたことを示す。図1Cに例示されるように、コンテンツが共有されていない場合、背景領域は、共有コンテンツの代わりに、発話テキスト変換チャネルから注意深く抽出されるキーワードを表示する。所望される実装に応じて、例えば、メタデータから生成されたタグなどのワードを含む他の文字列が使用されてもよく、本開示は、発話テキスト変換による実装に限定されない。
図2は、複数の参加者同士の関係としての、例示的な実装による話者の遷移を表した例を示す。詳細には、図2の例では、図1Cのキーフレームを話者の遷移を使用して表したもので、矢印の太さは話者が遷移した回数及び期間を表す。話者の遷移は、話者間のインタラクション、どの話者が特定のセグメントに参加していたか、など、会議のセグメントに関する重要な情報を提供する。図2の例では、どのように、話者の遷移が矢印で可視化され得るかを示す。矢印の太さは遷移の回数、遷移後に話者が話した総時間長、またはその2つの加重平均を表し得る。
話者の発話時間を可視化する代替的な手段として、異なる大きさの画像を使用することで、各会議参加者が発話した時間量を示してもよい。異なる大きさの画像は、コミックブックの頁のような形態で配列されてもよいし、所望される実装に応じて他の手段で配列されてもよい。他の例示的な実装において、コミックページにおける吹き出しで発話の最も重要な局面または発話の要約を表示することができ、重要さは、所望される実装に基づいて定義され得る。会議セグメントにおいてテキストを提示するために、図2に描画されるようにワードクラウド(単語群による表示)を使用してもよい。誤認識されたワードの出現頻度は低い傾向があることから、誤認識に基づくワードはワードクラウドの中で目立たなくなるので、このアプローチは発話の認識におけるエラーに対して極めてロバストである。所望される実装に応じて、頻出度が閾値より低いワードを除去するために、ワードの頻出度に対して閾値を設定してもよい。
会議は複数のトピックを含む場合がある。例示的な実装において、各トピックについて別個の要約を提示することは、会議の拾い見を容易にする。例示的な実装は、トピックの境界を検出することができるテキストの自己相似を使用してもよい。会議について、セグメント間のテキスト類似性を使用して隣接する話者のセグメントをクラスタリングするトピックセグメンテーションを構築することは、自然な選択である。音声アクティビティ検出は、クライアントの会議に組み込まれ、話者境界を導出するために使用され得る。対でのセグメント類似は、各セグメントにおける発話されたテキストを表す様々なテキスト特徴を抽出することで数値化され得る。
高いレベルでのトピック境界が決定されると、各トピックは、別個に可視化されるか、または、自動会話認識(ASR;automatic speech recognition)の認識結果または画面テキストから取り出された代表的なテキストと関連付けられてもよい。会議及び講義におけるキーフレーズは、手動で生成されたトランスクリプトを使用してNLP(natural language processing)でよく検討される。他のテキストマイニングアプローチも、ASRトランスクリプトを使用する作業に適している。
例示的な実装では、ユーザの表示を可視化するためにいくつかのデータチャネルを使用するように構成されていてもよい。たとえば、可能であれば、ウェブカメラによるストリーム画像や、そのユーザのアバタ/名称によって、代替することが可能である。会議ビデオの拾い見を容易にするために、例示的な実装として、参加者の顔の位置を(例えば、中央に)調整してもよい。
図3は、例示的な実装によるタイトルキーフレームの例を示す。図3の例示的なインターフェイスにおいて、タイトルキーフレームは、ストーリーボードのようにシーンを順に説明するような形式で提示されてもよい。図3の例示的な実装において、キーフレームをクリックすることで、ビデオまたはチャットログの対応するセグメントをナビゲートすることができる。インターフェイスを使うユーザは、サーチボックスを使用して、手動でキーフレームをフィルタリングすることができる。
例示的な実装では、会議の参加者の感情を適用することができる。感情(例えば、音声、テキストメッセージ、センサなどから抽出される)は、例示的な実装によって適用され、キーワード及び参加者の顔画像の周囲を囲んでいる枠や輪を着色することで表現してもよい。図4は、感情の適用に関与する例示的な実装を示す。図4に例示するように、感情を表すカラーホイールを、一般的なフレームワークとして、顔画像の周囲を囲む枠や輪の色を決定するために使用してもよい。図4では、参加者の顔の周囲を囲む輪や周囲が光っているようなエフェクト(haloまたはglow)で感情を示している。図4における顔画像の周囲を囲む輪や光っているエフェクトが参加者の驚きを示し、会議を拾い見するユーザが重要なセグメントを迅速に見つける支援となり得る。図4の例において、第1のユーザによる発話に対して、2人のユーザが驚きを示している。例示のために、周囲の枠や輪の色を緑で表現すると参加者が幸福であることを示し、周囲の枠や輪の色を黄色で表現した場合には参加者が驚いていることを示し、周囲の枠や輪を赤で表現した場合には参加者が怒っていることを示し、周囲の枠や輪を青で表現した場合には参加者が悲しんでいることを示し、周囲の枠や輪を紫で表現した場合には参加者がうんざりしていることを示し得る。例示的な色の選択は、所望される実装(例えば、グレースケール、温度分布マップなど)によって変更されてもよく、上記例示的な感情の色表現の設定に限定されない。また、所望される実装に応じて、他の指標(例えば、形状、サイズなど)を使用してもよく、所望される実装に応じて、顔画像の周囲の枠や輪を他の指標(例えば、ハイライト、音声キュー、グラフィカルアイコンインジケータなど)と置き替えてもよい。
例示的な実装において、参加者の周囲のアクティビティのレベルを、参加者の顔画像の周囲の枠や輪によって表してもよい。音声検出手段を使用してアクティビティのレベルを算出してもよいが、所望される実装に応じて、例えば、マウス/テキストアクション及びその時点で送信されたチャットメッセージなど他の情報を使用してもよい。これらの例示的な情報は、ユーザによる会議の拾い見を支援するように可視化において援用されてもよい。
装飾された参加者の顔に隣接する背景フレームは、その時点で共有されている重要なマテリアル、例えば、部屋のホワイトボードを表示するウェブカメラのストリーム、ドキュメントを撮影した画像、共有されている画面、アップロードされているドキュメントなど、であってよい。
例示的な実装は、提示するマテリアルを自動的に判定することができる。参加者が複数存在する会議の場合、様々な参加者の間で共有されている関心をもたれる可能性がある多くのアイテムが存在し得る。例示的な実装において、複数の参加者がドキュメントまたは画像を共有してもよく、他の参加者が自身の顔のビデオフィードをストリーミングしてもよい。このような場合、例示的な実装は、何人の参加者が個々の閲覧で提示を最大化したか、に基づいて、これらのマテリアルの内どのマテリアルが要約に維持され提示されるような関心をもたれたかを推測するために使用され得る。
例示的な実装はチャットベースのアプリケーションに適用されてもよい。ウェブベース会議以外に、例示的な実装は、例えば、企業アプリケーションにあり得るチャットセッションを拾い見するために使用されてもよい。ウェブカメラフィードがない場合であっても、これらのセッションは、参加者、参加者が「会議」の間関与するレベル、共有されたファイル(ドキュメント、画像、ビデオへのリンクなど)、及び、(例えば、感情または感傷分析を使用して)感情を容易に取り出すことができる全てのテキストメッセージ及びキーワード抽出も含む。ビデオウェブ会議を可視化するために説明される同様の技術を、チャットセッションを可視化するために適用可能である。
例示的な実装は、プレゼンテーションのカスタマイズにサーチ手段を提供してもよい。会議全体の要約を閲覧する代わりに、ユーザは、図3の例に示されるようなサーチインターフェイスを介して、ユーザが関心をもつものを示してもよい。サーチインターフェイスの一部分は、認識された発話のフルテキストサーチ及び共有ドキュメントを提供する。例示的な実装では、サーチにマッチングする会議の部分が要約される。マッチングワードは、共有ドキュメント及び発話テキスト変換によって抽出されるキーワードにおいて強調されてもよい。さらに、話者の画像をクリックすることで、または、サーチテキストに話者を含めることで(例えば、「@Able」)、話者が特定されてもよい。最後に、共有ドキュメントは、会議の間共有された全てのドキュメントを表すサムネイルのリストから選択されてもよい。選択されたドキュメントが共有されている間、会議の部分が要約される。
例示的な実装のサーチインターフェイスを使用して、ユーザは、参加者のアクティビティを強調するバージョンの会議を見ることができる。これは、例えば、参加者自身のバージョンの会議を見るために使用されてもよいし(例えば、「私はどんなアクションをとったのか」)、2、3人が混在し得る他の参加者のアクションを見るために使用されてもよい(例えば、「@Maryと@Johnの拾い見可能な会議の要約を表示せよ」)。
図5は、例示的な実装によるフローチャートの例を示す。501で、例示的な実装は、ウェブ会議で発生し得るビデオ、音声、プレゼンテーション、キーワード、チャット及び何れか他のメディアの形態であり得るメディアセグメントを取得する。502で、各セグメントを処理するプロセスを開始する。503で、チャットメッセージや、発話した音声のテキスト変換、OCR結果、または、所望される実装に応じて、メディアセグメントから提供される他のマテリアルからキーワードが抽出される。504で、話者の発話時間及び話者の遷移が、メディアセグメントから判定される。
話者の変更、及び発話時間は、当該技術で既知の所望される実装によって検出され得る。このフローでキャプチャされ得る情報は、次の話者が発話するまでに話者がプレゼンテーションを行った時間長を含み、プレゼンテーションを行った時間長は、話者がプレゼンテーションを行った回数、所与の話者の後に特定の話者がプレゼンテーションを行った回数、などを所望の実装に応じて含み得る。
505で、共有されるコンテンツに関する情報が、メディアセグメントから判定される。共有コンテンツは、所望される実装に依存する何れかの方法によって識別されることができ、共有コンテンツによって行われるインタラクションに基づいて重み付けされる。例において、スコアを付加することは、所望される実装に応じて、共有コンテンツとインタラクションを行う参加者の数、プレゼンタと関連付けられている重要度、共有された回数など、に基づいて、共有コンテンツに適用され得るが、これらに限定されない。
506で、メディアマテリアルから感情を判定する。図4の例示的な実装で説明されるように、所望される実装に応じて、例えば、驚き、怒り、情報であれば何でもよい、ユーザ入力を判定するための感情が、所望される。
507で、タイトルフレームを生成するプロセスが開始され、タイトルフレームは、メディアセグメントから抽出される情報に基づいて判定される。508で、タイトルフレームの構築について、多くの話者遷移が存在するか否か判定される。判定は、例えば、閾値の適用、予め定められている定義、または、所望される実装に応じた何れか他の方法によって行われ得る。判定が肯定された(Y)場合、509で示されるように、タイトルフレームとして遷移の可視化情報が生成され、判定が否定された(N)場合、510で示されるように、接続されていない顔が適用される。このような実装において、話者間の遷移の数が判定条件を下回る場合、(例えば、図4に例示される矢印、遷移を示すインターフェイスなどによって、)話者間の遷移を示すために、グラフィックが適用されてもよい。遷移の数が判定条件を越える場合、遷移図または他の図など代替的な方法を、所望される実装に応じて使用してもよい。
511で、コンテンツが共有されているか否か判定する。コンテンツが共有されている(Y)場合、コンテンツからのキーフレームを512で使用する。コンテンツが共有されていない(N)場合、513で、キーフレーズワードクラウドを使用する。
514で、ストーリーボード表示を表示するか否か判定する。判定が肯定された(Y)場合、フローは、タイトルキーフレームを空間的にレイアウトするために515に進む。判定が否定された(N)場合、フローは、ビデオ再生ツールにタイトルキーフレームを挿入する516に進む。
517で、提示するストリームの判定に関する処理が開始される。518で、ユーザが、他のストリームより長く一つのストリームを見ていたか判定する。判定が肯定された(Y)場合、フローは519に進み、他のストリームより長く閲覧されていた(例えば、アクセスされていた)ストリームを選択する。判定が否定された(N)場合、520に進み、ストリームを結合する。
図6は、例示的な実装によるフローチャートを示す。601で、システムは、1つもしくは複数のメディアセグメントについて、オンラインプレゼンテーションの処理を行う。602で、システムは、オンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係を示す1つもしくは複数のメディアセグメントから情報を抽出する。603で、システムは、オンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係を示すインターフェイスを、オンラインプレゼンテーションについて、生成する。図6のフローチャートは、図7で説明される装置に実装し得る。
図7は、例示的な実装に適した例示的なコンピュータデバイスを含む例示的な計算処理環境を示す。例えば、以下で概要を説明する例示的なコンピュータデバイスは、オンラインプレゼンテーションにインデックスを付加するオンラインプレゼンテーションインターフェイス生成システムを含むプレゼンテーションアーカイブシステムを増強するプレゼンテーションアーカイブシステムと共に使用されてもよい。計算処理環境700のコンピュータデバイス705は、1つもしくは複数の処理ユニット、コア、またはプロセッサ710、メモリ715(例えば、RAM、ROMなど)、内部ストレージ720(例えば、磁気、光、ソリッドステートストレージ、有機など)、及び/または、I/Oインターフェイス725を含むことができ、これらの何れかは、情報を伝達するために通信機構、即ち、バス730で接続されていてもよく、コンピュータデバイス705に埋め込まれていてもよい。
コンピュータデバイス705は、通信可能に、入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740に接続されていてもよい。入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740の一方または双方は、有線または無線インターフェイスであってよく、脱着可能であってよい。入力/ユーザインターフェイス735は、入力(例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング/カーソル制御、マイクロフォン、カメラ、点字機器、モーションセンサ、オプティカルリーダ、など)情報を取得するために使用され得る、物理的、または仮想的な、デバイス、コンポーネント、センサ、またはインターフェイスの何れかを含み得る。出力デバイス/インターフェイス740は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字機器などを含み得る。例示的な実装のいくつかにおいて、入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740は、コンピュータデバイス705に埋め込まれていてもよいし、物理的に接続されていてもよい。他の例示的な実装において、他のコンピュータデバイスが、コンピュータデバイス705の入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740として、または、これらの機能を提供するために、機能してもよい。
例示的なコンピュータデバイス705は、高機能モバイルデバイス(例えば、スマートフォン、車両及び他の機械に搭載されるデバイス、人及び動物によって搬送されるデバイスなど)、モバイルデバイス(例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオ、など)及びモバイル用に設計されていないデバイス(例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、1つもしくは複数のプロセッサが埋め込まれた、及び/または接続されている、テレビ、ラジオなど)を含み得るが、これらに限定されない。
コンピュータデバイス705は、通信可能に、外部ストレージ745及びネットワーク750に、(例えば、I/Oインターフェイス725を介して、)接続され、同様のまたは異なる構成の1つもしくは複数のコンピュータを含む、任意の数のネットワーク構成要素、デバイス、及びシステムと通信する。コンピュータデバイス705または接続されたコンピュータデバイスの何れかは、サーバ、クライアント、シンサーバ、汎用機械、特殊用途機械、または他のラベルのサービスを提供し、または、これらを参照するように、機能し得る。
I/Oインターフェイス725は、計算処理環境700で、接続された少なくとも全てのコンポーネント、デバイス及びネットワークから、及び/またはこれらへ情報を伝達するために、通信またはI/Oプロトコルもしくは規格の何れか(例えば、イーサネット(登録商標)、802.11x、USB(Universal System Bus)、WiMax、モデム、携帯電話ネットワークプロトコル、など)を使用する、有線及び/または無線インターフェイスを含み得るが、これらに限定されない。ネットワーク750は、ネットワークまたはネットワークの組み合わせの何れか(例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話回線ネットワーク、携帯電話ネットワーク、衛星ネットワークなど)であってよい。
コンピュータデバイス705は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能もしくはコンピュータ読取可能媒体を使用、及び/または、これらを使用して通信することができる。一時的媒体は、伝送媒体(例えば、金属ケーブル、光ファイバ)、信号、搬送波などを含む。非一時的媒体は、磁気媒体(例えば、ディスク、テープ)、光媒体(例えば、CD−ROM、デジタルビデオディスク、ブルレイディスク)、ソリッドステートメディア(例えば、RAM、ROM、フラッシュメモリ、ソリッドステートストレージ)及び他の不揮発性ストレージまたはメモリを含む。
コンピュータデバイス705は、例示的な計算処理環境のいくつかにおける、技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、非一時的媒体から取り出されてもよい。実行可能命令は、1つもしくは複数のプログラミング言語、スクリプト言語、及び機械言語(例えば、C、C++、C#、Java(登録商標)、Visual Basic、Python、Perl、JavaScript(登録商標)及びその他)の何れかで記載され得る。
メモリ715は、オンラインプレゼンテーションのデータベースを記憶し、または管理してもよい。例示的な実装において、メモリ715は、所望される実装による何れかの方法によって生成されるオンラインプレゼンテーションのアーカイブとして機能してもよい。オンラインプレゼンテーションは、以下で説明される例示的な実装によるプロセッサ710によって処理されてもよい。例示的な実装は、所望される実装に応じて単独で、または組み合わせて行われてもよく、特定の例示的な実装に限定されない。
プロセッサ710は、(図示しない)OS(operating system)の下で、物理的または仮想的環境において、稼動し得る。論理ユニット760、API(application programming interface)ユニット765、入力ユニット770、及び、出力ユニット775、及び、異なるユニットについて、相互に、OSで、及び他の(図示しない)アプリケーションで通信を行う、ユニット間通信機構795を含む、1つもしくは複数のアプリケーションを展開することができる。ユニット及び構成要素は、設計、機能、構成または実装において変更可能であるが、これらは上記説明に限定されない。
例示的な実装のいくつかにおいて、情報または実行命令がAPIユニット765によって受信されると、1つもしくは複数の他のユニット(例えば、論理ユニット760、入力ユニット770、出力ユニット775)へこれらは伝達される。いくつかの例において、論理ユニット760は、ユニット間の情報フローを制御し、APIユニット765、入力ユニット770、出力ユニット775によって提供されるサービスを振り分ける。例えば、1つもしくは複数のプロセッサまたは実装のフローは、論理ユニット760単独で、または、APIユニット765との協働によって制御されてもよい。入力ユニット770は、例示的な実装において説明した算出のための入力を取得し、出力ユニット775は、例示的な実装において説明した算出に基づいて出力を提供する。
プロセッサ710は、1つもしくは複数のメディアセグメントについてオンラインプレゼンテーションを処理し、オンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係を示す1つもしくは複数のメディアセグメントから情報を抽出し、オンラインプレゼンテーションのインターフェイスを生成する。インターフェイスは、図5で説明した実装を利用することで、図6に例示したオンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係を示す。
例示的な実装において、プロセッサ710は、オンラインプレゼンテーションのインターフェイスを生成する。インターフェイスは、オンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係を示す。図1A〜図1C、図2〜図4に例示される会議またはチャットコンテンツの要約された表示をユーザが迅速に拾い見することができるように、生成されるインターフェイスは、ビデオ状またはストーリーボードインターフェイスであってよい。
例示的な実装において、プロセッサ710は、オンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係を示す1つもしくは複数のメディアセグメントから情報を抽出してもよい。例示的な実装において、オンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係は、一人もしくは複数の参加者の関与レベルを含んでいてもよい。情報から抽出された関与のレベルに基づいて、プロセッサ710は、1人もしくは複数の参加者の各々の、関与のレベルを示す強調表示として、参加者の画像に対する強調表示として、参加者の画像の周囲を囲む輪を付した画像を生成することでオンラインプレゼンテーションのインターフェイスを生成してもよい。実装によって、参加者の関与レベルは、理解可能な周囲を囲む枠や輪がウェブカメラストリームまたはアバタの周囲に存在することで示される。顔画像を囲む枠や輪の強調度合いは、その時点の参加者の関与レベルにマッピングされる。顔画像を囲む枠や輪は、例えば、図1A〜図1C及び図2〜図4に例示するように実装されてもよい。
他の例示的な実装において、プロセッサ710は、オンラインプレゼンテーションの1人もしくは複数の参加者の間の1つもしくは複数の関係を示す1つもしくは複数のメディアセグメントから情報を抽出してもよい。1人もしくは複数の参加者の間の1つもしくは複数の関係は、オンラインプレゼンテーションの間の参加者の発話順を含む。プロセッサ710は、1人もしくは複数の参加者を表す1つもしくは複数の顔画像の間の表示を生成することで、オンラインプレゼンテーションのインターフェイスを生成する。表示は、1人もしくは複数の参加者の発話順を示す。例示的な実装において、生成されるインターフェイスは、矢印、線または他の表示を使用して、図2に例示するように、参加者の発話順を示す、ストーリーボードバージョンであってよい。
例示的な実装において、プロセッサ710は、メディアセグメントから、オンラインプレゼンテーションが行われている間共有されるコンテンツを抽出してもよい。共有されるコンテンツは、プレゼンテーションスライド、共有画面、チャットテキスト、ビデオストリーム及び、所望される実装に依存して、オンラインプレゼンテーションの間に共有される何れか他のマテリアルを含んでいてもよい。プロセッサ710は、図1A〜図1C、図2〜図4で例示されるメディアセグメントの自動認識から抽出されるキーワードと、1人もしくは複数の参加者の間で共有されるメディアと、の少なくとも一方を生成することで、オンラインプレゼンテーションのインターフェイスを生成してもよい。この方法によれば、装置は、その時点で共有されている重要な構成要素(チャットメッセージ、ドキュメント、共有画面、発話テキスト変換から抽出されたキーワード)を表示するために背景が使用されるインターフェイスを生成してもよい。
例示的な実装において、プロセッサ710は、例えば、図5を使用して説明したように、1人もしくは複数の参加者のオンラインプレゼンテーションストリームの各々の重要度を判定する。例において、スコアを付加することは、所望される実装に依存して、オンラインプレゼンテーションストリームとインタラクションした参加者の数、プレゼンタと関連付けられている重要度、共有された回数などに基づいて、オンラインプレゼンテーションストリームの各々に適用されてもよい。オンラインプレゼンテーションの参加者の各々は、所望される実装に依存して、参加者のウェブカメラからフィードされたビデオ、チャットテキスト、音声入力、共有画面など、を含み得る、オンラインプレゼンテーションの間にストリームされた参加者自身のプレゼンテーションストリームを有していてもよい。オンラインプレゼンテーションを生成するシステムは、プロセッサ710によって分析され得る全てのストリームを記録してもよい。プロセッサ710は、上記したように、例示的な実装においてスコアを付加するように、重要度に基づいて、オンラインプレゼンテーションのプレゼンテーション時間の各々のストリームを選択することで、オンラインプレゼンテーションのインターフェイスを生成してもよい。例示的な実装において、生成されるインターフェイスの背景は、所望される実装に応じて、参加者が集中していた対象、特定のストリーム上でのマウスカーソルの動き、チャットウィンドウでの関与、などに基づいて、参加者の各々の候補ストリームのいくつかの中の相互の重要度に基づいて、自動的に選択されてもよい。
例示的な実装において、プロセッサ710は、メディアセグメントから感情を検出する。オンラインプレゼンテーションのインターフェイスを生成することは、図4を使用して説明したように、1人もしくは複数の参加者の各々のアバタに感情を示す表示を重畳することを含む。図4の例示的な実装で示されるように、参加者の画像の周囲を囲む輪及びテキストのカラーは、参加者の顔から検出された感情(例えば、スマイル)、テキストコンテンツ(例えば、チャットウィンドウでの感情)及び音声信号(例えば、大きい、静か、速いペース、質問する、同意する)に、マッピングされてもよい。
例示的な実装において、プロセッサ710は、メディアセグメントから生成されたキーワードに基づいてサーチインターフェイスを生成することで、オンラインプレゼンテーションのインターフェイスを生成してもよい。実装において、インターフェイス(例えば、ビデオ状またはストーリーボード)は、フィルタリングされたバージョンを生成するために、テキストキーワードまたは参加者の名称で問い合わせを行ってもよい。これにより、ユーザは、会議またはチャット記録のパーソナライズされた表示を生成することができる。
詳細な説明のある部分は、コンピュータ内の動作のアルゴリズム及び記号的な表現に関する。これらのアルゴリズムの説明及び記号的な表現は、データプロセッシングの技術分野から他技術分野に本開示の本質を伝えるために、使用される手段である。アルゴリズムは、所望される最終状態即ち結果を導く定義されたステップのシリーズである。例示的な実装において、実行されるステップは、実体的な結果をもたらす。
特に説明されない限り、明らかなように、説明を通して、「処理」、「算出」、「計算」、「判定」、「表示」などの用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的(電子的)量として表されるデータを操作し、コンピュータシステムのメモリまたはレジスタ、もしくは、他の情報ストレージ、伝送、または表示デバイス内で、物理的な量として同様に表される他のデータに変換するコンピュータのアクション及びプロセスまたは他の情報処理デバイスを含み得る。
例示的な実装は、動作を行う装置に関連してもよい。この装置は、必要とされる目的のために特別に構築されてもよいし、1つもしくは複数のコンピュータプログラムによって選択的に動作させられる、または再構成される1つもしくは複数の汎用目的コンピュータを含んでいてもよい。コンピュータプログラムは、コンピュータ読込可能ストレージ媒体またはコンピュータ読込可能信号媒体などのコンピュータ読込可能媒体に記憶されてもよい。コンピュータ読込可能ストレージ媒体は、光ディスク、磁気ディスク、リードオンリーメモリ、ランダムアクセスメモリ、ソリッドステートデバイス、及びドライブ、または、何れか他のタイプの実体的な、即ち、電子情報を記憶するのに適した非一時的媒体であってよいが、これらに限定されない、実体的な媒体を含み得る。コンピュータ読込可能信号媒体は、搬送波などの媒体を含み得る。アルゴリズム及び表示は、何れか特定のコンピュータまたは他の装置に固有に関連しない。コンピュータプログラムは、所望される実装の動作を行う命令を含むソフトウェアだけによる実装を含み得る。
様々な汎用目的システムを、例示によるプログラム及びモジュールと共に使用してもよいし、所望される方法のステップを実行するために特殊化された装置を構築してもよい。また、例示的な実装は、何れか特定のプログラミング言語に依存しない。様々なプログラミング言語を使用して、例示的な実装の教示を実装することができる。プログラミング言語の命令は、1つもしくは複数の処理デバイス、例えば、CPU(central processing unit)、プロセッサ、またはコントローラなどによって実行され得る。
当該技術分野で知られているように、上記動作は、ハードウェア、ソフトウェアまたは、ソフトウェア及びハードウェアの組み合わせによって行われてもよい。例示的な実装の様々な態様は、回路及び論理デバイス(ハードウェア)を使用して実装することができ、他の態様は、機械可読媒体に記憶されている命令(ソフトウェア)を使用して実装されてもよい。命令は、プロセッサによって実行されると、本開示の実装を行う方法をプロセッサに実行させる。また、本開示の例示的な実装のいくつかは、ハードウェアだけで実行されてもよいし、他の例示的な実装はソフトウェアだけで実行されてもよい。また、様々な機能は、単一のユニットで実行されてもよいし、複数の方法で、複数の構成要素を跨いで拡張されてもよい。ソフトウェアによって実行される場合、方法は、汎用目的コンピュータなどのプロセッサによって、コンピュータ可読媒体に記憶されている命令に基づいて実行されてもよい。所望される場合、命令は、圧縮された及び/または暗号化されたフォーマットで、媒体に記憶されてもよい。
また、本開示の他の実装も本開示の詳細及び実行を検討することで明らかである。例示的な実装の様々な態様及び構成要素を、単独で、または組み合わせて使用することができる。詳細及び例示的な実装は、例示だけを意図している。
705 コンピュータデバイス
710 プロセッサ
715 メモリ
735 入力/ユーザインターフェイス
740 出力デバイス/インターフェイス

Claims (20)

  1. コンピュータが、
    少なくとも1つのメディアセグメントについて、オンラインプレゼンテーションを処理し、
    前記少なくとも1つのメディアセグメントから、少なくとも1人の前記オンラインプレゼンテーションの参加者の関係を示す情報を抽出し、
    前記少なくとも1人の参加者に対する前記少なくとも1つの関係を示す要約を、前記オンラインプレゼンテーションについて、生成する、
    会議コンテンツを表現する方法。
  2. 前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記少なくとも1人の参加者の前記オンラインプレゼンテーションへの関与レベルを含み、
    前記オンラインプレゼンテーションの前記要約を生成することは、前記オンラインプレゼンテーションに参加した各参加者に対して、前記関与レベルを表す強調表示を含む前記参加者を表す画像を生成することを含む、
    請求項1に記載の方法。
  3. 前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記オンラインプレゼンテーションにおける複数の参加者の発話順を含み、
    前記オンラインプレゼンテーションについて前記要約を生成することは、前記参加者を表す画像の間に、前記複数の参加者の発話順を示す表示を生成することを含む、
    請求項1に記載の方法。
  4. 前記オンラインプレゼンテーションの間共有されるコンテンツを、前記メディアセグメントから抽出する、
    ことをさらに含み、
    前記オンラインプレゼンテーションの前記要約を生成することは、少なくとも1人の参加者の間で共有される前記コンテンツまたは前記メディアセグメントの音声認識から抽出されるキーワードの少なくとも一方を生成することを含む、
    請求項1または請求項2に記載の方法。
  5. 前記少なくとも1人の参加者のオンラインプレゼンテーションのストリームの各々の重要度を判定する、
    ことをさらに含み、
    前記オンラインプレゼンテーションの前記要約を生成することは、前記重要度に基づいて前記オンラインプレゼンテーションのプレゼンテーション時間の各々について、前記ストリームを選択することを含む、
    請求項1〜請求項4の何れか1項に記載の方法。
  6. 前記要約の背景として選択された前記ストリームを使用する、
    ことをさらに含む、
    請求項5に記載の方法。
  7. 前記メディアセグメントから感情を検出する、
    ことを含み、
    前記オンラインプレゼンテーションの前記要約を生成することは、前記少なくとも1人の参加者の各々を表す画像に、前記感情を示す表示を重畳することを含む、
    請求項1〜請求項6の何れか1項に記載の方法。
  8. 前記オンラインプレゼンテーションの前記要約を生成することは、前記メディアセグメントから生成された少なくとも1つのキーワードに基づいてサーチインターフェイスを生成することを含む、
    請求項1〜請求項7の何れか1項に記載の方法。
  9. 前記要約は、前記メディアセグメントを拾い見するインターフェイスを含む、
    請求項1〜請求項8の何れか1項に記載の方法。
  10. 前記要約は、前記メディアセグメントからの画像、プレゼンテーションマテリアル、及び参加者に関する情報を含むストーリーボードを含む、
    請求項1〜請求項8の何れか1項に記載の方法。
  11. 少なくとも1つのメディアセグメントについてオンラインプレゼンテーションを処理し、
    前記少なくとも1つのメディアセグメントから、少なくとも1人の前記オンラインプレゼンテーションの参加者の関係を示す情報を抽出し、
    前記少なくとも1人の参加者に対する前記少なくとも1つの関係を示す要約を、前記オンラインプレゼンテーションについて、生成する、
    会議コンテンツ表現処理をコンピュータに実行させるためのプログラム。
  12. 前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記少なくとも1人の参加者の前記オンラインプレゼンテーションへの関与レベルを含み、
    前記オンラインプレゼンテーションの前記要約を生成することは、前記オンラインプレゼンテーションに参加した各参加者に対して、前記関与レベルを表す強調表示を含む前記参加者を表す画像を生成することを含む、
    請求項11に記載のプログラム。
  13. 前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記オンラインプレゼンテーションにおける複数の参加者の発話順を含み、
    前記オンラインプレゼンテーションについての前記要約を生成することは、前記参加者を表す画像の間に、前記複数の参加者の発話順を示す表示を生成することを含む、
    請求項11または請求項12に記載のプログラム。
  14. 前記オンラインプレゼンテーションの間共有されるコンテンツを、前記メディアセグメントから抽出する、
    ことをさらに含み、
    前記オンラインプレゼンテーションの前記要約を生成することは、1人もしくは複数の参加者の間で共有される前記コンテンツまたは前記メディアセグメントの音声認識から抽出されるキーワードの少なくとも一方を生成することをさらに含む、
    請求項11〜請求項13の何れか1項に記載のプログラム。
  15. 少なくとも1つのメディアセグメントについてオンラインプレゼンテーションを処理し、
    前記少なくとも1つのメディアセグメントから、少なくとも1人の前記オンラインプレゼンテーションの参加者の関係を示す情報を抽出し、
    前記少なくとも1人の参加者に対する前記少なくとも1つの関係を示す要約を、前記オンラインプレゼンテーションについて生成する、
    プロセッサ、
    を含む、
    装置。
  16. 前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記少なくとも1人の参加者の前記オンラインプレゼンテーションへの関与レベルを含み、
    前記プロセッサは、前記オンラインプレゼンテーションに参加した各参加者に対して、前記関与レベルを表す強調表示を含む、前記参加者を表す画像を生成することで、前記オンラインプレゼンテーションの前記要約を生成し、
    前記関与レベルは、前記少なくとも1人の参加者からの音声及び入力の少なくとも一方に基づいて判定される、
    請求項15に記載の装置。
  17. 前記少なくとも1人の参加者の前記少なくとも1つの関係は、前記オンラインプレゼンテーションにおける複数の参加者の発話順を含み、
    前記プロセッサは、前記参加者を表す画像の間に、前記複数の参加者の発話順を示す表示を生成することで、前記オンラインプレゼンテーションの前記要約を生成する、
    請求項15または請求項16に記載の装置。
  18. 前記プロセッサは、さらに、前記オンラインプレゼンテーションの間共有されるコンテンツを、前記メディアセグメントから抽出し、
    前記プロセッサは、少なくとも1人の参加者の間で共有される前記コンテンツまたは前記メディアセグメントの音声認識から抽出されるキーワードの少なくとも一方を生成することで、前記オンラインプレゼンテーションの前記要約を生成し、
    前記プロセッサは、前記メディアセグメントの音声認識から抽出されたキーワード及び前記メディアセグメントのテキストチャット部分から抽出されたキーワードの少なくとも一方に基づいて前記要約のサーチインターフェイスを生成する、
    請求項15に記載の装置。
  19. 前記プロセッサは、さらに、前記少なくとも1人の参加者のオンラインプレゼンテーションストリームの各々の重要度を判定し、
    前記プロセッサは、前記重要度に基づいて前記オンラインプレゼンテーションのプレゼンテーション時間の各々のストリームを選択することで、前記オンラインプレゼンテーションの前記要約を生成し、
    前記重要度は、前記オンラインプレゼンテーションストリームの各々の最大化された閲覧数に基づいて前記少なくとも1人の参加者の関心から判定される、
    請求項15〜請求項18の何れか1項に記載の装置。
  20. 前記プロセッサは、さらに、前記メディアセグメントから感情を検出し、
    前記プロセッサは、前記少なくとも1人の参加者の各々を表す画像に、前記感情を示す表示を重畳することで、前記オンラインプレゼンテーションの前記要約を生成する、
    請求項15に記載の装置。
JP2017078380A 2016-06-22 2017-04-11 会議コンテンツを表現する方法、プログラム、及び装置 Active JP6939037B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/189,635 US20170371496A1 (en) 2016-06-22 2016-06-22 Rapidly skimmable presentations of web meeting recordings
US15/189,635 2016-06-22

Publications (2)

Publication Number Publication Date
JP2017229060A true JP2017229060A (ja) 2017-12-28
JP6939037B2 JP6939037B2 (ja) 2021-09-22

Family

ID=60677516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017078380A Active JP6939037B2 (ja) 2016-06-22 2017-04-11 会議コンテンツを表現する方法、プログラム、及び装置

Country Status (2)

Country Link
US (1) US20170371496A1 (ja)
JP (1) JP6939037B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019176375A (ja) * 2018-03-29 2019-10-10 株式会社アドバンスト・メディア 動画出力装置、動画出力方法および動画出力プログラム
JP2020048149A (ja) * 2018-09-21 2020-03-26 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
JP2021027509A (ja) * 2019-08-07 2021-02-22 パナソニックIpマネジメント株式会社 オーグメンテーション画像表示方法およびオーグメンテーション画像表示システム
JP6886750B1 (ja) * 2020-10-29 2021-06-16 株式会社パルケ オンライン会議支援装置、オンライン会議支援プログラム、およびオンライン会議支援システム
JP2021140570A (ja) * 2020-03-06 2021-09-16 株式会社日立製作所 発話支援装置、発話支援方法、および発話支援プログラム
WO2022004244A1 (ja) * 2020-07-03 2022-01-06 株式会社シーエーシー コンピュータを介したコミュニケーションを実施するためのシステム、方法及びプログラム
JP7043110B1 (ja) * 2020-10-29 2022-03-29 株式会社パルケ オンライン会議支援装置、オンライン会議支援プログラム、およびオンライン会議支援システム
JP2022075661A (ja) * 2020-10-27 2022-05-18 株式会社I’mbesideyou 情報抽出装置
WO2022137547A1 (ja) * 2020-12-25 2022-06-30 株式会社日立製作所 コミュニケーション支援システム
WO2023007782A1 (ja) * 2021-07-30 2023-02-02 株式会社日立製作所 仮想空間内で実行されたミーティングのまとめ映像を作成するシステム及び方法
JP2023020997A (ja) * 2021-07-29 2023-02-09 株式会社ブリングアウト 報告作成支援装置及び報告作成支援方法
WO2024161868A1 (ja) * 2023-02-01 2024-08-08 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7541615B2 (ja) 2020-09-03 2024-08-28 株式会社ソニー・インタラクティブエンタテインメント マルチモーダルゲームビデオの要約

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10057746B1 (en) 2016-11-16 2018-08-21 Wideorbit, Inc. Method and system for detecting a user device in an environment associated with a content presentation system presenting content
US11328159B2 (en) * 2016-11-28 2022-05-10 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index
US10129573B1 (en) * 2017-09-20 2018-11-13 Microsoft Technology Licensing, Llc Identifying relevance of a video
US11869039B1 (en) 2017-11-13 2024-01-09 Wideorbit Llc Detecting gestures associated with content displayed in a physical environment
US20220121712A1 (en) * 2017-11-18 2022-04-21 Cogi, Inc. Interactive representation of content for relevance detection and review
WO2019099549A1 (en) * 2017-11-18 2019-05-23 Cogi, Inc. Interactive representation of content for relevance detection and review
US11043230B1 (en) * 2018-01-25 2021-06-22 Wideorbit Inc. Targeted content based on user reactions
FR3099675B1 (fr) * 2019-08-02 2022-03-04 Thinkrite Inc Interactions guidées par des règles déclenchées lors de la récupération et du stockage de contenu de webinaire
US11159336B2 (en) 2019-08-02 2021-10-26 Thinkrite, Inc. Rules driven interactions triggered on Webinar content retrieval and storage
KR20220139172A (ko) * 2021-04-07 2022-10-14 삼성전자주식회사 다자간 영상 통화를 위한 전자 장치, 방법 및 비 일시적 저장 매체
US20240127855A1 (en) * 2022-10-17 2024-04-18 Adobe Inc. Speaker thumbnail selection and speaker visualization in diarized transcripts for text-based video
US20240211681A1 (en) * 2022-12-23 2024-06-27 Microsoft Technology Licensing, Llc Generating electronic documents from video

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325242A (ja) * 2001-04-26 2002-11-08 Ntt Advanced Technology Corp 議会映像情報提供システム
CN1615646A (zh) * 2002-01-18 2005-05-11 松下电器产业株式会社 通信装置
JP2005277462A (ja) * 2004-03-22 2005-10-06 Fujitsu Ltd 会議支援システム、議事録生成方法、およびコンピュータプログラム
JP2005352933A (ja) * 2004-06-14 2005-12-22 Fuji Xerox Co Ltd 表示装置、システムおよび表示方法
JP2006050500A (ja) * 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
US20070071206A1 (en) * 2005-06-24 2007-03-29 Gainsboro Jay L Multi-party conversation analyzer & logger
US20070271331A1 (en) * 2006-05-17 2007-11-22 Steve Muth System of archiving and repurposing a complex group conversation referencing networked media
JP2013182560A (ja) * 2012-03-05 2013-09-12 Nomura Research Institute Ltd 人間関係推定システム
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325242A (ja) * 2001-04-26 2002-11-08 Ntt Advanced Technology Corp 議会映像情報提供システム
CN1615646A (zh) * 2002-01-18 2005-05-11 松下电器产业株式会社 通信装置
JP2005277462A (ja) * 2004-03-22 2005-10-06 Fujitsu Ltd 会議支援システム、議事録生成方法、およびコンピュータプログラム
JP2005352933A (ja) * 2004-06-14 2005-12-22 Fuji Xerox Co Ltd 表示装置、システムおよび表示方法
JP2006050500A (ja) * 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
US20070071206A1 (en) * 2005-06-24 2007-03-29 Gainsboro Jay L Multi-party conversation analyzer & logger
US20070271331A1 (en) * 2006-05-17 2007-11-22 Steve Muth System of archiving and repurposing a complex group conversation referencing networked media
JP2013182560A (ja) * 2012-03-05 2013-09-12 Nomura Research Institute Ltd 人間関係推定システム
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"The multi-audiences intelligent online presentation system", 2009 IEEE INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS, JPN6020040335, 20 August 2009 (2009-08-20), ISSN: 0004512999 *
"ディスカッションメディア:会議コンテンツの構造化と効率的な閲覧システム", 2007年度人工知能学会全国大会(第21回)論文集 [CD−ROM], JPN6020040326, 22 June 2007 (2007-06-22), ISSN: 0004512997 *
"視聴者からのコメント情報を用いたダイジェスト動画作成支援システムの実装と評価", マルチメディア,分散,協調とモバイル(DICOMO2009)シンポジウム論文集 情報処理学会シンポジ, JPN6020040330, 8 July 2009 (2009-07-08), ISSN: 0004512998 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019176375A (ja) * 2018-03-29 2019-10-10 株式会社アドバンスト・メディア 動画出力装置、動画出力方法および動画出力プログラム
JP2020048149A (ja) * 2018-09-21 2020-03-26 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
JP7225631B2 (ja) 2018-09-21 2023-02-21 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
JP7485108B2 (ja) 2018-09-21 2024-05-16 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
JP2021027509A (ja) * 2019-08-07 2021-02-22 パナソニックIpマネジメント株式会社 オーグメンテーション画像表示方法およびオーグメンテーション画像表示システム
JP7316584B2 (ja) 2019-08-07 2023-07-28 パナソニックIpマネジメント株式会社 オーグメンテーション画像表示方法およびオーグメンテーション画像表示システム
JP2021140570A (ja) * 2020-03-06 2021-09-16 株式会社日立製作所 発話支援装置、発話支援方法、および発話支援プログラム
WO2022004244A1 (ja) * 2020-07-03 2022-01-06 株式会社シーエーシー コンピュータを介したコミュニケーションを実施するためのシステム、方法及びプログラム
JP2022013123A (ja) * 2020-07-03 2022-01-18 株式会社シーエーシー コンピュータを介したコミュニケーションを実施するためのシステム、方法及びプログラム
JP7541615B2 (ja) 2020-09-03 2024-08-28 株式会社ソニー・インタラクティブエンタテインメント マルチモーダルゲームビデオの要約
JP2022075661A (ja) * 2020-10-27 2022-05-18 株式会社I’mbesideyou 情報抽出装置
JP7130290B2 (ja) 2020-10-27 2022-09-05 株式会社I’mbesideyou 情報抽出装置
WO2022091516A1 (ja) * 2020-10-29 2022-05-05 株式会社パルケ オンライン会議支援装置、オンライン会議支援プログラム、およびオンライン会議支援システム
JP7043110B1 (ja) * 2020-10-29 2022-03-29 株式会社パルケ オンライン会議支援装置、オンライン会議支援プログラム、およびオンライン会議支援システム
JP6886750B1 (ja) * 2020-10-29 2021-06-16 株式会社パルケ オンライン会議支援装置、オンライン会議支援プログラム、およびオンライン会議支援システム
WO2022137547A1 (ja) * 2020-12-25 2022-06-30 株式会社日立製作所 コミュニケーション支援システム
JP7290234B2 (ja) 2021-07-29 2023-06-13 株式会社ブリングアウト 報告作成支援装置及び報告作成支援方法
JP2023020997A (ja) * 2021-07-29 2023-02-09 株式会社ブリングアウト 報告作成支援装置及び報告作成支援方法
WO2023007782A1 (ja) * 2021-07-30 2023-02-02 株式会社日立製作所 仮想空間内で実行されたミーティングのまとめ映像を作成するシステム及び方法
JP7546522B2 (ja) 2021-07-30 2024-09-06 株式会社日立製作所 仮想空間内で実行されたミーティングのまとめ映像を作成するシステム及び方法
WO2024161868A1 (ja) * 2023-02-01 2024-08-08 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP6939037B2 (ja) 2021-09-22
US20170371496A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6939037B2 (ja) 会議コンテンツを表現する方法、プログラム、及び装置
US10531044B2 (en) Intelligent virtual assistant system and method
US10594749B2 (en) Copy and paste for web conference content
US9569428B2 (en) Providing an electronic summary of source content
US20180295334A1 (en) Communication Session Processing
US9179096B2 (en) Systems and methods for real-time efficient navigation of video streams
JP6794711B2 (ja) ドキュメントのウェブベースコピーを生成する方法、プログラム及び装置
US20170083214A1 (en) Keyword Zoom
US20140278377A1 (en) Automatic note taking within a virtual meeting
US20120233155A1 (en) Method and System For Context Sensitive Content and Information in Unified Communication and Collaboration (UCC) Sessions
US20150066935A1 (en) Crowdsourcing and consolidating user notes taken in a virtual meeting
US11843567B2 (en) Shared reactions within a video communication session
US10084829B2 (en) Auto-generation of previews of web conferences
US10990828B2 (en) Key frame extraction, recording, and navigation in collaborative video presentations
JP2019053566A (ja) 表示制御装置、表示制御方法及びプログラム
US10650813B2 (en) Analysis of content written on a board
US20240187461A1 (en) Alteration of Event User Interfaces of an Online Conferencing Service
US20230353819A1 (en) Sign language interpreter view within a communication session
Markham et al. Experimenting with algorithms and memory-making: Lived experience and future-oriented ethics in critical data science
US20170004859A1 (en) User created textbook
Hall et al. Capturing synchronous collaborative design activities: A state-of-the-art technology review
WO2023235580A1 (en) Video-based chapter generation for a communication session
CN110992958A (zh) 内容记录方法、装置、电子设备及存储介质
US20230403174A1 (en) Intelligent virtual event assistant
US20210058677A1 (en) Personal media content retrieval

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R150 Certificate of patent or registration of utility model

Ref document number: 6939037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150