JP2015197924A - 自動映像選択装置、自動映像選択方法、コンピュータ可読記録媒体及びコンピューティング装置 - Google Patents

自動映像選択装置、自動映像選択方法、コンピュータ可読記録媒体及びコンピューティング装置 Download PDF

Info

Publication number
JP2015197924A
JP2015197924A JP2015069426A JP2015069426A JP2015197924A JP 2015197924 A JP2015197924 A JP 2015197924A JP 2015069426 A JP2015069426 A JP 2015069426A JP 2015069426 A JP2015069426 A JP 2015069426A JP 2015197924 A JP2015197924 A JP 2015197924A
Authority
JP
Japan
Prior art keywords
video
category
automatic
reference data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015069426A
Other languages
English (en)
Other versions
JP6936554B2 (ja
Inventor
允 泓 閔
Yun Hong Min
允 泓 閔
仁 哲 宋
In Chul Song
仁 哲 宋
バロム 田
Ba Rom Jeon
バロム 田
喜 烈 崔
Hee Youl Choi
喜 烈 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015197924A publication Critical patent/JP2015197924A/ja
Application granted granted Critical
Publication of JP6936554B2 publication Critical patent/JP6936554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 自動映像選択装置及び方法を提供する。【解決手段】 本発明の一態様による自動映像選択装置は、映像を受信する映像受信部と、映像から特徴を抽出する特徴抽出部と、抽出された特徴が、映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断するカテゴリー判断部と、を含みうる。【選択図】 図1

Description

本発明は、自動映像選択技術に係り、より詳細には、映像のカテゴリー認識に基づいて映像を選択的に処理する技術選択に関する。
一般的に、スマートメガネ(smart glasses)は、ユーザがメガネのように頭に着用するウェアラブルコンピューティング装置であって、例えば、スマートフォンなどが有している多様な機能を含みうる。スマートメガネは、ヘッドアップディスプレイ(Head−Up Display:HUD)を用いて、ユーザの目の前に実際の世界だけではなく、拡張現実のような仮想世界をディスプレイすることができる。また、スマートメガネは、スマートフォンやスマートウォッチと比較する時、着用者が眺めている場面を記録することができるという長所を有する。したがって、スマートメガネは、人の記憶能力の限界を克服することができる有用なデバイスとして活用されると期待されている。しかしながら、映像の連続した保存は、ユーザに無意味な映像までも無差別的に記録されてしまうという面で、保存空間の無駄使いが大きい。
米国特許公開公報第2008/0062291号明細書
本発明は、映像を保存するリソースを有効に活用する装置及び方法等を提供することである。
本発明の一態様による自動映像選択装置は、映像を受信する映像受信部と、映像から特徴を抽出する特徴抽出部と、抽出された特徴が、映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断するカテゴリー判断部と、を含みうる。
自動映像選択装置は、カテゴリー判断部の決定によって映像の保存と関連した動作を制御する動作制御部をさらに含みうる。
映像受信部は、ユーザのためにディスプレイに現在ディスプレイされている映像データから映像を受信することができる。映像受信部は、カメラを通じて撮影されて受信される映像データから映像を受信することができる。
映像受信部は、通信網を通じて受信される映像データから映像を受信することができる。映像受信部は、特定のカテゴリーを認識するように既定の映像を含む学習データから映像を受信し、自動映像選択装置は、カテゴリー判断部の決定によって所定のカテゴリー識別基準データを更新する特徴学習部をさらに含みうる。
所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するために既定の複数のカテゴリー識別基準データを含みうる。
動作制御部は、映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力することができる。動作制御部は、映像を通信網を通じて遠隔ストレージ媒体に伝送し、映像を遠隔ストレージ媒体に保存する動作を制御する制御信号を出力することができる。
本発明の他の態様による自動映像選択方法は、映像を受信する段階と、前記映像から特徴を抽出する段階と、前記抽出された特徴が、前記映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断する段階と、を含みうる。
自動映像選択方法は、前記判断の結果によって、前記映像の保存と関連した動作を制御する段階をさらに含みうる。
前記映像を受信する段階は、ユーザのためにディスプレイに現在ディスプレイされている映像データから映像を受信することができる。前記映像を受信する段階は、カメラを通じて撮影されて受信される映像データから映像を受信することができる。
前記映像を受信する段階は、通信網を通じて受信される映像データから映像を受信することができる。前記映像を受信する段階は、特定のカテゴリーを認識するように既定の映像を含む学習データから映像を受信し、自動映像選択方法は、前記判断の結果によって、前記所定のカテゴリー識別基準データを更新する段階をさらに含みうる。
前記所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するために既定の複数のカテゴリー識別基準データを含みうる。
自動映像選択方法は、前記映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含みうる。自動映像選択方法は、前記映像を通信網を通じて遠隔ストレージ媒体に伝送し、前記映像を前記遠隔ストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含みうる。
本発明のさらに他の態様によるカメラ及びディスプレイを含むコンピューティング装置のプロセッサによって実行されれば、前記プロセッサが動作を行うように誘発するコンピュータ実行可能インストラクションを保存するコンピュータ可読記録媒体であって、前記動作は、前記カメラから撮影されて、前記ディスプレイに現在ディスプレイされている映像を受信する段階と、前記映像から特徴を抽出して映像特徴として出力する段階と、前記抽出された特徴が、前記映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断する段階と、を含みうる。
前記動作は、前記判断の結果によって、前記映像の保存と関連した動作を制御する制御信号を出力する段階をさらに含みうる。前記動作は、通信網を通じて受信される映像データから映像を受信する段階をさらに含みうる。
前記動作は、特定のカテゴリーに属するものであって、既定の映像を含む学習データから映像を受信する段階と、前記判断の結果によって、前記所定のカテゴリー識別基準データを更新する段階と、をさらに含みうる。
前記所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するために既定の複数のカテゴリー識別基準データを含みうる。
前記動作は、前記映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含みうる。前記動作は、前記映像を映像信号に変換し、前記映像信号を遠隔ストレージ媒体に伝送し、前記映像信号を前記遠隔ストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含みうる。
前記コンピュータ実行可能インストラクションは、少なくとも1つの特定のカテゴリーを認識するように既定の1つの独立したアプリケーションとして提供されうる。前記コンピュータ実行可能インストラクションは、ユーザが決定した少なくとも1つのカテゴリーを認識するように学習される1つの独立したアプリケーションとして提供されうる。
本発明のさらに他の態様によるカメラと、ディスプレイと、プロセッサと、前記プロセッサによって実行されれば、前記プロセッサが動作を行うように誘発するコンピュータ実行可能インストラクションを保存するコンピュータ可読記録媒体と、を含むコンピューティング装置であって、前記動作は、前記カメラから撮影されて、前記ディスプレイに現在ディスプレイされている映像を受信する段階と、前記映像から特徴を抽出して映像特徴として出力する段階と、前記抽出された特徴が、前記映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断する段階と、を含みうる。
前記動作は、前記判断の結果によって、前記映像の保存と関連した動作を制御する制御信号を出力する段階をさらに含みうる。
前記コンピューティング装置は、通信網を通じて映像データを受信する通信モジュールをさらに含み、前記動作は、前記通信網を通じて受信された前記映像データから映像を受信する段階をさらに含みうる。
前記動作は、特定のカテゴリーに属するものであって、既定の映像を含む学習データから映像を受信する段階と、前記判断の結果によって、前記所定のカテゴリー識別基準データを更新する段階と、をさらに含みうる。
前記コンピューティング装置は、通信網を通じて映像データを受信する通信モジュールをさらに含み、前記動作は、前記通信モジュールを通じて受信され、特定のカテゴリーに属するものであって、既定の映像を含む学習データから映像を受信する段階をさらに含みうる。
前記所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するためにあらかじめ定義されている複数のカテゴリー識別基準データを含みうる。
前記動作は、前記映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含みうる。
前記コンピューティング装置は、通信網を通じて遠隔ストレージ媒体に映像データを送信する通信モジュールをさらに含み、前記動作は、前記映像を前記遠隔ストレージ媒体に送信し、前記映像を前記遠隔ストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含みうる。
前記コンピュータ実行可能インストラクションは、少なくとも1つの特定のカテゴリーを認識するように既定の1つの独立したアプリケーションとして提供されうる。
前記コンピュータ実行可能インストラクションは、ユーザによって決定された少なくとも1つのカテゴリーを認識するように学習される1つの独立したアプリケーションとして提供されうる。
自動映像選択装置の一実施形態を示すブロック図である。 自動映像選択装置の他の実施形態を示すブロック図である。 自動映像選択装置のさらに他の実施形態を示すブロック図である。 自動映像選択装置を含むコンピューティング装置の一実施形態を示すブロック図である。 自動映像選択装置を含むコンピューティング装置の他の実施形態を示すブロック図である。 自動映像選択装置を含むコンピューティング装置のさらに他の実施形態を示すブロック図である。 自動映像選択装置を含むコンピューティング装置のさらに他の実施形態を示すブロック図である。 自動映像選択方法の一実施形態を示すフローチャートである。 自動映像選択方法の他の実施形態を示すフローチャートである。 自動映像選択方法のさらに他の実施形態を示すフローチャートである。 自動映像選択方法のさらに他の実施形態を示すフローチャートである。 自動映像選択方法のさらに他の実施形態を示すフローチャートである。 自動映像選択方法のさらに他の実施形態を示すフローチャートである。 自動映像選択方法のさらに他の実施形態を示すフローチャートである。 自動映像選択方法のさらに他の実施形態を示すフローチャートである。
下記の説明は、本明細書に説明された方法、装置及び/またはシステムの包括的な理解のために提供される。しかし、本明細書に説明された方法、装置及び/またはシステムの多様な変更、変形及び等価物は、当業者に自明である。本明細書に説明された動作の順序は、単純な例示であり、これに限定されるものではなく、特定の順序で必須的に発生する動作を除き、変化されうるということは当業者に自明である。また、本発明を説明するに当って、関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。
本明細書で、同じ参照符号は、同じ構成要素を示す。図面の相対的な大きさ、比率及び構成要素の描写は、明確性、及び便宜のために誇張されて表現される。
一般的に、スマートメガネに含まれているカメラは、ユーザの目の高さでユーザの目の前にある場面を撮影することができる。スマートメガネのカメラによって撮影される映像は、スマートメガネ内のローカルメモリに保存することができる。他の方式で、映像をスマートメガネに備えられた通信モジュールによって映像信号に変換した後、近距離または広域通信網を通じて、ユーザが所持しているスマートフォンやクラウドのような遠隔保存空間に送信して保存することができる。
ところが、ウェアラブルコンピューティング装置であるスマートメガネのローカルメモリの容量は、制限されており、通信網を通じて遠隔保存空間に送信する場合には、通信網環境の制限を受けることができる。したがって、スマートメガネのカメラによって撮影される映像を無差別的に連続保存することを回避することが望ましい。このために、ユーザが希望する場合にのみ映像を保存する手動選択方式が利用される。これは、ユーザに意味のある映像を選択して保存可能にする。
しかし、手動選択方式の場合、ユーザは、ディスプレイされる映像を引き続き監視していなければならない。本願において「ディスプレイされる」は「表示される」等と言及されてよい。また、ユーザは、映像を引き続き監視する間にそれぞれの映像が保存する価値のある映像であるか否かを判断しなければならない。さらに、ユーザは、保存する価値のある映像であると判断されれば、保存動作を開始させる命令を入力しなければならない。したがって、ユーザが映像を監視しない場合、監視しているとしても、保存する価値のある映像であるか否かを判断する余裕がない場合、及び価値のある映像であると判断したとしても、ユーザに映像保存命令を入力する余裕がない場合に、映像を保存することができない。
自動映像選択装置及び方法の実施形態によって、映像のカテゴリー認識に基づいて自動映像を選択する技術が提供される。本技術は、ユーザの監視及び判断なしに、多様な映像のうち、ユーザに意味のある特定のカテゴリーのコンテンツを有した映像のみを自動選択して保存することができる。また、本技術は、無条件的にあらゆる映像を保存するものではなく、選択保存であるために、保存空間の無駄使いを回避可能にする。さらに、本技術は、ユーザの手動制御が不要であるために、ユーザが意識しない場合にも、映像を自動保存または処理させる。
本明細書で、“カテゴリー認識(category recognition)”という用語は、映像のカテゴリーを映像のコンテンツに直接基づいて認識するという意味として使われる。
既存に映像のカテゴリーを認識する方式として映像のコンテンツを間接的に利用するタグ方式が知られている。このタグ方式は、映像に一種のメタデータとしてテキスト形態のタグを付け加える方式である。例えば、特定の映像が雪が積もっている急な稜線でスキーをする人をコンテンツとして含んでいる場合、この映像には、“雪”、“山”、“スキー”、“人”のようなテキストがタグとして付加されうる。このテキスト形態のタグは、映像を検索する時、または映像を特定のカテゴリーに属するものとして分類する時に利用される。
このような間接的なタグ方式に比べて、自動映像選択装置及び方法の実施形態は、映像を映像のコンテンツに直接基づいて特定のカテゴリーに属するものとして認識する。映像のコンテンツは、映像内の特徴(feature)を分析することで識別されうる。
以下で、自動映像選択装置及び方法は、ヘッドアップディスプレイ、カメラ及び/または遠隔装置との通信のための通信モジュールを備えたスマートメガネ、及びカテゴリー認識機のような独立したアプリケーションまたは独立したハードウェアを参照して、実施形態として説明される。しかし、これは、例示に過ぎず、スマートメガネ以外に、スマートウォッチ、スマートフォン、タブレット、ラップトップ、デスクトップ、サーバ、クライアントなどの多様なコンピューティング装置に自動映像選択装置及び方法が適用可能であるということが理解される。また、独立したアプリケーション以外にも、ウェブブラウザー、カメラアプリケーション、またはマルチメディアプレーヤーなどの既存のアプリケーションのプラグインやコンポーネントモジュールとして具現されることも可能であるということを容易に理解できる。
図1は、自動映像選択装置の一実施形態を示すブロック図である。図1を参照すれば、自動映像選択装置10は、映像受信部11、カテゴリー識別基準データ13、特徴抽出部15、カテゴリー判断部17、及び動作制御部19を含みうる。
映像受信部11は、受信される映像データから特定の映像を受信するコンポーネントである。例えば、映像データは、連続した静止画像を含む動画であり、獲得される映像は、動画のうち1つの静止画像であり得る。映像受信部11は、多様なソースから由来する映像データから映像を受信することができる。映像データのソースは、ディスプレイ、カメラ、受信モジュール、記録媒体または当業者に広く知られた多様な映像データソースを含みうる。
一例で、映像データは、ディスプレイを通じてユーザに現在ディスプレイされている映像データであり得る。例えば、ユーザが、カテゴリー認識に基づく自動映像選択装置10を備えるスマートメガネを着用し、カメラを通じて撮影されるユーザ前方の実際世界を含んだ拡張現実動画をリアルタイムでヘッドアップディスプレイ上で報告していると仮定する。この場合、拡張現実動画がディスプレイを通じてユーザにディスプレイされている間に、映像受信部11が、拡張現実動画データから静止画像を受信することができる。
他の例で、映像データは、カメラを通じて撮影されてリアルタイムで受信される映像データであり得る。例えば、ユーザが、カテゴリー認識に基づく自動映像選択装置10を備えるスマートメガネを着用し、カメラを通じて撮影されるユーザ前方の実際世界の動画をリアルタイムでヘッドアップディスプレイ上で報告していると仮定する。この場合、カメラを通じて撮影された動画データが、ディスプレイを通じてユーザにディスプレイされている間に、映像受信部11が、動画データから静止画像を受信することができる。
さらに他の例で、映像データは、遠隔で通信網を通じて受信される映像データであり得る。例えば、ユーザが、カテゴリー認識に基づく自動映像選択装置10を備えるスマートメガネを着用し、デジタルマルチメディア放送(Digital Multimedia Broadcasting:DMB)を受信されてドラマを視聴していると仮定する。この場合、映像受信部11は、スマートメガネのヘッドアップディスプレイ上でディスプレイされているDMB放送のドラマ動画データから静止画像を獲得することができる。
そして、さらに他の例で、映像データは、ローカル記録媒体または遠隔保存空間に保存されている学習データであり得る。例えば、ユーザが、カテゴリー認識に基づく自動映像選択装置10を備えるスマートメガネを着用し、遠隔クラウドのユーザ個人勘定の保存空間に保存されている自身が好んでいるファッションである“花柄の服”に関連した写真や動画を受信して、カテゴリー認識に基づく自動映像選択装置10を学習させると仮定する。この場合、学習データは、遠隔クラウドのユーザ個人勘定の保存空間に保存されており、また、“花柄の服”というカテゴリーに属するものとしてあらかじめ定義されている映像を含む。映像受信部11は、この学習データから“花柄の服”というカテゴリーに属するものであって、既定の映像を受信することができる。
映像受信部11によって獲得された映像は、特定のカテゴリーに属するか否かが判断されなければならない。映像が、特定のカテゴリーに属するか否かの判断のための基準データをカテゴリー識別基準データ13で提供する。カテゴリー識別基準データ13は、特定のカテゴリーに属するものであって、既定の特徴、すなわち、基準特徴を少なくとも1つ含みうる。
特徴は、カテゴリー認識に基づく自動映像選択装置10をして映像が特定のカテゴリーに属するか否かを映像のコンテンツに直接基づいて決定する。
一般的に、カテゴリーは、人、動物、女子、男子、猫、ペット、ファッション、自動車のような一般的な概念を用いて定義されうる。さらに、カテゴリーは、花柄の服、芸能人の名前(例えば、レディー・ガガ)のように、一般概念をユーザに個人的に意味のある概念としてなるように混合することで定義することができる。
自動映像選択装置10は、映像が1つの特定のカテゴリーに属するか否かを認識することができる。また、カテゴリー認識に基づく自動映像選択装置10は、映像が複数の特定のカテゴリーのうち如何なるものに属するか否かを認識することもできる。自動映像選択装置10によって認識されるカテゴリーは、カテゴリー識別基準データまたはカテゴリー識別基準データ13に含まれている基準特徴によって認識されうるあらかじめ定義されているカテゴリーによって決定されうる。
カテゴリー識別基準データ13に含まれる基準特徴が、如何なるカテゴリーを認識するためのものであるかは、多様なエンティティのうち1つによってあらかじめ決定されうる。多様なエンティティには、ユーザ、関連システムを販売する販売者、関連方法を具現したソフトウェアの開発者、及び/または第3者が含まれうる。特定の特徴を特定のカテゴリーに割り当てることは、従来の映像から特定人の顔のような客体を認識する映像分析分野でよく知られている。本明細書で、特定のカテゴリーが、あらかじめ定義されて対応している特定の特徴を“基準特徴”であると指称する。
基準特徴は、以前に映像から抽出された特徴のうちから、既定の特定のカテゴリーを識別するための基準となるものを選択した特徴であり得る。この場合、如何なる映像が特定のカテゴリーに属するか否かの如何は、映像から抽出された特徴と基準特徴とを比較することで決定されうる。
特徴は、映像内から発見される特性(characteristic)である。映像内の如何なる特性が如何なる特徴に対応するかは、多様なエンティティのうち1つによってあらかじめ決定されうる。多様なエンティティには、ユーザ、関連システムを販売する販売者、関連方法を具現したソフトウェアの開発者、及び/または第3者が含まれうる。映像内の特徴を特定の特徴に割り当てることは、従来の映像から特定人の顔のような客体を認識する映像分析分野でよく知られている。
例えば、自動映像選択装置10が、“花柄の服”カテゴリーを認識すると仮定する。この場合、カテゴリー識別基準データ13は、“花柄の服”カテゴリーを認識するために使われる特徴を基準特徴として含みうる。例えば、“花柄の服”を認識するために、“服”及び“花”を認識する必要があると仮定する。この場合、カテゴリー識別基準データ13は、“服”を認識するための特徴と“花”を認識するための特徴とを基準特徴として含みうる。
特徴抽出部15は、映像から特徴を抽出して、該抽出された特徴を映像特徴として出力する。特徴抽出部15によって抽出される映像特徴は、カテゴリー識別基準データ13に含まれている基準特徴と比較可能な同じ形式のデータによって構成することができる。この場合、映像特徴は、基準特徴と直接比較可能である。映像特徴と基準特徴は、同じカテゴリーを表わすこともあり、互いに異なるカテゴリーを表わすことができる。映像特徴と基準特徴とが符合するならば、2つは同じカテゴリーを表わすものとして決定され、一方、映像特徴と基準特徴とが符合しなければ、2つは互いに異なるカテゴリーを表わすものであると決定されうる。
カテゴリー判断部17は、映像特徴と基準特徴とを比較し、映像とユーザが所望するカテゴリーとが互いに同一であるか否かを決定することができる。映像特徴が表わすカテゴリーは、映像のカテゴリーに該当する。基準特徴が表わすカテゴリーは、基準特徴によって認識されうる既定の特定のカテゴリーである。この特定のカテゴリーは、ユーザが保存することを所望する映像のカテゴリーであり得る。
例えば、カテゴリー判断部17は、映像特徴と基準特徴とを比較し、もし、映像特徴と基準特徴とが同一であれば、2つは同じカテゴリーを表わし、したがって、映像のカテゴリーは、ユーザが保存することを所望する映像の特定のカテゴリーであると決定することができる。一方、カテゴリー判断部17は、映像特徴と基準特徴とを比較し、もし、映像特徴と基準特徴とが符合しなければ、2つは互いに異なるカテゴリーを表わし、したがって、映像のカテゴリーは、ユーザが保存することを所望する映像の特定のカテゴリーではないと決定することができる。
本明細書では、たとえ実施形態がカテゴリー識別基準データが基準特徴を含み、基準特徴を映像から抽出される特徴の一種である場合を例示的に説明するが、実施形態が、このような例に制限されるものではない。例えば、カテゴリー識別基準データ13は、基準特徴ではなく、特定のカテゴリーを識別する他の多様な基準データを含みうる。この場合、カテゴリー判断部17は、映像から抽出された特徴のカテゴリーを判断するために、このようなカテゴリー識別基準データを利用できる。カテゴリー識別基準データ13は、特定の特徴に対して、この特定の特徴が特定のカテゴリーであるか否かを識別できる基準データであれば、制限なしに含みうる。例えば、カテゴリー識別基準データは、特徴内に含まれている特徴を識別し、該識別された特徴が特定のカテゴリーとして識別されるか否かを判断させるデータであり得る。
したがって、本明細書で、たとえカテゴリー判断部17が、カテゴリー識別基準データ13からの基準特徴と映像から抽出された特徴とを”比較する”と表現しているとしても、このような“比較する”という表現は、特徴−対−特徴の単純比較のみで制限されるものではないということを理解しなければならない。言い換えれば、基準特徴と映像から抽出された特徴とを比較することは、映像から抽出された特徴を、特定のカテゴリーを認識することができる多様な他のカテゴリー識別基準データに基づいて判断する多様な方式を含むということを理解しなければならない。
そして、動作制御部19は、カテゴリー判断部17の決定によって映像の保存と関連した動作を制御する制御信号を出力する。動作制御部19が出力する制御信号は、映像をローカル及び/または遠隔記録媒体に保存させる制御信号の1つであり得る。ローカル記録媒体は、例えば、自動映像選択装置10を含むスマートメガネ内に備えられているメモリであり得る。遠隔記録媒体は、例えば、自動映像選択装置10を含むスマートメガネと通信網を通じて連結されているスマートフォン、タブレット、ラップトップコンピュータ、または遠隔のクラウドサーバ内の保存空間であり得る。
図1を参照して、前述された自動映像選択装置10によれば、映像自動選択保存技術が提供されうる。例えば、自動映像選択装置10を含むスマートメガネにおいて、ユーザは、スマートメガネのヘッドアップディスプレイ上で表示されている映像のうちから、ユーザに意味のある特定のカテゴリーのコンテンツを有した映像のみを自動選択して、スマートメガネ内のローカルメモリに保存することができる。ユーザは、自動選択された映像を無線インターネットのような通信網で連結されたクラウドのユーザ個人勘定保存空間上に保存されるようにアップロードすることができる。ユーザが人ごみの中を歩いて行きながら、またはショッピングをする途中で、自動映像選択装置10は、スマートメガネのカメラによって撮影される映像のうちからユーザが所望するコンテンツを有した映像が自動選択され、保存させる。
図2は、自動映像選択装置の他の実施形態を示すブロック図である。図2に示された自動映像選択装置20は、複数のカテゴリーを認識し、選択して保存できるように制御する。
図2を参照すれば、自動映像選択装置20は、映像受信部21、複数のカテゴリーのそれぞれに対して定義された複数のカテゴリー別識別基準データ231、232、233を含むカテゴリー識別基準データ23、特徴抽出部25、複数のカテゴリー別識別基準データ231、232、233に対応して、複数のカテゴリーのそれぞれに対して動作する複数のカテゴリー別カテゴリー判断部271、272、273を含むカテゴリー判断部27、動作制御部29などのコンポーネントを含みうる。
映像受信部21は、図1の映像受信部11と類似に、受信される映像データから特定の映像を獲得するコンポーネントである。
映像受信部21によって獲得された映像は、特定のカテゴリーに属するか否かが判断されなければならない。映像が、特定のカテゴリーに属するか否かの判断基準をカテゴリー識別基準データ23で提供する。
カテゴリー識別基準データ23は、図1のカテゴリー識別基準データ13と類似しているが、但し、互いに異なるカテゴリーを認識するように既定の複数のカテゴリー別識別基準データ231、232、233を含むという点で異なる。カテゴリー1識別基準データ231は、1つの特定のカテゴリー、すなわち、“カテゴリー1”を認識するように既定の基準特徴を含みうる。カテゴリー2識別基準データ232は、他の1つの特定のカテゴリー、すなわち、“カテゴリー2”を認識するように既定の基準特徴を含みうる。同様に、カテゴリーN識別基準データ233は、さらに他の1つの特定のカテゴリー、すなわち、“カテゴリーN”を認識するように既定の基準特徴を含みうる。ここで、Nは、2以上の整数である。したがって、カテゴリー識別基準データ23は、2つ以上の互いに異なるカテゴリーに対してそれぞれ既定のカテゴリー識別基準データを含みうる。
特徴抽出部25は、図1の特徴抽出部15と類似に、映像から特徴を抽出して、該抽出された特徴を映像特徴として出力する。特徴抽出部25によって抽出される映像特徴は、カテゴリー識別基準データ23に含まれている基準特徴と比較可能な同じ形式のデータによって構成される。
カテゴリー判断部27は、図1のカテゴリー判断部17と類似しているが、但し、互いに異なるカテゴリーを認識するために複数のカテゴリー別カテゴリー判断部271、272、273を含むという点で異なる。カテゴリー1判断部271は、カテゴリー1識別基準データ231に対応して映像のカテゴリーが“カテゴリー1”であるか否かを決定する。カテゴリー2判断部272は、カテゴリー2識別基準データ232に対応して映像のカテゴリーが“カテゴリー2”であるか否かを決定する。同様に、カテゴリーN判断部273は、カテゴリーN識別基準データ233に対応して映像のカテゴリーが“カテゴリーN”であるか否かを決定する。ここで、Nは、2以上の整数である。したがって、カテゴリー判断部27は、映像のカテゴリーが2つ以上の互いに異なるカテゴリーに属するか否かを決定することができる。
そして、動作制御部29は、図1の動作制御部19と類似に、カテゴリー判断部27の決定によって映像の保存と関連した動作を制御する制御信号を出力する。
図3は、自動映像選択装置のさらに他の実施形態を示すブロック図である。図3に示された自動映像選択装置30は、図1に示されたシステムの変形例であって、学習データを用いてカテゴリー識別基準データを更新することによって、カテゴリー認識機能を詳細に細分化(refine)できるようにする。
図3を参照すれば、自動映像選択装置30は、映像受信部31、カテゴリー識別基準データ33、特徴抽出部35、学習データ36、カテゴリー判断部37、特徴学習部38、動作制御部39などのコンポーネントを含みうる。
映像受信部31は、図1の映像受信部11と類似に、受信される映像データから特定の映像を獲得するコンポーネントである。
映像受信部31によって獲得された映像は、特定のカテゴリーに属するか否かが判断されなければならない。映像が特定のカテゴリーに属するか否かの判断基準データをカテゴリー識別基準データ33で提供する。
また、映像受信部31によって獲得された映像のカテゴリーは、既に定義されている。学習データ36は、特定のカテゴリーとして既に分類されている映像の集合である。学習データ36は、ユーザがローカルメモリ、ユーザが所持しているコンピューティング装置内の保存空間、または遠隔クラウドの個人勘定の保存空間に保存しておいた映像を指す。学習データ36内の映像が特定のカテゴリーに属しているか否かは、ユーザによって決定されうる。
カテゴリー識別基準データ33は、図1のカテゴリー識別基準データ13と類似に、特定のカテゴリーを認識するように既定の基準特徴のようなデータを含みうる。
特徴抽出部35は、図1の特徴抽出部15と類似に、映像から特徴を抽出して、該抽出された特徴を映像特徴として出力する。
カテゴリー判断部37は、図1のカテゴリー判断部17と類似に、映像特徴とカテゴリー識別基準データ33内のデータ、すなわち、基準特徴を比較し、映像とユーザが所望するカテゴリーとが互いに同一であるか否かを決定することができる。
特徴学習部38は、学習データ36の映像に対するカテゴリー判断部37の決定に基づいてカテゴリー識別基準データ33を更新する。例えば、もし、カテゴリー判断部37が、学習データ36から獲得された映像から抽出された映像特徴とカテゴリー識別基準データ33内の基準特徴とが互いに符合すると決定すれば、特徴学習部38は、カテゴリー識別基準データ33を更新しない。一方、もし、カテゴリー判断部37が、学習データ36から獲得された映像から抽出された映像特徴とカテゴリー識別基準データ33内の基準特徴とが互いに符合しないと決定すれば、特徴学習部38は、映像特徴に基づいてカテゴリー識別基準データ33を更新する。例えば、特徴学習部38は、映像特徴をカテゴリー識別基準データ33に追加することによって、カテゴリー識別基準データ33を更新することができる。
そして、動作制御部39は、図1の動作制御部19と類似に、カテゴリー判断部37の決定によって映像の保存と関連した動作を制御する制御信号を出力する。
さて、図4ないし図7を参照して、自動映像選択装置を含むコンピューティング装置の例が記述される。以下で記述されるコンピューティング装置は、単に例示に過ぎない。当業者は、特許請求の範囲及びそれらの等価物内で多様な組み合わせの単一コンピューティング装置及び/または分散コンピュータ環境が可能であるということを容易に理解できる。
図4は、自動映像選択装置を含むコンピューティング装置の一実施形態を示すブロック図である。図4を参照すれば、自動映像選択装置40を備えたコンピューティング装置400が例示される。示された例で、コンピューティング装置400は、自動映像選択装置40、カメラ415、ディスプレイ425、及びローカル映像ストレージ435を含む。自動映像選択装置40は、図1のシステムのコンポーネントと類似に、それぞれ対応する映像受信部41、カテゴリー識別基準データ43、特徴抽出部45、カテゴリー判断部47、及び動作制御部49を含む。
映像受信部41は、カメラ415から撮影された映像がディスプレイ425に供給されている経路で映像を獲得する。該獲得された映像に対して特徴抽出部45によって特徴が抽出される。該抽出された特徴は、映像特徴としてカテゴリー判断部47に提供される。カテゴリー判断部47は、映像特徴とカテゴリー識別基準データ43からの基準特徴とを比較する。カテゴリー識別基準データ43は、既定の特定のカテゴリーを認識するように既定の1つ以上の基準特徴を含みうる。したがって、カテゴリー判断部47は、映像が既定の特定のカテゴリーに含まれるものであるか否かを決定することができる。動作制御部49は、カテゴリー判断部47が、映像がカテゴリー識別基準データ43に定義されているカテゴリーに含まれるものであると決定して初めて、カメラ415からローカル映像ストレージ435に保存される動作を行わせる制御信号を出力することができる。
これにより、図4に例示されたコンピューティング装置400は、カメラ415によって撮影された映像をディスプレイ425を通じて、ユーザにディスプレイすると共に、カテゴリー認識過程を経て選択された映像のみをローカル映像ストレージ435に保存することができる。
図5は、自動映像選択装置を含む他のコンピューティング装置の他の実施形態を示すブロック図である。
図5を参照すれば、自動映像選択装置50を備えたコンピューティング装置500及び遠隔映像サーバ555が、通信網545を通じて連結されている分散コンピュータ環境が例示される。示された例で、コンピューティング装置500は、自動映像選択装置50、映像信号受信モジュール515、ディスプレイ525、及びローカル映像ストレージ535を含む。自動映像選択装置50は、図1のシステムのコンポーネントに対応する映像受信部51、カテゴリー識別基準データ53、特徴抽出部55、カテゴリー判断部57、及び動作制御部59を含む。
映像受信部51は、映像信号受信モジュール515から受信された映像がディスプレイ525に供給されている経路で映像を獲得する。映像信号受信モジュール515は、通信網545を通じて遠隔映像サーバ555から映像を受信することができる。獲得された映像に対して特徴抽出部55によって特徴が抽出される。該抽出された特徴は、映像特徴としてカテゴリー判断部57に提供される。カテゴリー判断部57は、映像特徴とカテゴリー識別基準データ53からの基準特徴とを比較する。カテゴリー識別基準データ53は、既定の特定のカテゴリーを認識するように既定の1つ以上の基準特徴が含まれうる。したがって、カテゴリー判断部57は、映像が既定の特定のカテゴリーに含まれるものであるか否かを決定することができる。動作制御部59は、カテゴリー判断部57が、映像がカテゴリー識別基準データ53に定義されているカテゴリーに含まれるものであると決定して初めて、映像信号受信モジュール515からローカル映像ストレージ535に保存される動作を行わせる制御信号を出力することができる。
これにより、図5に例示されたコンピューティング装置500は、例えば、放送局サーバであり得る遠隔映像サーバ555からDMB映像をディスプレイ525を通じて、ユーザにディスプレイすると共に、カテゴリー認識過程を経て選択された映像のみをローカル映像ストレージ535に保存することができる。
図6は、自動映像選択装置を含むコンピューティング装置のさらに他の実施形態を示すブロック図である。図6を参照すれば、自動映像選択装置60を備えたコンピューティング装置600及び遠隔映像ストレージ635が通信網655を通じて連結されている分散コンピュータ環境が例示される。示された例で、コンピューティング装置600は、自動映像選択装置60、カメラ615、ディスプレイ625、映像信号送信モジュール645を含む。自動映像選択装置60は、図1のシステムのコンポーネントに対応する映像受信部61、カテゴリー識別基準データ63、特徴抽出部65、カテゴリー判断部67、及び動作制御部69を含む。
映像受信部61は、カメラ615から撮影された映像がディスプレイ625に供給されている経路で映像を獲得する。該獲得された映像に対して特徴抽出部65によって特徴が抽出される。該抽出された特徴は、映像特徴としてカテゴリー判断部67に提供される。カテゴリー判断部67は、映像特徴とカテゴリー識別基準データ63からの基準特徴とを比較する。カテゴリー識別基準データ63は、既定の特定のカテゴリーを認識するものであって、既定の1つ以上の基準特徴を含みうる。したがって、カテゴリー判断部67は、映像が既定の特定のカテゴリーに含まれるものであるか否かを決定することができる。動作制御部69は、カテゴリー判断部67が、映像がカテゴリー識別基準データ63に定義されているカテゴリーに含まれるものであると決定して初めて、カメラ615から遠隔映像ストレージ635に保存されるように送信される動作を行わせる制御信号を出力することができる。この制御信号によって、カメラ615から映像が映像信号送信モジュール645に提供されうる。映像信号送信モジュール645は、映像を通信信号に変換した後、通信網655を通じて遠隔映像ストレージ635に送信して保存させうる。
これにより、図6に例示されたコンピューティング装置600は、カメラ615で撮影する映像をディスプレイ625を通じて、ユーザにディスプレイすると共に、カテゴリー認識過程を経て選択された映像のみを遠隔映像ストレージ635に保存することができる。例えば、遠隔映像ストレージ635は、遠隔クラウドサーバのユーザ個人勘定に割り当てられた保存空間であり得る。
図7は、自動映像選択装置を含むコンピューティング装置のさらに他の実施形態を示すブロック図である。図7を参照すれば、自動映像選択装置70を備えたコンピューティング装置700及び遠隔学習データ765、及び遠隔映像ストレージ735が通信網755を通じて連結されている分散コンピュータ環境が例示される。示された例で、コンピューティング装置700は、自動映像選択装置70、カメラ715、ディスプレイ725、映像信号送信モジュール745、及び映像信号受信モジュール785を含む。自動映像選択装置70は、図3のシステムのコンポーネントに対応する映像受信部71、カテゴリー識別基準データ73、特徴抽出部75、カテゴリー判断部77、特徴学習部78、及び動作制御部79を含む。
自動映像選択装置70は、選択モード及び学習モードの2つの動作モードを有する。選択モードである場合、自動映像選択装置70は、獲得した映像のカテゴリーを認識して保存するか否かを判断する動作を行う。学習モードである場合、自動映像選択装置70は、学習データから映像を獲得し、該獲得した映像から抽出された特徴を用いてカテゴリー識別基準データ73を更新する動作を行う。自動映像選択装置70が選択モードまたは学習モードのうち如何なるモードで動作するかは、ユーザによって指定されうる。
選択モードで、映像受信部71は、カメラ715から撮影された映像がディスプレイ725に供給されている経路で映像を獲得する。該獲得された映像に対して特徴抽出部75によって特徴が抽出される。該抽出された特徴は、映像特徴としてカテゴリー判断部77に提供される。カテゴリー判断部77は、映像特徴とカテゴリー識別基準データ73からの基準特徴とを比較する。カテゴリー識別基準データ73は、既定の特定のカテゴリーを認識するものであって、既定の1つ以上の基準特徴を含みうる。したがって、カテゴリー判断部77は、映像が既定の特定のカテゴリーに含まれるものであるか否かを決定することができる。動作制御部79は、カテゴリー判断部77が、映像がカテゴリー識別基準データ73に定義されているカテゴリーに含まれるものであると決定して初めて、カメラ715から遠隔映像ストレージ735に保存されるように送信される動作を行わせる制御信号を出力することができる。この制御信号によって、カメラ715から映像が映像信号送信モジュール745に提供されうる。映像信号送信モジュール745は、映像を通信信号に変換した後、通信網755を通じて遠隔映像ストレージ735に送信して保存させうる。
学習モードで、自動映像選択装置70は、獲得される映像が既にカテゴリーが定義されている学習データからの映像であると仮定する。示された例で、映像受信部71は、映像信号受信モジュール785から受信された映像データから映像を獲得する。映像信号受信モジュール785は、通信網755を通じて連結されている遠隔学習データ765から映像データを受信することができる。獲得された映像に対して特徴抽出部75によって特徴が抽出される。該抽出された特徴は、映像特徴としてカテゴリー判断部77に提供される。カテゴリー判断部77は、映像特徴とカテゴリー識別基準データ73からの基準特徴とを比較する。
この場合、カテゴリー識別基準データ73の基準特徴は、特定のカテゴリーを認識するようにあらかじめ定義されている。また、映像特徴も、基準特徴に対して定義されている特定のカテゴリーを認識するようにあらかじめ定義されている。したがって、基準特徴と映像特徴は、互いに符合しなければならないことが原則である。しかし、実際に基準特徴と映像特徴は、互いに異なる。基準特徴は、一定量の基準映像データに基づいて選択された特徴であるのに比べて、学習データは、基準映像データに属しないこともある映像を含むさらに多量の映像データを含みうるためである。
したがって、カテゴリー判断部77は、基準特徴と映像特徴とが互いに符合するかを決定することができる。特徴学習部78は、カテゴリー判断部77が基準特徴と映像特徴とが互いに符合すると決定した場合、映像特徴を基準に基準特徴を修正または追加することによって、カテゴリー識別基準データ73を更新することができる。
学習モードでカテゴリー識別基準データ73が更新された以後、動作モードは、選択モードにスイッチングされうる。学習モードを経た後の選択モードは、更新されたカテゴリー識別基準データ73を利用できるので、映像カテゴリー認識過程がさらに効率的になされうる。
これにより、図7に例示されたコンピューティング装置700は、学習モードを通じて自動映像選択装置70の効率を向上させることが可能である。例えば、ユーザは、コンピューティング装置700に自動映像選択装置70を具現できるようにコーディングされたアプリケーションを設置することができる。そして、まず、ユーザは、自身が収集しておいた自身のみの映像データを学習データとして用いて自動映像選択装置70を学習させることができる。その後に、カメラ715によって撮影された映像に対して選択モードを実行させることができる。
図8は、自動映像選択方法の一実施形態を示すフローチャートである。図8を参照すれば、自動映像選択方法800は、映像のコンテンツを分析して、映像のカテゴリーを認識して選択保存するプロセスを含む。
まず、映像が受信される(801)。該受信された映像から特徴が抽出される(803)。該抽出された特徴のカテゴリーは、あらかじめ保存されているカテゴリー識別基準データに基づいて判断される(805)。映像から抽出された特徴のカテゴリーは、特定のカテゴリーと互いに符合するかが判断されうる(807)。
カテゴリー識別基準データは、特定のカテゴリーを認識するようにあらかじめ定義されている。したがって、抽出された特徴とカテゴリー識別基準データとが互いに符合するならば、映像のカテゴリーは、あらかじめ定義されている特定のカテゴリーと符合すると見なすことができる。一方、抽出された特徴とカテゴリー識別基準とが互いに符合しなければ、映像のカテゴリーは、あらかじめ定義されている特定のカテゴリーと符合しないと見なすことができる。
したがって、抽出された特徴とカテゴリー識別基準データとが互いに符合するならば、映像に関連した追加動作をイネーブルする制御信号が出力される(809)。映像に関連した追加動作は、映像の保存動作に関するのである。したがって、追加動作イネーブル制御信号によって映像が保存することができる。一方、抽出された特徴とカテゴリー識別基準とが互いに符合しなければ、映像に関連した追加動作をイネーブルしない制御信号が出力される(811)。それによる制御信号によって映像が保存されない。
図9は、自動映像選択方法の他の実施形態を示すフローチャートである。図9を参照すれば、自動映像選択方法900は、映像のカテゴリーを認識して、カテゴリー識別基準を学習させるプロセスを含む。
まず、学習データ映像が受信される(901)。学習データ映像は、ユーザによってあらかじめ特定のカテゴリーが定義されている映像である。獲得された映像から特徴が抽出される(903)。該抽出された特徴は、あらかじめ保存されているカテゴリー識別基準データと比較される(905)。そして、抽出された特徴とカテゴリー識別基準とが互いに符合するかが判断される(907)。
学習データ映像から抽出された特徴は、特定のカテゴリーを認識するものとして見なされる。また、カテゴリー識別基準データも、この特定のカテゴリーを認識するものであって、あらかじめ定義されていると見なされる。したがって、抽出された特徴とカテゴリー識別基準とが互いに符合するならば、カテゴリー識別基準は、抽出された特徴によって修正される必要がないと決定することができる。一方、抽出された特徴とカテゴリー識別基準とが互いに符合しなければ、カテゴリー識別基準は、抽出された特徴によって修正される必要があると決定することができる。
したがって、抽出された特徴とカテゴリー識別基準とが互いに符合するならば、カテゴリー識別基準をそのまま保持する(909)。一方、抽出された特徴とカテゴリー識別基準とが互いに符合しなければ、カテゴリー識別基準を抽出された特徴に基づいて更新する(911)。例えば、抽出された特徴をカテゴリー識別基準に追加することによって、カテゴリー識別基準を更新することができる。または、抽出された特徴を基準に既存のカテゴリー識別基準の一部を修正することによって、カテゴリー識別基準を更新することができる。
図10は、自動映像選択方法のさらに他の実施形態を示すフローチャートである。図10を参照すれば、自動映像選択方法1000は、ユーザがスマートメガネに独立したアプリケーションの形態で配布されるカテゴリー認識機を設置し、該設けられたカテゴリー認識機を実行させることによって、映像のカテゴリーを認識して選択保存するプロセスを含む。
まず、ユーザがスマートメガネを使って遠隔サーバに接続して、カテゴリー認識機をダウンロードし、設置することによって、スマートメガネにカテゴリー認識機が設けられる(1001)。以後、スマートメガネのカメラで撮影される映像が、スマートメガネに備えられたヘッドアップディスプレイ上でディスプレイされる。ユーザは、ディスプレイされている映像のうちから特定のカテゴリーに属する映像のみを自動選択して自動保存するために、カテゴリー認識機を実行させることができる(1003)。カテゴリー認識機が実行されれば、スマートメガネのプロセッサは、カテゴリー認識機から特定の映像に対する保存動作と関連した制御信号が出力されるまで待機する(1005)。
カテゴリー認識機が実行(1003)される間に、スマートメガネのプロセッサによって、図8を参照して前述されたカテゴリー認識に基づく自動映像選択方法800が行われる。その結果、図8を参照して前述したように、1つの映像が獲得され、映像から特徴が抽出され、該抽出された特徴と基準特徴とが比較されて、制御信号が出力される。スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像の保存動作をイネーブルする信号であれば(1007のはい)、映像と関連した追加動作、すなわち、保存動作を行う(1009)。一方、スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像の保存動作をイネーブルしない信号であれば(1007のいいえ)、この映像と関連した追加動作、すなわち、保存動作を行わない(1011)。
カテゴリー認識機が実行される間に(1003)、プロセス800と制御信号を待機し、制御信号によって、これにより、特定の映像を保存または保存しない段階(1005〜1011)は、複数の連続する映像に対して反復されうる。
図11は、自動映像選択方法のさらに他の実施形態を示すフローチャートである。図11を参照すれば、自動映像選択方法1100は、ユーザがスマートメガネに独立したアプリケーションの形態で配布されるカテゴリー認識機を設置し、該設けられたカテゴリー認識機を実行させることによって、映像のカテゴリーを認識して選択した後、遠隔クラウドに保存するように送信するプロセスを含む。
まず、ユーザが、スマートメガネを使って遠隔サーバに接続して、カテゴリー認識機をダウンロードし、設置することによって、スマートメガネにカテゴリー認識機が設けられる(1101)。以後、スマートメガネのカメラで撮影される映像が、スマートメガネに備えられたヘッドアップディスプレイ上でディスプレイされる。ユーザは、ディスプレイされている映像のうちから特定のカテゴリーに属する映像のみを自動選択して遠隔クラウドに自動保存するために、カテゴリー認識機を実行させることができる(1103)。カテゴリー認識機が実行されれば、スマートメガネのプロセッサは、カテゴリー認識機から特定の映像に対する遠隔クラウドに保存するために、送信する動作と関連した制御信号が出力されるまで待機する(1105)。
カテゴリー認識機が実行(1103)される間に、スマートメガネのプロセッサによって、図8を参照して前述された自動映像選択方法800が行われる。その結果、1つの映像が獲得され、映像から特徴が抽出され、該抽出された特徴のカテゴリーは、カテゴリー識別基準に基づいて判断され、制御信号が出力される。スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像を遠隔クラウドに保存するように送信する動作をイネーブルする信号であれば(1107のはい)、映像と関連した追加動作、すなわち、遠隔クラウドに保存するように送信する動作を行う(1109)。一方、スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像の遠隔クラウドに保存するように送信する動作をイネーブルしない信号であれば(1107のいいえ)、この映像を遠隔クラウドに保存するように送信する動作を行わない(1111)。
カテゴリー認識機が実行される間に(1103)、プロセス800と制御信号を待機し、制御信号によって、これにより、特定の映像を保存または保存しない段階(1105〜1111)は、複数の連続する映像に対して反復されうる。
図12は、カテゴリー認識に基づく自動映像選択方法のさらに他の実施形態を示すフローチャートである。図12を参照すれば、自動映像選択方法1200は、ユーザがスマートメガネに独立したアプリケーションの形態で配布されるカテゴリー認識機を設置し、該設けられたカテゴリー認識機を実行させることによって、放送局から受信される映像のカテゴリーを認識して選択した後、保存するプロセスを含む。
まず、ユーザが、スマートメガネを使って遠隔サーバに接続して、カテゴリー認識機をダウンロードし、設置することによって、スマートメガネにカテゴリー認識機が設けられる(1201)。以後、遠隔映像サーバからスマートメガネの映像信号受信モジュールによって受信されるDMB映像がスマートメガネに備えられたヘッドアップディスプレイ上でディスプレイされる。ユーザは、ディスプレイされているDMB映像のうちから特定のカテゴリーに属する映像のみを自動選択して自動保存するために、カテゴリー認識機を実行させることができる(1203)。カテゴリー認識機が実行されれば、スマートメガネのプロセッサは、カテゴリー認識機から特定の映像に対する保存動作と関連した制御信号が出力されるまで待機する(1205)。
カテゴリー認識機が実行(1203)される間に、スマートメガネのプロセッサによって、図8を参照して前述された自動映像選択方法800が行われる。その結果、1つの映像が獲得され、映像から特徴が抽出され、該抽出された特徴のカテゴリーがカテゴリー識別基準に基づいて判断され、制御信号が出力される。スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像を保存する動作をイネーブルする信号であれば(1207のはい)、映像と関連した追加動作、すなわち、遠隔クラウドに保存するように送信する動作を行う(1209)。一方、スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像の保存動作をイネーブルしない信号であれば(1207のいいえ)、この映像を遠隔クラウドに保存するように送信する動作を行わない(1211)。
カテゴリー認識機が実行される間に(1203)、プロセス800と制御信号を待機し、制御信号によって、これにより、特定の映像を保存または保存しない段階(1205〜1211)は、複数の連続する映像に対して反復されうる。
図13は、自動映像選択方法のさらに他の実施形態を示すフローチャートである。図13を参照すれば、自動映像選択方法1300は、ユーザがスマートメガネに独立したアプリケーションの形態で配布されるカテゴリー認識機を設置し、該設けられたカテゴリー認識機を実行させる前に自身が収集した個人的な映像を学習データとして用いて学習させた後、カメラによって撮影された映像のカテゴリーを認識して選択した後、ストレージに保存するプロセスを含む。
まず、ユーザが、スマートメガネを使って遠隔サーバに接続して、カテゴリー認識機をダウンロードし、設置することによって、スマートメガネにカテゴリー認識機が設けられる(1301)。ユーザは、学習データを用いてカテゴリー認識機を学習させるために、カテゴリー認識機の学習モードを実行させることができる(1303)。
学習データは、ユーザが個人的に収集した映像であり得る。学習データは、スマートメガネのローカルメモリ内に保存された映像であり得る。学習データは、遠隔のクラウドに保存された映像であり得る。学習モードでカテゴリー認識機は、獲得される映像が特定のカテゴリーに属するものと見なす。したがって、学習データから獲得された映像から抽出された特徴も、また、この特定のカテゴリーを認識するものとあらかじめ定義されていると見なされる。
学習モードが実行される間に(1303)、スマートメガネのプロセッサによって、図9を参照して前述された自動映像選択方法900が行われる。その結果、カテゴリー認識機に含まれているカテゴリー識別基準が更新されうる。
以後、スマートメガネのカメラによって撮影される映像が、スマートメガネに備えられたヘッドアップディスプレイ上でディスプレイされる。ユーザは、ディスプレイされている映像のうちから特定のカテゴリーに属する映像のみを自動選択して自動保存するために、カテゴリー認識機を実行させることができる(1305)。カテゴリー認識機が実行されれば、スマートメガネのプロセッサは、カテゴリー認識機から特定の映像に対する保存動作と関連した制御信号が出力されるまで待機する(1307)。
カテゴリー認識機が実行(1305)される間に、スマートメガネのプロセッサによって、図8を参照して前述された自動映像選択方法800が行われる。その結果、1つの映像が獲得され、映像から特徴が抽出され、該抽出された特徴のカテゴリーは、カテゴリー識別基準に基づいて判断され、制御信号が出力される。スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像をストレージに保存する動作をイネーブルする信号であれば(1309のはい)、この映像をストレージに保存する動作を行う(1311)。一方、スマートメガネのプロセッサは、カテゴリー認識機から出力された制御信号が特定の映像のストレージ保存動作をイネーブルしない信号であれば(1309のいいえ)、この映像をストレージに保存する動作を行わない(1313)。
カテゴリー認識機が実行される間に(1305)、プロセス800と制御信号を待機し、制御信号によって、これにより、特定の映像をストレージに保存または保存しない段階(1307〜1313)は、複数の連続する映像に対して反復されうる。
図14は、自動映像選択方法のさらに他の実施形態を示すフローチャートである。図14を参照すれば、自動映像選択方法1400は、ユーザがスマートメガネに独立したアプリケーションの形態で配布される“花柄の服”カテゴリー認識機を設置し、該設けられたカテゴリー認識機を実行させることによって、映像のカテゴリーが“花柄の服”カテゴリーに符合するかを認識して選択保存するプロセスを含む。
まず、ユーザが、スマートメガネを使って遠隔サーバに接続して、さまざまなカテゴリーのうち、“花柄の服”カテゴリーを認識できるように設定された花柄の服の認識機をダウンロードし、設置することによって、スマートメガネに花柄の服の認識機が設けられる(1401)。
花柄の服の認識機のカテゴリー識別基準1450は、花柄の服のカテゴリーを認識するためのカテゴリー識別基準を含みうる。示された例で、カテゴリー識別基準1450は、基準特徴として服を認識させる“服の特徴”と花を認識させる特徴である“花の特徴”を含みうる。ここで、服の特徴及び花の特徴は、それぞれ複数の特徴を含む集合であり得る。しかし、これは、単に例示に過ぎず、カテゴリー識別基準1450内に花柄の服を認識するために必要な基準特徴として多様な特徴がさらに含まれるということは自明である。また、カテゴリー識別基準1450は、ユーザによって収集された個人的な映像を学習データとして使って学習されることで精密化されうる。
以後、スマートメガネのカメラで撮影される映像が、スマートメガネに備えられたヘッドアップディスプレイ上でディスプレイされる。ユーザは、ディスプレイされている映像のうちから花柄の服のカテゴリーに属する映像のみを自動選択して自動保存するために、花柄の服の認識機を実行させることができる(1403)。花柄の服の認識機が実行されれば、スマートメガネのプロセッサは、花柄の服の認識機から特定の映像に対する保存動作と関連した制御信号が出力されるまで待機する(1405)。
花柄の服の認識機が実行(1403)される間に、スマートメガネのプロセッサによって、図8を参照して前述された自動映像選択方法800が行われる。その結果、1つの映像が獲得され、映像から特徴が抽出され、該抽出された特徴のカテゴリーは、カテゴリー識別基準に基づいて判断されうる。その結果、映像のカテゴリーが、花柄の服のカテゴリーに符合するか否かが決定され、符合如何によって制御信号が出力される。スマートメガネのプロセッサは、花柄の服の認識機から出力された制御信号が特定の映像の保存動作をイネーブルする信号であれば(1407のはい)、映像の保存動作を行う(1409)。一方、スマートメガネのプロセッサは、花柄の服の認識機から出力された制御信号が特定の映像の保存動作をイネーブルしない信号であれば(1407のいいえ)、この映像の保存動作を行わない(1411)。
花柄の服の認識機が実行される間に(1403)、プロセス(1455)と制御信号を待機し、制御信号によって、これにより、特定の映像を保存または保存しない段階(1405〜1411)は、複数の連続する映像に対して反復されうる。
図15は、カテゴリー認識に基づく自動映像選択方法のさらに他の実施形態を示すフローチャートである。図15を参照すれば、カテゴリー認識に基づく自動映像選択方法1500は、ユーザがスマートメガネに独立したアプリケーションの形態で配布される芸能人“LDGG”のカテゴリー認識機を設置し、該設けられたカテゴリー認識機を実行させることによって、映像のカテゴリーが、名前が“LDGG”である芸能人(例えば、レディー・ガガ)のカテゴリーに符合するかを認識して選択保存するプロセスを含む。
まず、ユーザが、スマートメガネを使って遠隔サーバに接続して、さまざまなカテゴリーのうち自身が好んでいる芸能人の一人と関連した“LDGG”カテゴリーを認識できるように設定されたLDGG認識機をダウンロードし、設置することによって、スマートメガネにLDGG認識機が設けられる(1501)。
LDGG認識機のカテゴリー識別基準データ(1550)は、名前が“LDGG”である芸能人のカテゴリーを認識するための基準特徴を含みうる。示された例で、カテゴリー識別基準データ(1550)は、人を認識させる“人の特徴”、人のうちから女子を認識させる特徴である“女子の特徴”、及び“LDGG”という特定人の顔を認識するための“LDGGの顔の特徴”を含みうる。ここで、人の特徴、女子の特徴及び芸能人“LDGG”の顔の特徴は、それぞれ複数の特徴を含む集合であり得る。しかし、これは、単に例示に過ぎず、カテゴリー識別基準データ(1550)内に芸能人“LDGG”を認識するために必要な基準特徴として多様な特徴がさらに含まれるということは自明である。また、カテゴリー識別基準データ(1550)は、ユーザによって収集された個人的な映像を学習データとして使って学習されることで精密化されうる。
以後、スマートメガネのカメラで撮影される映像が、スマートメガネに備えられたヘッドアップディスプレイ上でディスプレイされる。ユーザは、ディスプレイされている映像の中から“LDGG”のカテゴリーに属する映像のみを自動選択して自動保存するために、LDGG認識機を実行させることができる(1503)。LDGG認識機が実行されれば、スマートメガネのプロセッサは、LDGG認識機から特定の映像に対する保存動作と関連した制御信号が出力されるまで待機する(1505)。
LDGG認識機が実行(1503)される間に、スマートメガネのプロセッサによって、図8を参照して前述されたカテゴリー認識に基づく自動映像選択方法800が行われる。その結果、1つの映像が獲得され、映像から特徴が抽出され、該抽出された特徴のカテゴリーがカテゴリー識別基準データに基づいて判断されうる。その結果、映像のカテゴリーが芸能人“LDGG”のカテゴリーに符合するか否かが決定され、符合如何によって制御信号が出力される。スマートメガネのプロセッサは、LDGG認識機から出力された制御信号が特定の映像の保存動作をイネーブルする信号であれば(1507のはい)、映像の保存動作を行う(1509)。一方、スマートメガネのプロセッサは、LDGG認識機から出力された制御信号が特定の映像の保存動作をイネーブルしない信号であれば(1507のいいえ)、この映像の保存動作を行わない(1511)。
LDGG認識機が実行される間に(1503)、プロセス(1555)と制御信号を待機し、制御信号によって、これにより、特定の映像を保存または保存しない段階(1505〜1511)は、複数の連続する映像に対して反復されうる。
前記で、図14及び図15を参照して、それぞれ1つの特定のカテゴリーを認識するように既定のカテゴリー認識機が例示される。この場合、ユーザは、複数のカテゴリー認識機のうちから、所望するカテゴリーと最も近接したカテゴリーを認識するようにあらかじめ決定されている1つのカテゴリー認識機を選択してスマートメガネに設置することができる。その後、ユーザは、設けられたカテゴリー認識機を自身が収集した映像を学習データとして使って学習させることによって、ユーザが所望するカテゴリーを認識することができる自身のみの専用カテゴリー認識機に変化させることができる。
他の方式で、ユーザは、特定のカテゴリーに対してあらかじめ決定されていない状態で製作された汎用カテゴリー認識機を選択してスマートメガネに設置することができる。この場合にも、同様に、ユーザは、設けられた汎用カテゴリー認識機を自身が収集した映像を学習データとして使って学習させることによって、ユーザが所望するカテゴリーを認識することができる自身のみの専用カテゴリー認識機に変化させることができる。
前述した自動映像選択装置のコンポーネントは、プロセッサ、メモリ、ユーザ入力装置、プレゼンテーション装置を含みうるコンピューティング装置のコンポーネントの組み合わせによって具現されうる。メモリは、プロセッサによって実行されれば、特定のタスクを行うようにコーディングされているコンピュータ可読ソフトウェア、アプリケーション、プログラムモジュール、ルーチン、インストラクション(instructions)、及びデータなどを保存する媒体である。「インストラクション」は「命令」等と言及されてもよい。プロセッサは、メモリに保存されているコンピュータ実行可能ソフトウェア、アプリケーション、プログラムモジュール、ルーチン、インストラクション、及び/またはデータなどを読み出して実行することができる。ユーザ入力装置は、ユーザをしてプロセッサに特定のタスクを実行させる命令を入力するか、特定のタスクの実行に必要なデータを入力させる手段であり得る。ユーザ入力装置は、物理的なまたは仮想的なキーボードやキーパッド、キーボタン、マウス、ジョイスティック、トラックボール、タッチ感知又はタッチセンサ型入力手段、またはマイクロホンなどを含みうる。プレゼンテーション装置は、ディスプレイ、プリンター、スピーカー、または振動装置などを含みうる。
また、前述した自動映像選択方法は、コンピュータ具現可能インストラクションとしてコーディングされてコンピューティング装置のプロセッサによって実行されることで具現されうる。コンピュータ実行可能インストラクションは、ソフトウェア、アプリケーション、モジュール、プロシージャ、プラグイン、プログラム、インストラクション、及び/またはデータ構造などを含みうる。コンピュータ具現可能インストラクションは、コンピュータ可読媒体に保存することができる。コンピュータ可読媒体は、コンピュータ可読ストレージ媒体及びコンピュータ可読通信媒体を含む。コンピュータ可読ストレージ媒体は、RAM、ROM、フラッシュメモリ、光ディスク、磁気ディスク、磁気テープ、磁気カセット、ハードディスク、ソリッドステートディスクなどを含みうる。コンピュータ可読通信媒体は、カテゴリー認識に基づく自動映像選択方法がコーディングされているコンピュータ実行可能インストラクションが通信網を通じて送受信可能な信号の形態でコーディングされたものを意味する。
コンピューティング装置は、カメラ、ディスプレイ、プロセッサ、メモリなどを備えて、運用システム及び多様なアプリケーションを設置して実行させることによって、多様な機能を行う装置である。コンピューティング装置には、スマートウォッチ、スマートメガネ、スマートフォン、タブレット、ラップトップ、デスクトップ、サーバ、クライアントなどの多様な装置が含まれうる。コンピューティング装置は、1つの単一のスタンド−アロン装置でもあり、通信網を通じて互いに協力する多数のコンピューティング装置からなる分散型環境で動作する多数のコンピューティング装置を含みうる。
前記で、図1ないし図7を参照して記述された映像保存システムは、単に例示に過ぎない。当業者は、請求項及びその等価物の範囲内で多様な組み合わせの他のシステムが可能であるということを容易に理解できる。映像保存システムのコンポーネントは、それぞれの機能を具現する回路を含むハードウェアによって具現されうる。また、自動映像選択装置のコンポーネントは、コンピューティング装置のプロセッサによって行われれば、特定のタスクを実行するコンピュータ具現可能ソフトウェア、ファームウェアまたはハードウェア、またはそれらの組み合わせによって具現されることもある。
一方、図8ないし図15を参照して記述された自動映像選択方法は、単に例示に過ぎない。当業者は、請求項及びその等価物の範囲内で多様な組み合わせの他の方法が可能であるということを容易に理解できる。自動映像選択方法は、コンピューティング装置のプロセッサによって行われれば、特定のタスクを実行するコンピュータ具現可能インストラクションでコーディングされうる。コンピュータ具現可能インストラクションは、ソフトウェア開発者によって、例えば、ベーシック、フォートラン、C、C++のようなプログラミング言語によってコーディングされた後、機械語でコンパイルされうる。
このようなコンピュータ具現可能インストラクションは、独立したアプリケーション形態のカテゴリー認識機で作られてユーザに配布されうる。ユーザは、通信網を通じてカテゴリー認識機をダウンロードして、自身のスマートフォン、スマートウォッチ、スマートメガネなどのコンピューティング装置に設置することができる。以後、ユーザが設けられたカテゴリー認識機を実行させれば、コンピューティング装置のプロセッサによって自動映像選択方法に含まれている段階、プロセス、過程などを具現するアクションが行われる。
図1の映像受信部11、カテゴリー識別基準データ13、特徴抽出部15、カテゴリー判断部17、及び動作制御部19;図2の映像受信部21、カテゴリー識別基準データ23、互いに異なるカテゴリーのための識別基準データ231、232、233、特徴抽出部25、カテゴリー判断部27、互いに異なるカテゴリーのためのカテゴリー判断部271、272、273)、及び動作制御部29;図3の映像受信部31、カテゴリー識別基準データ33、特徴抽出部35、学習データ36、カテゴリー判断部37、特徴学習部38、及び動作制御部39;図4の映像受信部41、カテゴリー識別基準データ43、特徴抽出部45、カテゴリー判断部47、及び動作制御部49;図5の映像受信部51、カテゴリー識別基準データ53、特徴抽出部55、カテゴリー判断部57、動作制御部59、及び映像信号受信モジュール515;図6の映像受信部61、カテゴリー識別基準データ63、特徴抽出部65、カテゴリー判断部67、動作制御部69、及び映像信号送信モジュール645;図7の映像受信部71、カテゴリー識別基準データ73、特徴抽出部75、カテゴリー判断部77、特徴学習部78、動作制御部79、映像信号送信モジュール745、及び映像信号受信モジュール785;及び図8ないし図15の自動映像選択方法は、1つ以上のハードウェアコンポーネント、1つ以上のソフトウェアコンポーネント、または1つ以上のハードウェアコンポーネントと1つ以上のソフトウェアコンポーネントとの組み合わせを用いて具現されうる。
ハードウェアコンポーネントは、例えば、1つ以上の動作を物理的に行う物理的装置であるが、これに限定されるものではない。ハードウェアコンポーネントの例は、レジスタ、キャパシタ、インダクター、電源供給装置、周波数発生器、演算増幅器、電力増幅器、ローパスフィルター、ハイパスフィルター、バンドパスフィルター、アナログ−デジタルコンバータ、デジタル−アナログコンバータ、及び処理装置を含む。
ソフトウェアコンポーネントは、例えば、1つ以上の動作を行うソフトウェアまたはインストラクションによって制御される処理装置によって具現可能であるが、これに限定されるものではない。1つのソフトウェアコンポーネントは、1つの処理装置、または1つの処理装置によって具現可能な2つ以上のソフトウェアコンポーネント、または2つ以上の処理装置によって具現可能な1つのソフトウェアコンポーネント、または2つ以上の処理装置によって具現可能な2つ以上のソフトウェアコンポーネントとして具現可能である。
処理装置は、1つ以上の汎用または特殊目的のコンピュータ、例えば、プロセッサ、コントローラとALU(Arithmetic Logic Unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(Field−Programmable Gate Array)、PLU(Programmable Logic Unit)、マイクロプロセッサー、またはソフトウェアを駆動するか、インストラクションを実行する任意の他の装置として具現可能である。処理装置は、運用体制(OS)を駆動し、運用体制で動作する1つ以上のソフトウェアアプリケーションを駆動することができる。処理装置は、ソフトウェアを駆動するか、インストラクションを実行する時、データに接近し、データを保存、操作、処理及び生成することができる。説明の便宜上、本明細書で”処理装置”としているが、当業者は、処理装置は複数の処理要素及び複数の処理要素のタイプを含むということを理解できる。例えば、処理装置は、1つ以上のプロセッサ、または1つ以上のプロセッサと1つ以上のコントローラとを含みうる。また、並列プロセッサまたはマルチコアプロセッサのように異なるプロセッシング構成も可能である。
動作Aを行うソフトウェアコンポーネントを具現するように構成された処理装置は、動作Aを行うようにプロセッサを制御するために、ソフトウェアを駆動するか、命令語を実行するようにプログラミングされたプロセッサを含みうる。また、動作A、動作B、及び動作Cを行うソフトウェアコンポーネントを具現するように構成された処理装置は、多様な構成を有しうる。例えば、処理装置は、動作A、B及びCを行うソフトウェアコンポーネントを具現するように構成されたプロセッサ;動作Aを行うソフトウェアコンポーネントを具現するように構成された第1プロセッサ、及び動作B及びCを行うソフトウェアコンポーネントを具現するように構成された第2プロセッサ;動作A及びBを行うソフトウェアコンポーネントを具現するように構成された第1プロセッサ、及び動作Cを行うソフトウェアコンポーネントを具現するように構成された第2プロセッサ;動作Aを行うソフトウェアコンポーネントを具現するように構成された第1プロセッサ、動作Bを行うソフトウェアコンポーネントを具現するように構成された第2プロセッサと、動作Cを行うソフトウェアコンポーネントを具現するように構成された第3プロセッサ;動作A、B、及びCを行うソフトウェアコンポーネントを具現するように構成された第1プロセッサと、動作A、B、及びCを行うソフトウェアコンポーネントを具現するように構成された第2プロセッサ;または動作A、B、及びCのうち1つ以上を行うように具現された1つ以上のプロセッサの任意の他の構成を有しうる。以上、3種の動作A、B、及びCに関する例について説明したが、具現される動作の数は、3種に限定されず、所望の結果を果たすか、所望の作業を行うのに必要な動作の個数は、多様である。
本明細書に説明された例を具現するための機能的プログラム、コード、及びコードセグメントは、本明細書に開示された図面及び説明に基づいて当業者によって容易に構成することができる。
ソフトウェアコンポーネントを具現する処理装置を制御するためのソフトウェアまたはインストラクションは、個別的または集合的に指示(instructing)するか、1つ以上の所望の動作を行う処理装置を構成するために、コンピュータプログラム、コード切片、インストラクションまたはこれらの組み合わせを含みうる。ソフトウェアまたはインストラクションは、コンパイラによって生成されたマシンコード、及び/またはインタプリタを用いて処理装置によって実行可能なハイレベルコードのような処理装置によって直接処理されるマシンコードを含みうる。ソフトウェアまたはインストラクションと、任意の関連データ、データファイル及びデータ構造は、機械、コンポーネント、物理的または仮想的装備、コンピュータ記録媒体または装置、または処理装置によって解釈されるか、解釈されうるインストラクションまたはデータを提供することができる伝播された信号波形(propagated signal wave)のうち、任意の類型で永久的または一時的に具現されうる。ソフトウェアまたはインストラクションと、任意の関連データ、データファイル、データ構造は、また分散された方式で保存及び実行されるようにネットワークで連結されたコンピュータシステム(network−coupled computer systems)に分散されうる。
本明細書は、特定の例を含むが、当業者ならば、本発明の本質的な特性から外れない範囲で変形された形態として具現可能であるということを理解できるであろう。説明された技法が、他の順序で行われる場合、及び/または説明されたシステムのコンポーネント、構造、装置、または回路が、異なる方式で組み合わせられる場合、及び/または説明されたシステムのコンポーネント、構造、装置、または回路が、他のコンポーネントまたはそれらの等価物によって代替される場合、補充される場合にも、適した結果が達成されうる。したがって、本発明の範囲は、前述した実施形態に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施形態が含まれるように解析しなければならない。
本発明は、自動映像選択装置及び方法関連の技術分野に適用可能である。
10:自動映像選択装置
11:映像受信部
13:カテゴリー識別基準データ
15:特徴抽出部
17:カテゴリー判断部
19:動作制御部

Claims (34)

  1. 映像を受信する映像受信部と、
    前記映像から特徴を抽出する特徴抽出部と、
    前記特徴抽出部により抽出された特徴が、前記映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断するカテゴリー判断部と、
    を含む自動映像選択装置。
  2. 前記カテゴリー判断部の決定によって、前記映像の保存と関連した動作を制御する動作制御部をさらに含む請求項1に記載の自動映像選択装置。
  3. 前記映像受信部は、
    ユーザのためにディスプレイに現在表示されている映像データ、
    カメラを通じて撮影されて受信される映像データ、又は
    通信網を通じて受信される映像データ
    から映像を受信する、請求項1又は2に記載の自動映像選択装置。
  4. 前記映像受信部は、特定のカテゴリーを認識するように既定の映像を含む学習データから映像を受信し、
    前記カテゴリー判断部の決定によって、前記所定のカテゴリー識別基準データを更新する特徴学習部をさらに含む請求項1〜3のうちの何れか一項に記載の自動映像選択装置。
  5. 前記所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するために既定の複数のカテゴリー識別基準データを含む請求項1〜4のうちの何れか一項に記載の自動映像選択装置。
  6. 前記動作制御部は、前記映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力する請求項2に記載の自動映像選択装置。
  7. 前記動作制御部は、前記映像を通信網を通じて遠隔ストレージ媒体に伝送し、前記映像を前記遠隔ストレージ媒体に保存する動作を制御する制御信号を出力する請求項2に記載の自動映像選択装置。
  8. 自動映像選択装置により実行される自動映像選択方法であって、
    映像を受信する段階と、
    前記映像から特徴を抽出する段階と、
    前記抽出する段階により抽出された特徴が、前記映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断する段階と、
    を含む自動映像選択方法。
  9. 前記判断の結果によって、前記映像の保存と関連した動作を制御する段階をさらに含む請求項8に記載の自動映像選択方法。
  10. 前記映像を受信する段階は、
    ユーザのためにディスプレイに現在ディスプレイされている映像データ、
    カメラを通じて撮影されて受信される映像データ、又は
    通信網を通じて受信される映像データ
    から映像を受信する、請求項8又は9に記載の自動映像選択方法。
  11. 前記映像を受信する段階は、特定のカテゴリーを認識するように既定の映像を含む学習データから映像を受信し、
    前記判断の結果によって、前記所定のカテゴリー識別基準データを更新する段階をさらに含む請求項8〜10のうちの何れか一項に記載の自動映像選択方法。
  12. 前記所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するために既定の複数のカテゴリー識別基準データを含む請求項8〜11のうちの何れか一項に記載の自動映像選択方法。
  13. 前記映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含む請求項8〜12のうちの何れか一項に記載の自動映像選択方法。
  14. 前記映像を通信網を通じて遠隔ストレージ媒体に伝送し、前記映像を前記遠隔ストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含む請求項8〜13のうちの何れか一項に記載の自動映像選択方法。
  15. 請求項8〜14のうち何れか一項に記載の自動映像選択方法を自動映像選択装置に実行させるコンピュータプログラム。
  16. カメラ及びディスプレイを含むコンピューティング装置のプロセッサによって実行される場合に、前記プロセッサに動作方法を実行させるコンピュータ実行可能な命令を保存するコンピュータ可読記録媒体であって、
    前記動作方法は、
    前記カメラにより撮影され、前記ディスプレイに現在表示されている映像を受信する段階と、
    前記映像から特徴を抽出し、映像特徴として出力する段階と、
    前記映像特徴が、前記映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断する段階と、
    を含むコンピュータ可読記録媒体。
  17. 前記動作方法は、前記判断の結果によって、前記映像の保存と関連した動作を制御する制御信号を出力する段階をさらに含む請求項16に記載のコンピュータ可読記録媒体。
  18. 前記動作方法は、
    通信網を通じて受信される映像データから映像を受信する段階をさらに含む請求項16又は17に記載のコンピュータ可読記録媒体。
  19. 前記動作方法は、
    特定のカテゴリーに属するものであって、既定の映像を含む学習データから映像を受信する段階と、
    前記判断の結果によって、前記所定のカテゴリー識別基準データを更新する段階と、
    をさらに含む請求項16〜18のうちの何れか一項に記載のコンピュータ可読記録媒体。
  20. 前記所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するために既定の複数のカテゴリー識別基準データを含む請求項16〜19のうちの何れか一項に記載のコンピュータ可読記録媒体。
  21. 前記動作方法は、
    前記映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含む請求項16〜20のうちの何れか一項に記載のコンピュータ可読記録媒体。
  22. 前記動作方法は、
    前記映像を映像信号に変換し、前記映像信号を遠隔ストレージ媒体に伝送し、前記映像信号を前記遠隔ストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含む請求項16〜21のうちの何れか一項に記載のコンピュータ可読記録媒体。
  23. 前記コンピュータ実行可能な命令は、
    少なくとも1つの特定のカテゴリーを認識するように既定の1つの独立したアプリケーションとして提供される請求項16〜22のうちの何れか一項に記載のコンピュータ可読記録媒体。
  24. 前記コンピュータ実行可能な命令は、
    ユーザが決定した少なくとも1つのカテゴリーを認識するように学習される1つの独立したアプリケーションとして提供される請求項16〜22のうちの何れか一項に記載のコンピュータ可読記録媒体。
  25. カメラと、
    ディスプレイと、
    プロセッサと、
    前記プロセッサによって実行される場合に、前記プロセッサに動作方法を実行させるコンピュータ実行可能な命令を保存するコンピュータ可読記録媒体と、を含むコンピューティング装置であって、
    前記動作方法は、
    前記カメラにより撮影され、前記ディスプレイに現在表示されている映像を受信する段階と、
    前記映像から特徴を抽出して映像特徴として出力する段階と、
    前記映像特徴が、前記映像を保存するか否かの判断に使われる所定のカテゴリー識別基準データに符合するか否かを判断する段階と、
    を含むコンピューティング装置。
  26. 前記動作方法は、
    前記判断の結果によって、前記映像の保存と関連した動作を制御する制御信号を出力する段階をさらに含む請求項25に記載のコンピューティング装置。
  27. 前記コンピューティング装置は、通信網を通じて映像データを受信する通信モジュールをさらに含み、
    前記動作方法は、前記通信網を通じて受信された前記映像データから映像を受信する段階とをさらに含む請求項25又は26に記載のコンピューティング装置。
  28. 前記動作方法は、
    特定のカテゴリーに属するものであって、既定の映像を含む学習データから映像を受信する段階と、
    前記判断の結果によって、前記所定のカテゴリー識別基準データを更新する段階と、
    をさらに含む請求項25〜27のうちの何れか一項に記載のコンピューティング装置。
  29. 前記コンピューティング装置は、通信網を通じて映像データを受信する通信モジュールをさらに含み、
    前記動作方法は、
    前記通信モジュールを通じて受信され、特定のカテゴリーに属するものであって、既定の映像を含む学習データから映像を受信する段階をさらに含む請求項25〜28のうちの何れか一項に記載のコンピューティング装置。
  30. 前記所定のカテゴリー識別基準データは、互いに異なるカテゴリーを認識するためにあらかじめ定義されている複数のカテゴリー識別基準データを含む請求項25〜29のうちの何れか一項に記載のコンピューティング装置。
  31. 前記動作方法は、
    前記映像をローカルストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含む請求項25〜30のうちの何れか一項に記載のコンピューティング装置。
  32. 前記コンピューティング装置は、通信網を通じて遠隔ストレージ媒体に映像データを送信する通信モジュールをさらに含み、
    前記動作方法は、
    前記映像を前記遠隔ストレージ媒体に送信し、前記映像を前記遠隔ストレージ媒体に保存する動作を制御する制御信号を出力する段階をさらに含む請求項25〜31のうちの何れか一項に記載のコンピューティング装置。
  33. 前記コンピュータ実行可能な命令は、
    少なくとも1つの特定のカテゴリーを認識するように既定の1つの独立したアプリケーションとして提供される請求項25〜32のうちの何れか一項に記載のコンピューティング装置。
  34. 前記コンピュータ実行可能な命令は、
    ユーザによって決定された少なくとも1つのカテゴリーを認識するように学習される1つの独立したアプリケーションとして提供される請求項25〜32のうちの何れか一項に記載のコンピューティング装置。
JP2015069426A 2014-03-31 2015-03-30 自動映像選択装置、自動映像選択方法、コンピュータ可読記録媒体及びコンピューティング装置 Active JP6936554B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0038073 2014-03-31
KR1020140038073A KR102174470B1 (ko) 2014-03-31 2014-03-31 영상 저장 시스템 및 방법

Publications (2)

Publication Number Publication Date
JP2015197924A true JP2015197924A (ja) 2015-11-09
JP6936554B2 JP6936554B2 (ja) 2021-09-15

Family

ID=53040350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015069426A Active JP6936554B2 (ja) 2014-03-31 2015-03-30 自動映像選択装置、自動映像選択方法、コンピュータ可読記録媒体及びコンピューティング装置

Country Status (5)

Country Link
US (1) US9773289B2 (ja)
EP (1) EP2927842A3 (ja)
JP (1) JP6936554B2 (ja)
KR (1) KR102174470B1 (ja)
CN (1) CN104951746B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017056821A1 (ja) * 2015-09-30 2018-07-19 ソニー株式会社 情報取得装置と情報取得方法
JP2019118097A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体
JPWO2018142756A1 (ja) * 2017-01-31 2019-11-07 株式会社Nttドコモ 情報処理装置及び情報処理方法
JP2020071873A (ja) * 2018-10-25 2020-05-07 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607081B2 (en) * 2016-01-06 2020-03-31 Orcam Technologies Ltd. Collaboration facilitator for wearable devices
US10148884B2 (en) * 2016-07-29 2018-12-04 Microsoft Technology Licensing, Llc Facilitating capturing a digital image
EP3622443A4 (en) * 2017-05-08 2021-01-20 Plantsnap, Inc. SYSTEMS AND METHODS FOR ELECTRONIC IDENTIFICATION OF PLANT SPECIES
KR101982135B1 (ko) 2017-07-11 2019-05-24 (주)제이하우스 길이 조절형 환기 장치
CN107622281B (zh) * 2017-09-20 2021-02-05 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及移动终端
CN107992197A (zh) * 2017-12-12 2018-05-04 上海闻泰电子科技有限公司 虚拟现实设备和系统
CN110969183B (zh) * 2019-09-20 2023-11-21 北京方位捷讯科技有限公司 一种根据图像数据确定目标对象受损程度的方法及系统
US11206365B2 (en) * 2020-01-13 2021-12-21 Charter Communications Operating, Llc Method and apparatus for overlaying themed imagery onto real-world objects in a head-mounted display device
CN111401438B (zh) * 2020-03-13 2023-08-25 德联易控科技(北京)有限公司 图像分拣方法、装置及系统
CN111401464B (zh) * 2020-03-25 2023-07-21 抖音视界有限公司 分类方法、装置、电子设备及计算机可读存储介质
KR20220158902A (ko) * 2021-05-24 2022-12-02 주식회사 비컨 탈모 진단 보조 정보를 계산하기 위한 두피 이미지의 선택 방법 및 이를 수행하는 장치
KR102272468B1 (ko) * 2021-02-23 2021-07-05 주식회사 비컨 탈모 상태 정보 제공 방법 및 장치
TWI803333B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 圖像特徵匹配方法、電腦裝置及儲存介質

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090107A (ja) * 1998-09-10 2000-03-31 Toshiba Corp 動画関連情報検索システム
JP2005165531A (ja) * 2003-12-01 2005-06-23 Canon Inc 情報機器、その制御方法及びプログラム
WO2012042974A1 (ja) * 2010-09-30 2012-04-05 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
JP2012151547A (ja) * 2011-01-17 2012-08-09 Panasonic Corp 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
WO2014030407A1 (ja) * 2012-08-23 2014-02-27 ソニー株式会社 制御装置および記憶媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040067345A (ko) * 2003-01-22 2004-07-30 엘지전자 주식회사 광디스크 장치에서의 오디오 선별 저장 및 재생방법
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
JP4466585B2 (ja) * 2006-02-21 2010-05-26 セイコーエプソン株式会社 対象物が表現された画像の数の算出
KR101252843B1 (ko) 2006-04-25 2013-04-09 주식회사 팬택앤큐리텔 이동 통신 단말기에서 이미지 관리 방법
JP2008067219A (ja) 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP4458131B2 (ja) * 2007-08-23 2010-04-28 ソニー株式会社 画像撮像装置、撮像方法
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2010041527A (ja) 2008-08-07 2010-02-18 Nec Corp 撮影支援方法、システム、プログラム
KR101587099B1 (ko) 2008-12-10 2016-01-20 엘지전자 주식회사 단말기 및 그 제어 방법
CN101510254A (zh) * 2009-03-25 2009-08-19 北京中星微电子有限公司 一种图像分析中更新性别分类器的方法及性别分类器
EP2521096A4 (en) * 2009-12-28 2013-10-09 Cyber Ai Entertainment Inc IMAGE DISPLAY SYSTEM
KR101337555B1 (ko) * 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR101762769B1 (ko) 2011-04-18 2017-08-07 삼성전자주식회사 촬영 장치에서 피사체를 촬영하기 위한 장치 및 방법
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
CN103605459A (zh) * 2013-11-27 2014-02-26 福州瑞芯微电子有限公司 快捷应用启动方法及其终端
CN103646256A (zh) * 2013-12-17 2014-03-19 上海电机学院 一种基于图像特征稀疏重构的图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090107A (ja) * 1998-09-10 2000-03-31 Toshiba Corp 動画関連情報検索システム
JP2005165531A (ja) * 2003-12-01 2005-06-23 Canon Inc 情報機器、その制御方法及びプログラム
WO2012042974A1 (ja) * 2010-09-30 2012-04-05 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
JP2012151547A (ja) * 2011-01-17 2012-08-09 Panasonic Corp 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
WO2014030407A1 (ja) * 2012-08-23 2014-02-27 ソニー株式会社 制御装置および記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
寺田賢治,外1名: "インターネットカメラを用いた通行人記録画像の自動生成", 電気学会論文誌C, vol. 127, no. 4, JPN6019014182, 1 April 2007 (2007-04-01), pages 553 - 560, ISSN: 0004281735 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017056821A1 (ja) * 2015-09-30 2018-07-19 ソニー株式会社 情報取得装置と情報取得方法
JPWO2018142756A1 (ja) * 2017-01-31 2019-11-07 株式会社Nttドコモ 情報処理装置及び情報処理方法
JP2019118097A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体
JP2020071873A (ja) * 2018-10-25 2020-05-07 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
EP2927842A2 (en) 2015-10-07
CN104951746A (zh) 2015-09-30
JP6936554B2 (ja) 2021-09-15
US20150278979A1 (en) 2015-10-01
EP2927842A3 (en) 2015-11-11
KR20150113699A (ko) 2015-10-08
US9773289B2 (en) 2017-09-26
KR102174470B1 (ko) 2020-11-04
CN104951746B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
JP6936554B2 (ja) 自動映像選択装置、自動映像選択方法、コンピュータ可読記録媒体及びコンピューティング装置
EP3345379B1 (en) Method for electronic device to control object and electronic device
Betancourt et al. The evolution of first person vision methods: A survey
WO2021238631A1 (zh) 物品信息的显示方法、装置、设备及可读存储介质
KR102425578B1 (ko) 객체를 인식하는 방법 및 장치
US11245968B2 (en) Prediction model training via live stream concept association
US10341461B2 (en) System and method for automatically recreating personal media through fusion of multimodal features
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
JP2022531220A (ja) 視覚的特徴をサウンドタグに相関させることによるビデオタグ付け
US20190116323A1 (en) Method and system for providing camera effect
CN108476258B (zh) 用于电子设备控制对象的方法以及电子设备
US10642881B2 (en) System architecture for universal emotive autography
CN108475283A (zh) 用于搜索多个视频流的文本文摘生成
CN104067275A (zh) 序列化电子文件
KR20140127527A (ko) 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법
KR20220000758A (ko) 영상 검출 장치 및 그 동작 방법
EP3843024A1 (en) Computing device and operation method thereof
KR20210034669A (ko) 추천들을 전달하기 위한 방법, 디바이스, 및 시스템
CN113870133A (zh) 多媒体显示及匹配方法、装置、设备及介质
WO2015184903A1 (zh) 一种图片处理方法及装置
US20220138489A1 (en) Method of live video event detection based on natural language queries, and an apparatus for the same
KR102426089B1 (ko) 전자 장치 및 전자 장치의 요약 영상 생성 방법
US20240050306A1 (en) Automated generation of control signals for sexual stimulation devices
CN110704680B (zh) 标签生成方法、电子设备及存储介质
US11590052B2 (en) Automated generation of control signals for sexual stimulation devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200407

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200507

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200512

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200612

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200616

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200901

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201013

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210511

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210706

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210817

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6936554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150