JP2020115350A - プラットフォーム及びイメージデバイスの間の通信プロトコル - Google Patents

プラットフォーム及びイメージデバイスの間の通信プロトコル Download PDF

Info

Publication number
JP2020115350A
JP2020115350A JP2020036278A JP2020036278A JP2020115350A JP 2020115350 A JP2020115350 A JP 2020115350A JP 2020036278 A JP2020036278 A JP 2020036278A JP 2020036278 A JP2020036278 A JP 2020036278A JP 2020115350 A JP2020115350 A JP 2020115350A
Authority
JP
Japan
Prior art keywords
camera
metadata
platform
message
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020036278A
Other languages
English (en)
Other versions
JP7149031B2 (ja
Inventor
エー. クリグ、スコット
A Krig Scott
エー. クリグ、スコット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2020115350A publication Critical patent/JP2020115350A/ja
Application granted granted Critical
Publication of JP7149031B2 publication Critical patent/JP7149031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32117Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate transmission or protocol signal prior to or subsequent to the image data transmission, e.g. in digital identification signal [DIS], in non standard setup [NSS] or in non standard field [NSF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00278Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a printing apparatus, e.g. a laser beam printer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0055By radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074Arrangements for the control of a still picture apparatus by the connected apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像上の被写体を認識したことに応じてメタデータを生成する装置、方法、プログラム、カメラ及び記録媒体を提供する。【解決手段】コンピュータシステム10において、プロトコルは複数のプラットフォームと複数のイメージデバイスの間の通信を許可する。これは、プラットフォームが望む情報の複数の特定のタイプ、プラットフォームが好む情報のフォーマット及びプラットフォームにおける処理の量を低減する他の情報をプラットフォームが指定することを可能にする。【選択図】図1

Description

概して、これは、複数のプリンタ、複数のモニタまたは複数のディスプレイ、及び複数のカメラなどの複数のイメージングデバイス周辺機器を含む、コンピュータ制御される複数のデバイスに関する。
いくつかの例を挙げると複数のラップトップコンピュータ、複数のデスクトップ型コンピュータ及び複数のタブレットなどの従来の複数のコンピュータプラットフォームは、相互作用してイメージングデバイスからの情報を受信し得る。
本明細書中で用いられるように「イメージデバイス」とは、画像を生成または表示することができる任意のものであり、モニタ、ディスプレイ、カメラ、イメージセンサ、プリンタ、またはファクス送受信機を含む。
従来、プラットフォームはイメージングデバイスから単純に未処理データを受信し、その後、未処理データに対する必要な処理を実行する。
以下の図面に関していくつかの実施形態が説明される。
本願発明の一実施形態のブロック図である。 本願発明の一実施形態のフローチャートである。 本願発明の他の実施形態のフローチャートである。
いくつかの実施形態によると、プロトコルは複数のプラットフォームと複数のイメージデバイスの間の通信を可能にする。これは、例えば、プラットフォームが望み得る情報の複数の特定のタイプ、プラットフォームが好み得る情報のフォーマット、及び、プラットフォームにおける処理の量を低減し得る他の情報、をプラットフォームが指定することを可能にする。
したがって、プロトコルは標準化された制御方法と、複数のデバイス間を行き来するステータス情報、例えばデバイス機能を得るための制御メッセージなどと、をもたらすと共に、処理の特徴及び挙動と、複数の利用可能なデバイスの特徴及びオプションを示す複数のステータスメッセージとを変更しても良い。例えば、従来、ジェスチャ認識ソフトウェアにおいて、プラットフォームは、ジェスチャを特定するべく解析され、サーチされ、かつ処理されるための、動画の継続中のストリームを受信する。
これは、特に無線通信または他の帯域幅制限通信が関係し得る場合に、複数のプラットフォーム及び複数のイメージデバイスの間の通信帯域幅を消費し得る。したがって、いくつかの実施形態では、プラットフォーム及びイメージングデバイスの間の通信に、プラットフォームにとって所望の情報、例えば、どのみち単純に破棄される不要なデータを送信する必要を減らすこと、を指定できるようにすることが有効である。
同様に、ディスプレイ、モニタ、プリンタ、ファクス送受信機などの任意の画像受信装置は、コンピュータシステムまたはプラットフォームなどの画像ソースに対して、データを受信したいフォーマットを指定しても良い。例えば、特定のマージンを使用する特定のデータタイプ、特定のデータ密度、または特定のプロトコルを必要とするディスプレイまたはプリンタは、この情報をソースに対して指定することができる。従って、ソースは画像受信装置に情報を供給すべく処理を行うことができる。
また、本発明のプロトコルの実施形態は、複数の実際のカメラ、複数のプリンタ及び複数のディスプレイも、複数のカメラ及び複数のディスプレイの代わりに動作する複数のプロセッシングユニットも、他のデバイス内で動作する複数のバーチャルカメラ、複数のプリンタ及び複数のディスプレイも含んで良い。例えば、ラップトップコンピュータデバイスは、このプロトコルを用いて実際のプリンタに対して通信することができるバーチャルカメラを実行しても良く、複数のバーチャルカメラはダンプラップトップカメラの代わりに動作し、このプロトコルを実現すべくスマートラッパーを提供する。
同様に、いくつかの実施形態では、複数の画像ソースは、それらが提供することができる画像データの特性を指定することで、複数の他のフォーマットの選択についての複数の選択肢を提供し、好ましいフォーマットに関するフィードバックをシンクデバイスから受信することができる。
いくつかの例に言及すれば、複数のイメージデバイスは複数のディスプレイ、複数のプリンタ、複数のイメージプロセッサ、複数のイメージセンサ及び複数のファクス送受信機を含んでも良い。いくつかの実施形態では、これらの周辺機器は、データの解析及び編集を実行するとともに、複数のコマンドを受信し、これら複数のコマンドに対する応答を通信するための十分な知能を有する。したがって、概してこれらの周辺機器は、メモリまたは記憶装置も含むプロセッサベースシステムであろう。
複数の潜在的な用途には、顔認識、被写体認識、シーン認識、シーン内の光源及び方向ベクトルに関する知覚指向情報、ソース及び複数の目標デバイスの比色分析の複数のプロパティが含まれる。
最初の例として、カメラ内のイメージセンサは、例えば、コンシューミングなエンドポイントプラットフォームのニーズに適合させるべく、実行される処理のタイプを変更するための知能か、或いは、生成される対応メタデータを変更するための知能を有しても良い。例えば、いくつかのプラットフォームは、動画または他の画像情報が有る場合又は無い場合での、関心点座標、被写体座標、被写体カウント、及び他の記述子情報などの、メトリクスの形態の処理済み画像メタデータを望むかもしれない。プリンタなどの他のイメージングデバイスは、メタデータを望まないかも知れないし、特定の態様で処理された生の動画のみを要求するかも知れない。
他の例のように、スマートカメラは、特定の属性の顔を探すよう命令されるかも知れない。スマートプリンタは、10フレーム/秒のシーンの3次元デプスマップをカメラに用意するよう求めることをスマートアプリケーションソフトウェアに許可しつつ、最適なプリントレンダリングのための、プリンタの色空間デバイスモデルに適した未処理画像データを配信するようカメラに伝えても良い。同様に、プリンタまたはディスプレイは、顔などの被写体の範囲の位置及び領域を提供するようカメラに求めても良く、これによりプリンタまたはディスプレイは、ベストな鑑賞結果を実現するべく最適化された態様で、顔領域などの被写体のスマートエンハンスメントを実行する。したがって、イメージキャプチャデバイスは、被写体の広い範囲を認識するとともに、プリンタ、ディスプレイまたは他のレンダリングデバイスにレンダリングを最適化させつつ、ここで説明されるタイプの標準化されたプロトコルを用いて、プリンタまたはディスプレイに被写体情報を通信することができても良い。
したがって、いくつかの実施形態では、標準化された双方向性のプロトコルは、プラットフォームと周辺機器の間でイメージングデータの仕様の通信を許可するように実装されても良い。いくつかの実施形態では、これはより効率のよいデータ伝達と、不必要なデータの伝達の縮小をもたらす。
プロトコルは、XML(Extensible Markup Language)、限定されるものではないがUSB(universal serial bus)を含むカメラによって使用される既存の複数の標準ハードウェアプロトコルメソッドを通じてイメージングデバイス間を双方向に送信されるASCII(American Standard Code for Information Interchange)テキストコマンドストリーム、MIPI(Mobile Industry Processor Interface)(MIPIアライアンスインコーポレイテッドから入手可能な仕様)、PCIE(Peripheral Components International Express)、または、3.05仕様(PCI Special Interest Group, Beaverton, OR 97006, 2010‐10−8)のように高水準に具体化されることができ、或いは、プロトコルは既存の複数のハードウェアプロトコルの拡張であっても良い。
代わりに、新たなハードウェアプロトコルは、例えばMIPI、USB、PCIeにおける双方向チャネルとして考案されても良いし、それどころか、H.265(High Efficiency Video Coding, Feb. 2012, available from Fraunhofe Heinrich Hertz Institute)及びコーデックフォーマットなどの動画規格を含む双方向チャネルとして考案されても良い。ISO/IEC MPEG(Moving Pictures Experts Group)から入手可能なH.265を参照して欲しい。
複数の使用事例には、スマートプロトコルを使用可能なカメラに対し、各デバイスの色域が与えられた場合に複数の画像が最適に印刷されるように処理する方法をアドバイスする、スマートプロトコルの使用可能な複数のプリンタが含まれる。他の使用事例は、特定の顔が見えた場合に情報を生成するだけに構成されることのできる、スマートプロトコルを使用可能なカメラであり、顔にマッチする座標と共に顔の詳細がスマートカメラデバイスに送信され、信頼水準が対応画像と共に、または対応画像無しでプラットフォームに送信されることを許可する。このやり取りは、これらの特性を有する複数の顔を探したり、追尾するジェスチャを探したり、追尾する被写体を探したり、被写体が見つかった場合に報告のみを行い、その後、座標、記述子情報、信頼レベル、及び、全体の画像フレームまたは被写体を含むフレーム部分を送信したりするなどのサーチを行うための、標準化された関心のセットまたは記述子セットを送信することを伴っても良い。
他の使用例はスマートプロトコルを使用可能な複数のディスプレイを含み、これらのディスプレイは、それらの比色定量的に正確な色域マップと、デバイスカラーモデルとをカメラに送信し、そのディスプレイにとって最適な画像をカメラが生成できるようにすることができる。他の適用は、スマートプロトコルを使用可能なカメラのセンサチップにコマンドを送信して、顔の長方形の座標だけを、対応する関心点及び他の画像記述子についての複数の詳細と共に要求する通信プロトコルの使用を可能とする、顔追跡アプリケーションソフトウェアを伴う。
追加の適用として、3次元プリンタは、設定コマンドをスマート3Dカメラに送信するための通信プロトコル及び通信チャネルを使用しても良い。これらの設定コマンドは、限定されるものではないが、ステレオ、タイムオブフライト(TOF)、ストラクチャライトなどを含む、様々な複数の3次元(3D)センサ技術ごとに、特定の複数のコマンドまたは複数の命令を含んでも良い。
3Dプリンタは、次に、3Dトライアングルデプスメッシュにおける各トライアングル上の複数のテクスチャだけでなく、デプスマップと3Dトライアングルデプスメッシュにおける複数のトライアングルのセットとを、各ポリゴンについての複数の対応色と、デプスマップとを有するイメージセンサカメラデバイスに要求するのみであり、その結果、3次元モデルをカメラデプスマップ及び3次元プリンタ上の色情報から直接的に印刷することが可能となる。または、ここで説明されるタイプの標準化されたプロトコルによって、3Dトライアングルデプスメッシュ、及び、同一の3Dトライアングルデプスメッシュが3Dディスプレイにも提供され、ディスプレイ上でのフル3Dレンダリングを可能としても良い。
したがって、図1を参照すると、コンピュータシステム10は、メモリ16、プロセッサ14及びインターフェース18を有するプラットフォーム12を備える。インターフェース18は、カメラ20、プリンタ22及びモニタ24などの複数のイメージングデバイスとインターフェースしても良い。
デバイス20、22および24のそれぞれは、ハードウェアプロセッサ50及び内部ストレージ52を有するハードウェアデバイスであっても良い。また顔認識アプリケーション26及びジェスチャ認識アプリケーション28がメモリ16に格納されても良い。ここで説明されるタイプのプロトコルは、複数のデバイスに対し、互いにプログラムして特別な機能を実現することを可能にする。例えばスマートプリンタはプログラムソースコードまたは実行可能コードをスマートカメラに送信することで、プリンタの代わりに特定の処理を実現させても良い。
インターフェース18は、MIPI,USB,UEFI(Unified Extensible Firmware Interface)(UEFI Specification, v. 2.3.1 , April 18, 201 1 )、HTML(Hypertext Markup Language)、またはTCP/IP(Transmission Control Protocol/Internet Protocol)ソケット若しくはUDP(Uniform Data Protocol)データグラムでさえも含む、様々な異なるインターフェースの1つを実装しても良い。他の複数の通信チャネルは、有線及び無線ネットワークの両方を含む。いくつかの例に言及すると、インターフェースは、要求/応答プロトコル、ポーリングされたプロトコル、または、イベントまたはインタラプトイベントプロトコルであり得るプロトコルを実装しても良い。いくつかの例に言及すると、プロトコルは、CSR(Command and Status Register)共有メモリまたはレジスタのインターフェース、または、HTTP、TCP/IP上のソケット内のデータグラムなどのストリームプロトコルインターフェースもまた用いることができる。本発明のいくつかの実施形態に関連し、任意のプロトコル方式が使用され得る。
図2のプロトコルソースシーケンス30及び図3に示されるプロトコルシンクシーケンス40を含む図2及び図3の複数のシーケンスは、ソフトウェア、ファームウェア及び/またはハードウェアによって実装され得る。 ソフトウェア及びファームウェアの複数の実施形態において、複数のシーケンスは、コンピュータに実行される複数の命令を記憶する1または複数の非一時的なコンピュータ可読媒体によって実装される。いくつかの実施形態では、非一時的なコンピュータ可読媒体は、オプティカル、マグネティック、及び/または半導体のメモリであっても良い。
図2を参照すると、データを要求するためのプロトコルソースシーケンス30は、ブロック32で示されるように、要求を受信することで始まる。要求は、プラットフォームまたはカメラなどの周辺機器で受信され得る。
ブロック34で示されるように、要求は、動画受信/要求デバイス内で有効な適切な複数のコマンドに変換され得る。次に、ブロック36で示されるように、受信され得る未処理データは、フィルタリングされて、要求で記載されるフォームにされ得る。したがって、フォーマットは、多様なデータフォーマット、多様なデータサイズ、特定のテキストアイテムを検索しつつデータ及び画像内で特定の被写体を検索するための複数の特定の被写体のスペック、または、他の要求を含んでも良い。
次に、ブロック38に示されるように、フィルタリングされたデータは、シンクに送信される。いくつかの実施形態では、シンクは、モニタまたはプラットフォームなどの受信デバイスであっても良い。
図3は、データを消費するデバイスであるプロトコルシンクシーケンス40を示す。シーケンス40は、ブロック42において、データフォーマットを特定することにより始まる。
プロトコルシンクシーケンスは、例えば2つの例として、プラットフォームまたはディスプレイに実装されても良い。次に、ブロック44において、データのポテンシャルソース(例えばカメラ)が特定されても良い。次に、ブロック46に示すように、既にブロック42で特定された特定フォーマットで、データがソースから要求される。次に、ブロック48に示されるように、フォーマットされたデータが受信されて確認される。
使用され、プラットフォーム及び複数のイメージングデバイスの間で通信され得るメタデータは、XMLを含む様々なフォーマットであっても良い。プロトコルメタデータは、ソフトウェアメタデータのコマンド及びステータスの構文を実装しても良い。選択されたプロトコル指示語のセットが使用され、複数のプラットフォーム及び複数のイメージングデバイスの間の双方向通信を可能にしても良い。
複数の異なるコマンドが開発されても良いし、デフォルトのコマンドが提供されても良い。 各コマンドは、任意の有用な、要求された情報を返すのに加え、成功、失敗または故障のコードを示すステータスコードを返しても良い。
コマンドの第1の例として、画像前処理パイプラインの要求または応答は、複数の例として、シャープニング、コントラスト改善、またはHISTEQの項目を指定しても良い。画像フォーマット要求または応答コマンドは、RGBなどの使用されるべき色空間、BAYER,YUV422,YUV444,HSD,Luvなどの使用され得るパターン、x/y次元が使用されるべきか否かなどの次元を指定しても良い。
最適なコマンドとしての、さらに他の適用可能なコマンドは、カメラによって画像及びメタデータの両方が最適化される複数のデバイス及び複数のアプリケーションを指定するための要求及び応答を含む。これは、この技術に関係する既知の複数のデバイスのリストに対する複数のデバイスモデルのプロファイルの公開リストに基づいても良い。
これらのプロファイルは、カメラに組み込まれても良いし、或いは、カメラによってオンデマンドでネットワークまたは記憶デバイスから検索されても良い。この構成は、カメラがデバイスの画像色域、または顔認識のような既知のアプリケーションに対する画像色域を更に最適化することを可能にする。したがって、複数のデバイスの標準的な構成は登録され、周知の位置にオンラインで格納されても良く、これにより、ここで説明されるタイプの標準化されたプロトコルが使用されてデバイス構成を獲得する、或いは、このプロトコルで使用されるデバイス構成をセットすることができる。
他の潜在的なコマンドは、複数の所望の関心点の複数のタイプを指定するための関心点要求または応答である。さらにコマンドの他の例は、複数の関心点の周囲の複数の領域記述子のタイプを指定するための記述子要求及び応答である。他の複数のコマンドは、複数の光源の色と、返される複数の方向ベクトルを指定するための光源要求及び応答を含む。他の複数の例は、デバイスカラーモデルに対する、デバイスのカラーモデルを返すための要求及び応答を含む。
要求または応答は、デバイスの色域の数学モデルなどの所望の情報と、Java(登録商標)バイトコードなどのLLVM(Low Level Virtual Machine)コードとのいくつかの組み合わせを含んでも良い。さらに他のコマンドは、デプスマップ内で返されるフォーマットを指定するためのデプスマップ要求及び応答である。プロトコルの実施形態では、整数値及び浮動小数点演算の精度と、8整数または16整数と、複数の画像領域のx/y次元と、ポリゴン3Dメッシュポイント、及び、ポイントまたはピクセルデプスマップを含むデプスマップの固有フォーマットとを含む複数のコンピュータメモリデータフォーマットを指定する可能性が存在する。
以下の表は、複数のコマンドの例を説明及びXML(EXtensible Markup Language)サンプル具体例とともに示す、各コマンドは、要求された任意の有用な情報を返すのに加え、成功、失敗または故障のコードを示すステータスコードを返しても良い。
Figure 2020115350
Figure 2020115350
Figure 2020115350
いくつかの実施形態では、特定の画像処理及び動画分析の複数のプロトコルが生成されることができ、そのようなシーケンシャルな組み合わせは、例えば画像の先鋭化、画像の色修正、顔のサーチ、プリンタへの顔座標の送信、またはプリンタへの画像送信などである。
複数の基本要素の他のコマンドリストは、スマートデバイスにJava(登録商標)バイトコードまたはLLVMコードを送信するための複数の基本要素の要求を除き、デバイスが実行可能な複数の基本機能をリスト化することを要求する。コードは、実行されるアルゴリズムであっても良く、デバイスがプロセッサを有し、コードを受け付けて実行でき、その後、コードがコマンドによって名指しで実行され得ることを前提とする。
基本コマンドの実行は、名指しでの基本要素の実行の要求であっても良い。生成コマンドは、一連の基本要素からパイプラインを生成しても良い。サーチ方法コマンドは、スマートカメラが探すべきもの、メタデータが返すべきもの及びメタデータがどのくらいの量か、及び、どのくらいの頻度でメタデータを返すか、を指定する要求であっても良い。
サーチターゲットコマンドは、スマートカメラが探すべきものを指定する要求である。これは、複数の例として、どのタイプの端点を探すか、どのタイプの顔を探すか、及び、どのタイプの車を探すか、をカメラに教えることができる。最終的に、サーチ結果コマンドは、対応するサーチコマンドからの結果の受信に対する応答であっても良い。複数の結果は、サーチ方法コマンドによって指定されるように定期的に来ても良い。
本明細書の全体を通じ「一実施形態」または「実施形態」という語は、その実施形態に関連して説明された特定の機能、構造または特性が、本発明内に含まれる少なくとも1つの実装に含まれることを意味する。したがって、「一実施形態」または「実施形態では」という用語の複数の出現は、必ずしも同一の実施形態を指すものではない。さらに、複数の特有の特徴、構造、または特性は、説明された特定の実施形態以外の他の適した形態で実施されることができ、そのようなすべての形態は、本願発明内に包含され得る。
本発明は、限定的な数の実施形態に関して説明されたものであり、当業者であれば、そこから多数の修正及び変形が理解される。添付された特許請求の範囲は、本発明の真の趣旨および範囲に属する全ての複数の修正及び複数の変形を包含することが意図されている。

Claims (29)

  1. 1または複数の画像をキャプチャするイメージセンサと、
    プロセッサとを備え、
    前記プロセッサは、
    前記1または複数の画像上の被写体認識を前記プロセッサに実行させるメッセージをプラットフォームから受信し、
    前記画像内の少なくとも1つの被写体を認識したことに応じてメタデータを生成し、
    前記メタデータを前記プラットフォームに提供する
    装置。
  2. 前記メタデータは被写体の数を有する、請求項1に記載の装置。
  3. 前記メッセージは、標準化されたプロトコルを有する、請求項1または2に記載の装置。
  4. 被写体認識は、顔認識を有する、請求項1〜3の何れか一項に記載の装置。
  5. 前記メッセージは、提供される前記メタデータを指定する、請求項1〜4の何れか一項に記載の装置。
  6. 前記メタデータは、XMLを有する、請求項1〜5の何れか一項に記載の装置。
  7. 前記イメージセンサおよび前記プロセッサはカメラを有し、
    前記カメラは前記プラットフォームの周辺機器であり、
    前記メッセージは、インターネットプロトコル(IP)コンパーチブルネットワークを介して前記カメラで受信される、請求項1〜6の何れか一項に記載の装置。
  8. プロセッサにおいてプラットフォームからメッセージを受信する段階と、
    前記メッセージの受信に応じ、前記プロセッサに結合されたイメージセンサによりキャプチャされた1または複数の画像上で被写体認識を実行する段階と、
    前記画像内で少なくとも1つの被写体を認識したことに応じて、メタデータを生成する段階と、
    前記メタデータを前記プラットフォームに提供する段階と、
    を備える方法。
  9. 前記メタデータは被写体の数を有する、請求項8に記載の方法。
  10. 前記メッセージは、標準化されたプロトコルを有する、請求項8または9に記載の方法。
  11. 被写体認識は、顔認識を有する、請求項8〜10の何れか一項に記載の方法。
  12. 前記メッセージは、提供される前記メタデータを指定する、請求項8〜11の何れか一項に記載の方法。
  13. 前記メタデータは、XMLを有する、請求項8〜12の何れか一項に記載の方法。
  14. 前記イメージセンサおよび前記プロセッサはカメラを有し、
    前記カメラは前記プラットフォームの周辺機器であり、
    前記メッセージは、インターネットプロトコル(IP)コンパーチブルネットワークを介して前記カメラで受信される、請求項8〜13の何れか一項に記載の方法。
  15. プロセッサにおいてプラットフォームからメッセージを受信する手順と、
    前記メッセージの受信に応じ、前記プロセッサに結合されたイメージセンサによりキャプチャされた1または複数の画像上で被写体認識を実行する手順と、
    前記画像内で少なくとも1つの被写体を認識したことに応じて、メタデータを生成する手順と、
    前記メタデータを前記プラットフォームに提供する手順と、
    を前記プロセッサに実行させるプログラム。
  16. 前記メタデータは被写体の数を有する、請求項15に記載のプログラム。
  17. 前記メッセージは、標準化されたプロトコルを有する、請求項15または16に記載のプログラム。
  18. 被写体認識は、顔認識を有する、請求項15〜17の何れか一項に記載のプログラム。
  19. 前記メッセージは、提供される前記メタデータを指定する、請求項15〜18の何れか一項に記載のプログラム。
  20. 前記メタデータは、XMLを有する、請求項15〜19の何れか一項に記載のプログラム。
  21. 前記イメージセンサおよび前記プロセッサはカメラを有し、
    前記カメラは前記プラットフォームの周辺機器であり、
    前記メッセージは、インターネットプロトコル(IP)コンパーチブルネットワークを介して前記カメラで受信される、請求項15〜20の何れか一項に記載のプログラム。
  22. 1または複数の画像をキャプチャするイメージセンサと、
    前記イメージセンサに結合されたプロセッサと、
    を備え、
    前記プロセッサは、
    前記1または複数の画像上の被写体認識を前記プロセッサに実行させるメッセージをプラットフォームから受信し、
    前記画像内の少なくとも1つの被写体を認識したことに応じてメタデータを生成し、
    前記メタデータを前記プラットフォームに提供する
    カメラ。
  23. 前記メタデータは被写体の数を有する、請求項22に記載のカメラ。
  24. 前記メッセージは、標準化されたプロトコルを有する、請求項22または23に記載のカメラ。
  25. 被写体認識は、顔認識を有する、請求項22〜24の何れか一項に記載のカメラ。
  26. 前記メッセージは、提供される前記メタデータを指定する、請求項22〜25の何れか一項に記載のカメラ。
  27. 前記メタデータは、XMLを有する、請求項22〜26の何れか一項に記載のカメラ。
  28. 前記カメラは前記プラットフォームの周辺機器であり、
    前記メッセージは、インターネットプロトコル(IP)コンパーチブルネットワークを介して受信される、請求項22〜27の何れか一項に記載のカメラ。
  29. 請求項15〜21の何れか一項に記載のプログラムを格納する少なくとも1つの記録媒体。
JP2020036278A 2012-09-05 2020-03-03 プラットフォーム及びイメージデバイスの間の通信プロトコル Active JP7149031B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/603,738 2012-09-05
US13/603,738 US9479677B2 (en) 2012-09-05 2012-09-05 Protocol for communications between platforms and image devices

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017019575A Division JP6705097B2 (ja) 2012-09-05 2017-02-06 プラットフォーム及びイメージデバイスの間の通信プロトコル

Publications (2)

Publication Number Publication Date
JP2020115350A true JP2020115350A (ja) 2020-07-30
JP7149031B2 JP7149031B2 (ja) 2022-10-06

Family

ID=50187047

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015530145A Active JP6398114B2 (ja) 2012-09-05 2013-09-03 プラットフォーム及びイメージデバイスの間の通信プロトコル
JP2017019575A Active JP6705097B2 (ja) 2012-09-05 2017-02-06 プラットフォーム及びイメージデバイスの間の通信プロトコル
JP2020036278A Active JP7149031B2 (ja) 2012-09-05 2020-03-03 プラットフォーム及びイメージデバイスの間の通信プロトコル

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015530145A Active JP6398114B2 (ja) 2012-09-05 2013-09-03 プラットフォーム及びイメージデバイスの間の通信プロトコル
JP2017019575A Active JP6705097B2 (ja) 2012-09-05 2017-02-06 プラットフォーム及びイメージデバイスの間の通信プロトコル

Country Status (6)

Country Link
US (2) US9479677B2 (ja)
JP (3) JP6398114B2 (ja)
KR (1) KR101633669B1 (ja)
CN (2) CN104520831B (ja)
DE (2) DE112013007755T5 (ja)
WO (1) WO2014039457A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479677B2 (en) * 2012-09-05 2016-10-25 Intel Corproation Protocol for communications between platforms and image devices
US9021020B1 (en) * 2012-12-06 2015-04-28 Amazon Technologies, Inc. Application recognition based on media analysis
US9536345B2 (en) 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
CN106664402B (zh) 2014-05-08 2018-08-28 美国莱迪思半导体公司 用于高效交握操作以判定对端装置的能力的方法及装置
JP6572099B2 (ja) * 2015-11-06 2019-09-04 キヤノン株式会社 撮像装置及びその制御方法、ならびにプログラム
CN109005336B (zh) * 2018-07-04 2021-03-02 维沃移动通信有限公司 一种图像拍摄方法及终端设备
CN112540739B (zh) * 2019-09-21 2023-11-03 华为技术有限公司 一种投屏方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006508601A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド ビデオカメラ
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP2008033542A (ja) * 2006-07-27 2008-02-14 Sony Corp 監視装置、フィルタ較正方法及びフィルタ較正プログラム
US20090054102A1 (en) * 2007-08-23 2009-02-26 Kyung-Hun Jung Method and apparatus for determining preferred image format between mobile video telephones
JP2009049577A (ja) * 2007-08-15 2009-03-05 Sony Corp 監視装置、監視方法及び監視システム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065155B1 (en) 1999-06-10 2011-11-22 Gazdzinski Robert F Adaptive advertising apparatus and methods
US8825812B2 (en) * 2001-10-11 2014-09-02 Oren Asher Method and system for peer-to-peer image streaming
JP2003244377A (ja) * 2002-02-20 2003-08-29 Canon Inc スキャナサーバおよびその制御方法、ならびにプログラム
JP2004320199A (ja) * 2003-04-14 2004-11-11 Matsushita Electric Ind Co Ltd 画像サーバ、制御端末、撮像視野の変更方法、プログラム及び記憶媒体
JP2005142683A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd カメラ制御装置およびカメラ制御方法
US7548258B2 (en) * 2003-11-21 2009-06-16 Arecont Vision Llc. High resolution network video camera with massively parallel implementation of image processing, compression and network server
JP2005354509A (ja) * 2004-06-11 2005-12-22 Inventec Multimedia & Telecom Corp 多機能統合化マルチメディア再生装置
JP2006332869A (ja) 2005-05-24 2006-12-07 Funai Electric Co Ltd 監視システム
US7483939B2 (en) 2005-08-25 2009-01-27 General Electric Company Medical processing system allocating resources for processing 3D to form 2D image data based on report of monitor data
JP4890931B2 (ja) 2006-05-01 2012-03-07 キヤノン株式会社 コンテンツ管理方法、装置、及びシステム
KR101207280B1 (ko) 2006-11-28 2012-12-03 삼성전자주식회사 화상형성장치 및 그 제어방법과, 인터페이스장치
JP4396708B2 (ja) * 2007-01-29 2010-01-13 ソニー株式会社 ネットワーク機器および監視カメラシステム
US8433611B2 (en) * 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
JP2009100371A (ja) * 2007-10-18 2009-05-07 Canon Inc 画像表示装置及び記録再生装置
JP4895990B2 (ja) 2007-12-20 2012-03-14 株式会社リコー 画像処理装置及びデータ消去方法
US8194156B2 (en) * 2008-01-07 2012-06-05 Sony Ericsson Mobile Communications Ab EXIF object coordinates
US8200196B2 (en) * 2008-01-28 2012-06-12 Comverse Ltd. Method and a system for enabling multimedia ring-back-within the context of a voice-call
US8098881B2 (en) * 2008-03-11 2012-01-17 Sony Ericsson Mobile Communications Ab Advertisement insertion systems and methods for digital cameras based on object recognition
JP5540528B2 (ja) * 2008-03-18 2014-07-02 株式会社ニコン 画像保存装置、画像転送装置、および画像送信装置
JP5132388B2 (ja) 2008-03-28 2013-01-30 キヤノン株式会社 通信装置、通信装置の制御方法、およびプログラム
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
JP5207846B2 (ja) * 2008-06-20 2013-06-12 キヤノン株式会社 映像処理装置およびその制御方法
CN101360214A (zh) * 2008-09-08 2009-02-04 北京华夏佳讯技术有限公司 一种实现远程会议指挥的系统和方法
JP2010219689A (ja) * 2009-03-13 2010-09-30 Seiko Epson Corp 印刷システムおよび印刷装置端末
JP2011008422A (ja) * 2009-06-24 2011-01-13 Canon Inc 情報入力方法、情報入力装置、及びプログラム
US8447769B1 (en) * 2009-10-02 2013-05-21 Adobe Systems Incorporated System and method for real-time image collection and sharing
KR101772948B1 (ko) 2010-11-09 2017-09-01 에스프린팅솔루션 주식회사 화상형성장치 및 화상형성방법
JP2012118422A (ja) 2010-12-03 2012-06-21 Fujikura Ltd 光ユニット、光ユニットからの光ファイバ取出し方法及び光ファイバケーブル
JP5759170B2 (ja) 2010-12-27 2015-08-05 キヤノン株式会社 追尾装置およびその制御方法
US9536132B2 (en) * 2011-06-24 2017-01-03 Apple Inc. Facilitating image capture and image review by visually impaired users
US20130100334A1 (en) * 2011-10-20 2013-04-25 Broadcom Corporation Method and System for an Adaptive Auto-Focus Algorithm
US20130141572A1 (en) * 2011-12-05 2013-06-06 Alex Laton Torres Vehicle monitoring system for use with a vehicle
US9479677B2 (en) * 2012-09-05 2016-10-25 Intel Corproation Protocol for communications between platforms and image devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006508601A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド ビデオカメラ
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP2008033542A (ja) * 2006-07-27 2008-02-14 Sony Corp 監視装置、フィルタ較正方法及びフィルタ較正プログラム
JP2009049577A (ja) * 2007-08-15 2009-03-05 Sony Corp 監視装置、監視方法及び監視システム
US20090054102A1 (en) * 2007-08-23 2009-02-26 Kyung-Hun Jung Method and apparatus for determining preferred image format between mobile video telephones

Also Published As

Publication number Publication date
JP7149031B2 (ja) 2022-10-06
DE112013007755T5 (de) 2017-06-01
JP6705097B2 (ja) 2020-06-03
JP2017151972A (ja) 2017-08-31
CN104520831B (zh) 2018-06-01
DE112013004352T5 (de) 2015-05-28
CN107105124B (zh) 2020-11-10
CN107105124A (zh) 2017-08-29
JP2015537265A (ja) 2015-12-24
CN104520831A (zh) 2015-04-15
JP6398114B2 (ja) 2018-10-03
US9479677B2 (en) 2016-10-25
US10321009B2 (en) 2019-06-11
KR20150034239A (ko) 2015-04-02
KR101633669B1 (ko) 2016-06-27
WO2014039457A1 (en) 2014-03-13
US20170048414A1 (en) 2017-02-16
US20140063269A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
JP6705097B2 (ja) プラットフォーム及びイメージデバイスの間の通信プロトコル
JP6326411B2 (ja) ビデオ通信方法、ビデオ通信装置、プログラム及び記録媒体
EP3036911B1 (en) Method, terminal, and system for reproducing content
CN108235116B (zh) 特征传播方法和装置、电子设备和介质
CN101150704A (zh) 图像处理系统、图像处理方法及其程序产品
US11206294B2 (en) Method for separating local and remote content in a camera-projector based collaborative system
EP3454202B1 (en) Frame drop processing method and system for played ppt
US20210274095A1 (en) Image capturing apparatus, device, control method, and computer-readable storage medium
JP6286836B2 (ja) 投影システム、投影装置、投影方法、及び投影プログラム
CN111013131A (zh) 延迟数据获取方法、电子设备及存储介质
JP2009145727A (ja) 画像表示装置
US12108145B2 (en) Image capturing apparatus, control method of image capturing apparatus, device, and control method of device
CN112188235B (zh) 媒体处理方式的选择方法及媒体处理方法
US11595650B2 (en) Optimization of multi-sink Wi-Fi display with intelligent multi-session encoding
CN111914583B (zh) 图形码的识别方法、装置以及设备
CN114189741B (zh) 图像处理方法及相关装置
CN113988649B (zh) 显示屏的显示功能测试方法及相关装置
CN117252749A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN114329399A (zh) 一种人脸视频的校验方法、装置、设备及存储介质
CN118247371A (zh) 一种泊车图像的生成方法、装置、电子设备及存储介质
KR20100010041A (ko) 선택적 데이터 전송방법
JP2008205960A (ja) 撮像装置及びその制御方法、並びにカメラアダプタ装置及びその制御方法
KR20130062298A (ko) 컨텐츠 등록 방법
JP2003274132A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7149031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150