JP2019512933A - ビデオストリームの拡張 - Google Patents

ビデオストリームの拡張 Download PDF

Info

Publication number
JP2019512933A
JP2019512933A JP2018546684A JP2018546684A JP2019512933A JP 2019512933 A JP2019512933 A JP 2019512933A JP 2018546684 A JP2018546684 A JP 2018546684A JP 2018546684 A JP2018546684 A JP 2018546684A JP 2019512933 A JP2019512933 A JP 2019512933A
Authority
JP
Japan
Prior art keywords
entity
private
identified
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018546684A
Other languages
English (en)
Inventor
ジョーンズ、フィリップ
パイロット、リチャード、ウィリアム
ダニエル、アンドリュー、ジェームズ
ベイリー、マシュー、クリストファー
Original Assignee
インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation
インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US15/083,545 priority Critical
Priority to US15/083,545 priority patent/US10306315B2/en
Application filed by インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation, インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation filed Critical インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation
Priority to PCT/IB2017/050371 priority patent/WO2017168262A1/en
Publication of JP2019512933A publication Critical patent/JP2019512933A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542Blocking scenes or portions of the received content, e.g. censoring scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00201Recognising three-dimensional objects, e.g. using range or tactile information
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera
    • G06K9/00671Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera for providing information about objects in the scene to a user, e.g. as in augmented reality applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/78Combination of image acquisition and recognition functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements or protocols for real-time communications
    • H04L65/60Media handling, encoding, streaming or conversion
    • H04L65/601Media manipulation, adaptation or conversion
    • H04L65/602Media manipulation, adaptation or conversion at the source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/38Protocols for telewriting; Protocols for networked simulations, virtual reality or games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

【課題】 拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張するためのコンピュータ実施方法、システム、コンピュータ・プログラムを提供する。【解決手段】 拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張する。環境のビデオが、環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って処理される。識別したエンティティ及びプライベート・エンティティに関する情報に基づいて、識別したエンティティを拡張するかどうかを判断する。識別したエンティティを拡張すると判断される場合、ビデオストリームは、識別したエンティティの少なくとも部分を、ビデオ内の識別したエンティティの部分を覆い隠すように適合されたグラフィカル要素と置き換えるように修正される。エンティティを覆い隠すようにビデオストリームを修正することにより、環境内のプライベート又は個人情報が、ビデオストリームの視聴者に表示されることが防止される。【選択図】 図3

Description

本発明は、ビデオストリーム(video stream)を拡張する(augment)分野に関し、より具体的には、プライベート情報を含む環境のビデオストリームを拡張することに関する。
本発明はさらに、データ処理システムのプロセッサがこうした方法を実施するのを可能にするコンピュータ可読プログラム・コードを含むコンピュータ・プログラム製品に関する。
本発明はさらに、こうした方法を実施するように適合された処理ユニットを含む拡張システムに関する。
環境のビデオをキャプチャするために使用することができるデバイスは、広く知られており、利用可能である。こうしたビデオ・キャプチャ・デバイスを、例えば環境のライブ・ビデオストリームを付加的なディスプレイ情報で拡張することにより、環境のユーザ・エクスペリエンスを拡張するように適合させる又は使用することも知られている。
環境のビデオストリームを表示することによりユーザのエクスペリエンスを拡張しようとする周知のデバイス又はシステムとして、仮想現実(Virtual Reality、VR)ヘッド・マウント(head-mounted)ディスプレイ・システム、スマートフォン・ベースの拡張現実(Augmented Reality、AR)システム、Hololens(登録商標)、Oculus Rift(登録商標)等が挙げられる。
これらのデバイス及びシステムの多くは、ユーザ・ビュー(view)を第2の視聴者(viewer)と共有できるように適合される。従って、ユーザ(すなわち、VRヘッド・マウント・ディスプレイの着用者)が見ているものを他の人が見ることができるように、VRヘッド・マウント・ディスプレイ・システムのユーザに表示されるビデオストリームを他の人と共有することができる。ビデオの共有は、例えば、IPベースのビデオ通話、専用ビデオ通信リンク、又はビデオ・ブロードキャスト・チャネルを介して実施することができる。従って、こうした使用例は、ユーザが、信頼できないサード・パーティが共有ビデオを視聴するのを潜在的に可能にすることを含み得る。
潜在的に信頼できないサード・パーティに通信される(例えば、伝送、送信、又はブロードキャストされる)ビデオの例において、ビデオ撮影される(videoed)環境は、ブロードキャストされる(例えば、信頼できない又は未知のサード・パーティにより視聴される)ことをユーザが望まない情報、オブジェクト、エンティティ、アイテム等を含むことがある。例えば、ユーザが、ビデオを介して遠隔にいる配管エンジニアに壊れた管のビューを共有すること、又は関心を持っている人々のグループに自宅のインテリアを見せることを喜んですることはあるが、ユーザは、例えば、自分のデスクの上にある機密の(confidential)/センシティブな(sensitive)書類のビューを共有することを望まないかもしれない。しかしながら、ビデオを介して必要なビューを提供する趣旨を考えると、ビデオにおいて機密の/センシティブな書類が可視であること(従って、ビデオの視聴者に可視であること)が避けられない場合がある。
コンテンツ作成者が、ビデオの視聴者が見ることを望まないビデオの部分をぼやけさせる(blur out)ようにビデオを後処理することが知られている。しかしながら、こうした後処理の概念及び技術は、ビデオが作成された後のコンテンツ作成者(例えば、編集者)の制御又は入力を必要とする。また、そのことは、一般的には、視聴のために通信できる前にビデオを処理するための労働/入力集約的なリソースも必要とする。従って、既存の後処理技術は、著しい処理リソース及び時間遅延を伴う。
従って、当技術分野において、上述の問題に対処するための必要性が存在する。
第1の態様から見ると、本発明は、拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張するコンピュータ実施方法を提供し、この方法は、環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従ってビデオストリームを処理することと、識別したエンティティ(identified entity)の少なくとも1つの特性に関する識別エンティティ情報を生成することと、生成された識別エンティティ情報及びプライベート・エンティティに関するプライベート・エンティティ情報に基づいて、識別したエンティティを拡張するかどうかを判断することと、識別したエンティティを拡張すると判断された場合、識別したエンティティの少なくとも部分を、ビデオ内の識別したエンティティの部分を覆い隠す(obscure)ように適合されたグラフィカル要素と置き換えるように、ビデオストリームを修正することと、を含む。
更に別の態様から見ると、本発明は、拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張するためのコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、処理回路により読み取り可能であり、本発明のステップを実行する方法を実施するための処理回路により実行される命令を格納する、コンピュータ可読ストレージ媒体を含む。
更に別の態様から見ると、本発明は、拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張するための拡張システムを提供し、このシステムは、環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って環境のビデオストリームを処理するように適合されたビデオ処理ユニットと、識別したエンティティの少なくとも1つの特性に関する識別エンティティ情報を生成するように適合された情報生成器と、生成された識別エンティティ情報及びプライベート・エンティティに関するプライベート・エンティティ情報に基づいて、識別したエンティティを拡張するかどうかを判断するように適合された処理ユニットと、識別したエンティティを拡張すると判断された場合、識別したエンティティの少なくとも部分を、ビデオ内の識別したエンティティの部分を覆い隠すように適合されたグラフィカル要素と置き換えるように、ビデオストリームを修正するように適合されたビデオ修正ユニットとを含む。
更に別の態様から見ると、本発明は、コンピュータ可読媒体上に格納され、デジタル・コンピュータの内部メモリ内にロード可能なコンピュータ・プログラムであって、プログラムがコンピュータ上で実行されるとき、本発明のステップを実行するためのソフトウェア・コード部分を含む、コンピュータ・プログラムを提供する。
提案されるのは、視聴されるビデオ内の情報のプライバシー又は機密性を保持しながら、環境から遠隔に位置する人により、ビデオストリームを視聴することができるように、プライベート又は機密情報を含む環境のビデオストリームを拡張する概念である。環境においてプライベート・エンティティを識別することを可能にすることにより、ビデオが拡張されるエンティティ(プライベート・エンティティ自身、又はプライベート・エンティティと所定の特別な関係を有するエンティティ)を含むかどうかを識別するために、環境のビデオを処理することができる。次に、識別したエンティティが、ビデオの視聴者により視聴されることを防止するように、ビデオを変更することができる。例えば、識別したエンティティは、ぼかすこと、マスクすること、ブロックすること、又は異なる画像に置き換えることができ、ビデオは、関連するプライベート情報、センシティブ情報、又は機密情報を表示しない。
特に、識別したエンティティに関する情報及び環境のプライベート・エンティティに関する情報に基づいて、環境のビデオストリームにおいて識別されたエンティティを拡張するかどうかを判断し、次に、識別したエンティティ、及び/又はこれが含み得るセンシティブ/プライベート情報の表示を防止するように、識別したエンティティ(の少なくとも部分)を、識別したエンティティ(の少なくとも部分)を覆い隠すグラフィカル要素と置き換えるように、ビデオストリームを修正することが提案される。例えば、プライベート・エンティティに関する種々のタイプの情報を用いることにより、実施形態は、プライバシー/機密性を依然として保持しながら、環境及び/又はプライベート・エンティティの変化に対応することができる。
また、ビデオストリームからの情報と共に、拡張されるプライベート・エンティティについての所定の情報を利用することにより、ビデオストリームをリアルタイムで処理及び修正することができ、ビデオ環境内のプライベート又は機密のコンテンツを危うくする(例えば、露出する、又は可視に/見えるようにする)ことなく、ライブ方式で1又は複数の遠隔視聴者にブロードキャストできることも留意されたい。
ビデオストリームの修正は、例えば、視聴者の視聴特権及び/又はセキュリティ証明書によって決まり得る。従って、実施形態は、視聴者の認証特権又は信頼性に応じて、ビデオをキャプチャし、遠隔ユーザにブロードキャストすることを可能にすることができ、視聴されるビデオにおいて、環境内の特定のプライベート情報を選択的に表示すること又は覆い隠すことができる。実施形態はまた、拡張現実システム/方法で用いられる環境内のプライバシー・ゾーン又はエリアの実装も可能にする。
さらに、実施形態により、ビデオストリームを処理し、及び/又はビデオストリーム内のエンティティを識別及び追跡するための多くの異なる方法を用いることができ、その幾つかは、仮想現実及び拡張現実システムにおいて広く知られており、用いられている。従って、実施形態の技術的要件は、既に周知であり、広く利用可能であり、従って、実施形態を比較的容易に及び/又は安価に実施することが可能である。
実施形態は、拡張されるプライベート・エンティティを記述するユーザ入力を受け取ることと、受け取ったユーザ入力に基づいてプライベート・エンティティ情報を生成することとをさらに含むことができる。従って、こうした実施形態は、ユーザが、プライベート又は機密に保持することを望む環境内のアイテム、オブジェクト、領域、又はエンティティにタグ付けすることを可能にする。次に、ユーザ入力情報を用いて、プライベート/機密のオブジェクト、領域、又はエンティティについての情報及び規則を生成し、それにより、環境のビデオストリームにおけるその識別及び拡張を可能にすることができる。このことは、高度の柔軟性をもたらし、また、環境における変化に対応することもできる。
プライベート・エンティティ情報は、プライベート・エンティティの場所を表すプライベート・エンティティ場所情報、プライベート・エンティティの向きを表すプライベート・エンティティ方角情報、プライベート・エンティティの少なくとも1つの幾何学的特性を表すプライベート・エンティティ幾何学情報、プライベート・エンティティの少なくとも1つの色を表すプライベート・エンティティ色情報、及び3D座標空間におけるプライベート・エンティティの位置を表すプライベート・エンティティ3D座標情報のうちの少なくとも1つを含むことができる。従って、様々な情報を用いて、環境内のプライベート・オブジェクト/エンティティについて記述することができ、それにより、環境のビデオストリームにおけるプライベート・オブジェクト/エンティティの存在を判断する際に、高度な柔軟性又は精度が可能になる。
識別エンティティ情報は、ビデオストリームをキャプチャするように適合されたビデオ・キャプチャ・デバイスの撮影方向(viewing direction)を表す撮影方向情報、ビデオ・キャプチャ・デバイスの位置を表す撮影位置(viewing position)情報、識別したエンティティの場所を表す識別エンティティ場所情報、識別したエンティティの向きを表す識別エンティティ方角情報、識別したエンティティの少なくとも1つの幾何学的特性を表す識別エンティティ幾何学情報、識別したエンティティの少なくとも1つの色を表す識別エンティティ色情報、及び3D座標空間における識別したエンティティの位置を表す識別エンティティ3D座標情報のうちの少なくとも1つを含むことができる。従って、様々な情報を用いて、環境内のプライベート・オブジェクト/エンティティについて記述することができ、それにより、環境のビデオストリームにおけるプライベート・オブジェクト/エンティティの存在を判断する際に、高度な柔軟性又は精度が可能になる。
識別したエンティティを拡張するかどうかを判断するステップは、識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを判断することを含むことができる。識別したエンティティがプライベート・エンティティと実質的に合致する、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置していると判断された場合、識別したエンティティを拡張すると判断することができる。従って、実施形態は、プライベートであることが予め定められたアイテムを拡張するだけでなく、プライベート・エンティティと所定の関係で配置された(プライベート・オブジェクト/アイテム内に、その上に、その下に、そのすぐ近くに、その隣に、それに隣接して、又はそれに近接して配置された)アイテムを拡張することも可能にする。例えば、テーブルは、プライベート・テーブルとすることができ、テーブルの上面上に置かれたいずれのアイテムも、プライベート/機密のものとして扱うことができ、従って、ビデオストリーム内で拡張される。このように、環境において何がプライベート又は機密であるかの定義を可能にした場合、実施形態は、多くの柔軟性を提供することができる。こうした柔軟性により、例えば、環境内の人が、単に、機密であると考えられるいずれかのアイテムを、所定のプライベート・エンティティの上に置くだけで、それをビデオ内で拡張することが可能になる。従って、環境においてプライベート/機密のアイテム/オブジェクトを指定するための、ビデオストリーム・キャプチャ・システムとの複雑な及び/又は時間を消費する対話を回避することができる。
幾つかの実施形態において、ビデオストリームを修正するステップは、識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはそれに近接して位置しているかを判断することに基づいて、グラフィカル要素を生成することを含むことができる。
従って、例えば、異なる色又はグラフィカル効果のグラフィカル要素によってアイテム/オブジェクトを覆い隠すことにより、修正されたビデオストリームにおける異なる拡張されたアイテム/オブジェクトを互いに区別することができる。
また、ビデオストリームを修正するステップは、グラフィカル要素を生成し、これが識別したエンティティの簡略化した3Dモデルを表すようにすることを含むことができる。例えば、識別したエンティティを、エンティティの詳細を不明瞭にする、立方体又はボックスのような簡単な3Dモデルに置き換えることができる。こうしたモデルは、拡張される(例えば、ビデオ内のビューから隠される又は覆い隠される)エンティティの詳細をマスクする又は隠すように、単一の不透明色の平坦な表面を有し得る。
1つの実施形態において、識別したエンティティを拡張するかどうかを判断するステップは、ビデオストリームのターゲット視聴者の視聴特権又はアクセス権を判断することと、ターゲット視聴者の視聴特権又はアクセス権が所定の要件を満たさない場合、識別したエンティティを拡張すると判断することとを含むことができる。このように、ビデオ環境におけるプライベート・アイテム又は情報の表示を制御することができるので、信頼できるパーティ(例えば、遠隔に位置する視聴者)だけが、環境のビデオ内のプライベート・アイテム/情報を見ることができる。逆に、信頼できないパーティ(例えば、識別されない一般大衆の視聴者又は未知のサード・パーティ)は、修正された(例えば、拡張された)ビデオしか視聴することができず、そこでは、プライベート/機密のアイテムをレンダリングし(例えば、置換用グラフィカル要素又は効果を用いて)、ビューから覆い隠す。
実施形態において、グラフィカル要素は、識別したエンティティの部分のマスクした又はぼかしたバージョンを含むことができる。このように、プライベート又は機密であるように識別されたエンティティを、リアルタイムで及び/又は僅かな処理/レンダリング・オーバーヘッドで実施することができる簡単なグラフィック処理/レンダリング技術を用いて、ぼかすこと又はビューからマスクすることが可能である。
修正されたビデオストリームを、環境から遠隔に位置する人に表示することができる。例えば、環境は、修正されたビデオを1又は複数のサード・パーティの視聴者に通信又はブロードキャストする前に、修正された(例えば、拡張された)ビデオストリームを生成するように適合することができる。逆に、最初にキャプチャされたビデオを1又は複数のビデオ再生デバイスに通信又はブロードキャストし、そこで、ビデオ再生デバイスは、提案される実施形態に従って受け取ったビデオを修正し、修正された(例えば、拡張された)バージョンのビデオストリームを信頼できない視聴者に表示する。
本発明の別の実施形態によると、拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張するためのコンピュータ・プログラム製品が提供され、コンピュータ・プログラム製品は、処理ユニットにより実行可能であり、処理ユニットに方法を実行させるプログラム命令がそこに具体化されたコンピュータ可読ストレージ媒体を含み、方法は、環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って環境のビデオストリームを処理することと、識別したエンティティの少なくとも1つの特性に関する識別エンティティ情報を生成することと、生成された識別エンティティ情報及びプライベート・エンティティに関するプライベート・エンティティ情報に基づいて、識別したエンティティを拡張するかどうかを判断することと、識別したエンティティを拡張すると判断された場合、識別したエンティティの少なくとも部分を、ビデオ内の識別したエンティティの部分を覆い隠すように適合されたグラフィカル要素と置き換えるように、ビデオストリームを修正することとを含む。
本発明の別の実施形態によると、拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張するための拡張システムが提供され、このシステムは、環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って環境のビデオストリームを処理するように適合されたビデオ処理ユニットと、識別したエンティティの少なくとも1つの特性に関する識別エンティティ情報を生成するように適合された情報生成器と、生成された識別エンティティ情報及びプライベート・エンティティに関するプライベート・エンティティ情報に基づいて、識別したエンティティを拡張するかどうかを判断するように適合された処理ユニットと、識別したエンティティを拡張すると判断された場合、識別したエンティティの少なくとも部分を、ビデオ内の識別したエンティティの部分を覆い隠すように適合されたグラフィカル要素と置き換えるように、ビデオストリームを修正するように適合されたビデオ修正ユニットとを含む。
従って、プライベート/機密情報を含む環境のライブ・ビデオストリームを自動的及び動的に拡張することができるシステムを提案することができる。このシステムは、ビデオストリームを処理し、ビデオストリームをリアルタイムで修正し、修正された(例えば、拡張された)ビデオストリームを提供することができ、ビデオストリーム内に存在する環境の機密のオブジェクト又はエンティティを、グラフィカル要素又は効果に置き換え又はそれらにより覆い隠し、それにより、修正されたビデオストリームの視聴者が、機密情報を視聴することが防止される。例えば、システムは、ビデオストリーム内のプライベート・オブジェクト又はエンティティの位置を追跡し、それらがビデオの表示内にあるときは常に、ぼかされた又はマスクされたままである。従って、提案されるシステムの実施形態は、ビデオストリームをリアルタイムで拡張し、伝送又はブロードキャストされる前のビデオストリームの広範な及び/又は従来の後処理により生じる不要な時間遅延を回避する。
実施形態は、拡張されるプライベート・エンティティについて記述するユーザ入力を受け取るように適合されたユーザ入力インターフェースをさらに含むことができる。また、情報生成器は、受け取ったユーザ入力に基づいて、プライベート・エンティティ情報を生成するようにさらに適合することができる。従って、ユーザは、環境のビデオにおいて拡張される環境内のオブジェクト、領域、又はエンティティを定義する(例えば、タグ付けする、記述する、ラベル付けする)ことができる。次に、ユーザからの入力を用いて、こうしたユーザ定義の領域又はエンティティについての情報及び規則を生成し、それにより、環境のビデオストリームにおけるそれらの識別及び拡張が可能になる。
このことは、ユーザに対して高度の柔軟性を提供し、また、環境における変化に対応することができる。
1つの実施形態において、処理ユニットは、識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはそれに近接して位置しているかを判断するようにさらに適合することができる。識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置していると判断された場合、識別したエンティティを拡張すると判断することができる。従って、プライベートであることが予め定められたアイテムを拡張するだけでなく、プライベート・オブジェクト/アイテム内に、その上に、その下に、そのすぐ近くに、その隣に、それに隣接して、又はそれに近接して配置されるアイテムも拡張するという概念が提案され得る。このように、環境内でプライベート/機密であるものの定義を可能にするとき、実施形態は、多大な柔軟性を提供できる。こうした柔軟性は、例えば、環境内の人が、単に、機密と考えられるいずれかのアイテムを所定のプライベート・エンティティの上又は中に置くだけで、それをビデオから拡張させることが可能になる。このことは、ビデオ撮影される環境において拡張するアイテム又はオブジェクトを指定するために、ビデオ・キャプチャ・システムとの複雑な及び/又は時間を消費する対話を回避する助けになり得る。
また、1つの実施形態において、ビデオ修正ユニットは、処理ユニットが、識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはそれに近接して位置しているかを判断することに基づいて、グラフィカル要素を生成するように適合することができる。このように、修正されたビデオストリームにおいて、異なる拡張されるアイテム/オブジェクトを互いに区別することができる。例えば、異なるグラフィカル要素又は効果を、ビデオ内の異なる拡張されるアイテムに適用することができる。
ビデオ修正ユニットは、グラフィカル要素を生成し、これが識別したエンティティの簡略化した3Dモデルを表すように適合させることができる。識別したエンティティを、エンティティの形状/詳細を不明瞭にする、立方体、角柱又はボックスのような簡単な3Dモデルに置き換えることができる。簡略化したモデルは、平坦な又は滑らかな表面を有することができ、修正されたビデオ内の詳細をマスクする又は隠すように、無光沢又は不透明の色とすることができる。例えば、グラフィカル要素は、マスクした又はぼかしたバージョンを含むことができる。従って、簡単なグラフィック又はビデオ処理及びレンダリング技術を用いて、実施形態による修正されたビデオ内のプライベート・オブジェクト/アイテムを拡張することができる。
実施形態は、ビデオ・キャプチャ・システムにおいて使用することができ、Hololens(登録商標)、仮想現実ヘッドセット、ヘッド・マウント・ディスプレイ・システム、Oculus Rift(登録商標)システム等のような仮想現実システム及び/又は拡張現実システムにおける特定の使用に役立ち得る。例えば、こうしたシステムは、プライベート・オブジェクト又はエンティティを含む環境のビデオをキャプチャし、次に、ビデオを視聴者に表示する前に(例えば、他の場合にはプライベート・オブジェクト/エンティティを表示するビデオの部分を覆い隠すことによって)ビデオを拡張するように適合することができる。
実施形態は、環境のキャプチャされたビデオを表示するように適合されたビデオ表示システムにおいても使用することができる。こうしたビデオは、従来の画像又はビデオ・キャプチャ・デバイスを用いてキャプチャすることができ、次に、これを実施形態によるシステム又は方法を用いて補完して、キャプチャされたビデオを処理し、これを修正し、視聴者に表示する前にビデオからのプライベート/機密情報を拡張することができる。従って、実施形態は、ビデオ処理システム及び/又は視聴者のビデオ表示システムにおけるような、ビデオ環境とは異なる又はそこから離れた場所で実施することができる。
ここで本発明の好ましい実施形態を、以下の図面を参照して単なる例として説明する。
例示的な実施形態の態様を実施することができる例示的な分散型データ処理システムの図形表示である。 例示的な実施形態の態様を実施することができる例示的なビデオ処理システムのブロック図である。 提案される実施形態による、例示的な拡張システム300の簡略化したブロック図である。 提案される実施形態が、プライベート・オブジェクトだけでなく、プライベート・オブジェクト上に配置される別のオブジェクトをどのように拡張できるか実例を含む。 提案される実施形態が、プライベート・オブジェクトだけでなく、プライベート・オブジェクト上に配置される別のオブジェクトをどのように拡張できるかの実例を含む。 提案される実施形態が、プライベート・オブジェクトだけでなく、プライベート・オブジェクト上に配置される別のオブジェクトをどのように拡張できるかの実例を含む。 代替的な実施形態が、グラフィカル要素又は効果を用いて、ビデオ内のプライベート・エンティティをどのように覆い隠すかを示す実例を含む。 代替的な実施形態が、グラフィカル要素又は効果を用いて、ビデオ内のプライベート・エンティティをどのように覆い隠すかを示す実例を含む。 実施形態によるコンピュータ実施方法のフロー図である。 実施形態の1つ又は複数の部分を利用することができるコンピュータ・デバイスの例を示す。
図面は単に概略的なものであり、縮尺通りには描かれていないことを理解されたい。同じ又は類似の部品を示すために、図面全体を通して同じ参照番号が使用されることも理解されたい。
プライベート又は機密情報を含む環境のビデオストリームにおけるプライベート又は機密情報を隠すための概念が提案される。このように、視聴されるビデオ内の情報のプライバシー又は機密性を保持しながら、信頼できないサード・パーティにより視聴することができるように、環境のビデオストリームを拡張することができる。
環境においてプライベート・オブジェクト又はエンティティを定義することを可能にすることにより、次いで、環境のライブ・ビデオストリームを処理し(リアルタイムで)、ライブ・ビデオストリームが、拡張されるオブジェクト/エンティティ(プライベート・オブジェクト自体、又はプライベート・オブジェクトと所定の特別な関係を有するオブジェクトなど)を含むかどうかを判断することができる。従って、実施形態は、プライベート/機密情報が、共有ビデオ(例えば、信頼できないサード・パーティにより視聴することができる)におけるビューから拡張されるので安心して、ユーザが、環境(部屋、閉鎖空間、商業用又は居住用建物、又は個人の住居)のライブ・ビデオストリームをキャプチャし共有することを可能にする。
さらに、実施形態は、一般視聴者(public audience)に提供されるライブ・ビデオストリームのリアルタイム拡張も可能にすることができ、そこでは、一般視聴者は、表示されるビデオストリーム内の特定のアイテム(例えば、プライベート/機密アイテム又は文書など)を見ることができない。
例えば、提案される概念は、ライブビデオをキャプチャし、遠隔ユーザにブロードキャストすることを可能にし、視聴者の認証特権又は信頼性に応じて、視聴されるビデオにおいて環境内の特定のプライベート情報を選択的に表示する又は覆い隠すことができる。
従って、例示的な実施形態は、拡張現実システム/方法で用いられる環境内のプライバシー・ゾーン又はエリアの概念を提供することができる。
こうした概念は、拡張されたビデオストリームの生成を自動式に提供することができる。任意のビデオ処理システムを提案される概念と共に用い得るが、そうしたシステムが、次の品質:すなわち、拡張現実処理機能、3D空間追跡機能、エンティティ認識、仮想現実機能、ビデオ・キャプチャ能力、及びビデオ通信能力のうちの少なくとも1つを示すことが好ましい。
提案される概念の価値及び有用性を向上させ得る、従来のビデオ・キャプチャ及び伝送システムに対する修正及び付加的なステップも提案される。
プライベート・エンティティへの言及は、テキスト、画像、文字数字、ロゴ、名称、文書、ファイル、形状、キー、コード、パスワード、日付、場所等といった、本質的に機密又はセンシティブをもたらし得る情報を含有又は表示し得るあらゆるオブジェクト、エンティティ、エリア、表面、又はアイテムを指すために利用することができる。
例示的な実施形態は、多くの異なるタイプのデータ又はビデオ処理環境において用いることができる。例示的な実施形態の要素及び機能の説明の文脈を提供するために、図1及び図2が、例示的な実施形態の態様を実施できる例示的な環境として以下に与えられる。図1及び図2は、単なる例に過ぎず、本発明の態様又は実施形態を実施できる環境に対する何らかの限定を主張又は暗示することを意図するものではないことを理解されたい。本発明の趣旨及び範囲から逸脱することなく、示される実施形態に対して多くの修正をなすことができる。
図1は、例示的な実施形態の態様を実施することができる例示的な分散型システムの図形表現を示す。分散型システム100は、例示的な実施形態の態様を実施することができるコンピュータのネットワークを含むことができる。分散型システム100は、少なくとも1つのネットワーク102を含み、このネットワーク102は、分散型データ処理システム100内で互いに接続される種々のデバイスとコンピュータとの間の通信リンクを与えるために使用される媒体である。ネットワーク102は、有線、無線通信リンク、又は光ファイバ・ケーブルのような接続を含むことができる。
示される例において、第1のサーバ104及び第2のサーバ106は、ストレージ・ユニット108と共にネットワーク102に接続される。さらに、クライアント110、112及び114もネットワーク102に接続される。クライアント110、112及び114は、例えば、パーソナル・コンピュータ、ネットワーク・コンピュータ、スマートフォン、ビデオ・キャプチャ・デバイス、デジタル・イメージング・デバイス、携帯型カメラ、Oculus Rift(登録商標)デバイス、VRデバイス等とすることができる。示される例において、第1のサーバ104は、ブート・ファイル、オペレーティング・システム・イメージ及びアプリケーションのようなデータをクライアント110、112及び114に提供する。示される例において、クライアント110、112及び114は、第1のサーバ104に対するクライアントである。分散型予測システム100は、付加的なサーバ、クライアント、及び図示されていない他のデバイスを含むことができる。
示される例において、分散型システム100は、互いに通信するためにプロトコルの伝送制御プロトコル/インターネット・プロトコル(Transmission Control Protocol/Internet Protocol、TCP/IP)スイートを使用するネットワーク及びゲートウェイの世界規模の集合体を表す、ネットワーク102を有するインターネットである。インターネットの中心には、データ及びメッセージを送る何千もの商業系、政府系、教育系、及びその他のコンピュータ・システムから成る主要ノード又はホスト・コンピュータ間の高速データ通信回線のバックボーンがある。もちろん、分散型システム100は、例えば、イントラネット、ローカル・エリア・ネットワーク(LAN)、広域ネットワーク(WAN)等のような、多数の異なるタイプのネットワークを含むように実装することもできる。上述のように、図1は、本発明の異なる実施形態に対するアーキテクチャ上の限定としてではなく、一例として意図され、従って、図1に示される特定の要素は、本発明の例示的な実施形態を実施できる環境に対する限定と考えるべきではない。
図2は、例示的な実施形態の態様を実施することができる例示的なシステム200のブロック図である。システム200は、図1のクライアント110のようなポータブル・型コンピューティング・デバイスの一例であり、その中に、本発明の例示的な実施形態のプロセスを実施するコンピュータ使用可能コード又は命令を配置することができる。
示される例において、システム200は、ノース・ブリッジ及びメモリ・コントローラ・ハブ(NB/MCH)202と、サウス・ブリッジ及び入力/出力(I/O)コントローラ・ハブ(SB/ICH)204とを使用する。処理ユニット206、メイン・メモリ208、及びグラフィックス・プロセッサ210は、NB/MCH202に接続される。グラフィックス・プロセッサ210は、アクセラレイティッド・グラフィックス・ポート(AGP)を通じて、NB/MCH202に接続することができる。
示される例において、ローカル・エリア・ネットワーク(LAN)アダプタ212が、SB/ICH204に接続される。音声アダプタ216、キーボード及びマウス・アダプタ220、モデム222、読み出し専用メモリ(ROM)224、ハードディスク・ドライブ(HDD)226、CD−ROMドライブ230、ユニバーサル・シリアル・バス(USB)ポート及び他の通信ポート232、並びにPCI/PCIeデバイス234が、第1のバス238及び第2のバス240を通じて、SB/ICH204に接続される。PCI/PCIeデバイスは、例えば、イーサネット・アダプタ、アドイン・カード、及びノートブック型コンピュータ用のPCカードを含むことができる。PCIは、カード・バス・コントローラを使用するが、PCIeは使用しない。ROM224は、例えば、フラッシュ基本入力/出力システム(BIOS)とすることができる。
HDD226及びCD−ROMドライブ230は、第2のバス240を通じて、SB/ICH204に接続される。HDD226及びCD−ROMドライブ230は、例えば、integrated drive electronics(IDE)又はserial advanced technology attachment(SATA)インターフェースを使用することができる。スーパーI/O(SIO)デバイス236は、SB/ICH204に接続することができる。
オペレーティング・システムは、処理ユニット206上で実行される。オペレーティング・システムは、連携して図2のシステム200内の様々なコンポーネントの制御を提供する。クライアントとして、オペレーティング・システムは、市販のオペレーティング・システムとすることができる。Java(登録商標)プログラミング・システムなどのオブジェクト指向プログラミング・システムは、オペレーティング・システムと共に実行することができ、システム200上で実行されるJavaプログラム又はアプリケーションからのオペレーティング・システムに対する呼び出しを提供する。Java及び全てのJavaベースの商標及びロゴは、Oracle及び/又はその関連会社の商標又は登録商標である。
サーバとして、システム200は、例えば、Advanced Interactive Executive(AIX(登録商標))オペレーティング・システム又はLinux(登録商標)オペレーティング・システムを実行するIBM(登録商標) System p5(登録商標)コンピュータ・システムとすることができる。システム200は、処理ユニット206内に複数のプロセッサを含む対称型マルチプロセッサ(SMP)システムとすることができる。代替的に、シングル・プロセッサ・システムを用いることもできる。IBM、eServer、System p5、及びAIXは、世界中の多数の管轄区域において登録されているインターナショナル・ビジネス・マシーンズ・コーポレーションの商標である。Linuxは、米国、他の国々、又はその両方におけるLinus Torvaldsの登録商標である。
オペレーティング・システム、オブジェクト指向プログラミング・システム及びアプリケーション又はプログラムに対する命令は、HDD226などのストレージ・デバイス上に配置され、メイン・メモリ208内にロードし、処理ユニット206により実行することができる。同様に、実施形態による1つ又は複数のデータ構造は、ストレージ・デバイス及び/又はメイン・メモリ208により格納されるように適合することができる。
本発明の例示的な実施形態のプロセスは、コンピュータ使用可能プログラム・コードを用いて処理ユニット206により実行することができ、これは、例えば、メイン・メモリ208、ROM224のようなメモリ内、又は1つ又は複数の周辺デバイス226及び230内に配置することができる。
図2に示されるような第1のバス238又は第2のバス240などのバス・システムは、1つ又は複数のバスから成ることができる。もちろん、バス・システムは、ファブリック又はアーキテクチャに取り付けられた異なるコンポーネント又はデバイス間のデータ転送を提供するあらゆるタイプの通信ファブリック又はアーキテクチャを用いて実装することができる。図2のモデム222又はネットワーク・アダプタ212のような通信ユニットは、データの送受信に用いられる1つ又は複数のデバイスを含むことができる。メモリは、例えば、メイン・メモリ208、ROM224、又は図2のNB/MCH202に見られるようなキャッシュとすることができる。
当業者であれば、図1及び図2のハードウェアは、実装によって異なり得ることを認識するであろう。図1及び図2に示されるハードウェアに加えて又はその代わりに、他の内部ハードウェア、又は3D空間追跡デバイス、ビデオ・キャプチャ・デバイス、位置決めシステム、加速度計構成、同等の不揮発性メモリ、若しくは光ディスク・ドライブ等のような周辺機器を使用することができる。また、提案される実施形態の趣旨及び範囲から逸脱することなく、例示的な実施形態のプロセスを、前述のシステム以外のマルチプロセッサ・データ又はビデオ処理システムに適用することもできる。
さらに、システム200は、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、スマート(例えば、インターネット対応)テレビジョン若しくはディスプレイ、スマートフォン又は他の通信機器、携帯情報端末(PDA)等を含む多数の異なるデータ又はビデオ処理システムのいずれかの形をとることができる。幾つかの説明に役立つ実例において、システム200は、例えば、オペレーティング・システム・ファイル及び/又はユーザ生成データを格納するための不揮発性メモリを提供するフラッシュ・メモリを有するように構成されたポータブル・コンピューティング・デバイスとすることができる。従って、システム200は、アーキテクチャ上の制限なしに、あらゆる周知の又は後で開発されるデータ処理システムとすることができる。
提案される概念は、ビデオストリームの自動的及び動的な拡張を提供することによって、ビデオ・キャプチャ又はディスプレイ・システムを向上させることができる。実施形態は、キャプチャされたビデオ内のビューからビデオ撮影される環境におけるプライベート又は機密情報を拡張することを可能にする。こうした拡張の概念をライブ・ビデオストリームに適用し、従って、ライブ・ビデオ・ブロードキャストのリアルタイムの拡張を可能にすることができ、幾つかの実施形態においては、ビデオストリームの個々の視聴者に応じて、こうした拡張を適合させることができる。
図3は、提案される実施形態による、例示的な拡張システム300の簡略化したブロック図である。拡張システム300は、環境のビデオ305の拡張を提供するように適合され、そこで、環境は、ビデオ内のビューから拡張する(例えば、覆い隠す、隠す、見えないようにする)ことを、ユーザが望むプライベート・エンティティ(例えば、機密アイテム又はシークレット・オブジェクト)を含む。
システム300は、情報生成器320を有するビデオ処理ユニット310を含む。システム300はまた、データ処理ユニット330、データ・ストア335及びビデオ修正ユニット340も含む。
ビデオ処理ユニット310は、環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って環境のビデオストリーム305(例えば、ビデオ・キャプチャ・デバイス350から受け取った)を処理するように適合される。この点で、実施形態により用いることができる、ビデオストリーム内のエンティティを識別し追跡する多くの異なる方法が既に存在し、その一部は、既に広く知られており、ビデオ・キャプチャ、仮想現実、及び拡張現実システムにおいて用いられていることに留意されたい。従って、受け取ったビデオストリーム内のエンティティ(オブジェクト、アイテム、人、エリアのような)を識別し追跡するためのこうした方法の詳細な説明は、この説明から省かれる。しかしながら、純粋に例として、ビデオ処理ユニット310により用い得るエンティティ認識アルゴリズムは、色照合アルゴリズム、相検出アルゴリズム、エッジ検出アルゴリズム、コントラスト検出アルゴリズム、顔認識アルゴリズム、Hololens(商標)生データにより提供されるもののような、3D空間追跡アルゴリズムを含む。Microsoft(商標)Kinect(商標)及びLeap Motion(商標)のような、他の周知の製品及びソフトウェアを用いることもできる。他のこうしたアルゴリズム及び製品は、「Sync 3D」、「Asus Xtion Pro」、エッジ検出におけるアルゴリズム、又は2Dビデオにおける3Dオブジェクト検出のためのアルゴリズムを含む。
次に、情報生成器320が、識別したエンティティの少なくとも1つの特性に関する識別エンティティ情報を生成するように適合される。例として、こうした識別エンティティ情報は、以下の情報:すなわち、ビデオ・キャプチャ・デバイス350の撮影方向(viewing direction)を表す撮影方向情報、ビデオ・キャプチャ・デバイス350の位置を表す撮影位置(viewing position)情報、識別したエンティティの場所を表す識別エンティティ場所情報、識別したエンティティの向き(orientation)を表す識別エンティティ向き情報、識別したエンティティの少なくとも1つの幾何学的特性を表す識別エンティティ幾何学情報、識別したエンティティの少なくとも1つの色を表す識別エンティティ色情報、及び3D座標空間における識別したエンティティの位置を表す識別エンティティ3D座標情報を含むことができる。従って、情報生成器320は、様々な情報を用いて、ビデオ処理ユニット310により環境内で識別されるオブジェクト又はエンティティを説明することを可能にし、それにより、所定の制約、尺度、検証パラメータ等に対して識別したエンティティを分析する際の高度の柔軟性又は精度が可能になる。
情報生成器320は、生成された識別エンティティ情報をデータ処理ユニット330に提供するように適合される。
データ処理ユニット330は、識別したエンティティを、ビデオから拡張するかどうかを判断するように適合される。この判断を行うために、データ処理ユニットは、生成された識別エンティティ情報及びプライベート・エンティティ(データ・ストア335内に格納された)に関するプライベート・エンティティ情報を使用する。
例として、プライベート・エンティティ情報は、プライベート・エンティティの場所を表すプライベート・エンティティ場所情報、プライベート・エンティティの向き(orientation)を表すプライベート・エンティティ向き情報、プライベート・エンティティの少なくとも1つの幾何学的特性を表すプライベート・エンティティ幾何学情報、プライベート・エンティティの少なくとも1つの色を表すプライベート・エンティティ色情報、及び3D座標空間におけるプライベート・エンティティの位置を表すプライベート・エンティティ3D座標情報のうちの少なくとも1つを含むことができる。従って、環境内のプライベート・オブジェクト又はエンティティは、様々な情報を用いて、環境内のプライベート・オブジェクト又はエンティティを説明することができ、それにより、環境のビデオストリームにおけるプライベート・オブジェクト/エンティティの存在を判断する際に高度の柔軟性又は精度が可能になる。
例として、データ処理ユニット330は、識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを評価することによって、識別したエンティティを拡張するかどうかを判断するように適合することができる。この評価は、例えば、生成された識別エンティティ情報とプライベート・エンティティ情報を比較して、識別したエンティティ及びプライベート・エンティティのパラメータ値又は特性の合致を識別することを含むことができる。また、値の差を、所定の制約、尺度、閾値、検証パラメータ等と比較することもできる。
データ処理ユニット330が、識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを判断する場合、識別したエンティティを拡張することが、データ処理ユニット330により判断することができる。従って、こうした実施形態において、拡張の概念は、プライベートであるように予め定められたアイテムだけでなく、プライベート・オブジェクト/アイテム内に、その上に、その下に、そのすぐ近くに、その隣に、それに隣接して、又はそれに近接して配置されるアイテムを拡張する概念にも用い得る。例えば、テーブルは、プライベート・テーブルとして定めることができ、次に、テーブルの上面上に配置されるあらゆるアイテムをプライベート/機密として扱い、従って、ビデオストリームから拡張することができる。
データ処理ユニット330は、その結論(例えば、識別エンティティ情報及びプライベート・エンティティ情報の分析の結果)についての情報をビデオ修正ユニット340に提供する。
ビデオ修正ユニット340は同じく、ビデオ305を受け取るように適合される。
識別したエンティティを拡張すると判断した場合、ビデオ修正ユニット340は、識別したエンティティの少なくとも一部を、ビデオストリーム内の識別したエンティティの部分を覆い隠すグラフィカル要素360と置き換えるように、ビデオストリームを修正するように適合される。このように、ビデオ修正ユニット340は、修正された(例えば、拡張された)ビデオ370を提供するように適合される。次に、ビデオ修正ユニット340は、未知の又は信頼できない視聴者に表示するために、(例えば、ディスプレイ・ユニット390を介して)修正されたビデオ370を出力することができる。
このように、図1のシステム300は、プライベート又は機密情報を含む環境のビデオストリームを自動的及び動的に拡張できることが理解されるであろう。ビデオストリームを305から生成された情報と共に拡張されるプライベート・エンティティについての所定の(例えば、格納された)情報を利用することにより、システム300は、ビデオストリーム305をリアルタイムで処理及び修正し、修正された(例えば、拡張された)リアルタイム(例えば、ライブ)のビデオストリーム370を提供することができ、そこで、ビデオストリーム305内に存在する環境の機密オブジェクト又はエンティティを、グラフィカル要素又はグラフィカル効果360により置き換え又は覆い隠し、これにより、修正されたビデオストリーム370の視聴者が、機密情報を視聴することを防止することに留意されたい。ビデオストリーム370の各フレームを処理することにより、システムは、ビデオストリーム内のプライベート・オブジェクト又はエンティティの位置を追跡することができるので、オブジェクト又はエンティティは、ビデオのビュー内にあるときは常にぼかされたまま又はマスクされたままである。
従って、ビデオ撮影される環境におけるプライベート又は機密のコンテンツを損なう(例えば、露出する又は可視である/見える)ことなく、修正されたビデオストリーム370を遠隔の視聴者にライブ方式で通信する(例えば、送信する、又はブロードキャストする)ことができる。
図3の実施形態は、拡張されるプライベート・エンティティについて記述するユーザ入力を受け取るように適合されたユーザ入力インターフェース380も含むことを留意されたい。こうしたユーザ入力は、例えば、後で格納するためにデータ・ストア335に提供され、プライベート・エンティティ情報として使用することが可能である。データ・ストアに提供する前に、ユーザ入力を情報生成器320に提供し、次に、情報生成器320は、受け取ったユーザ入力に基づいて、プライベート・エンティティ情報を生成する(例えば、格納のための適切な形式で)。従って、ユーザは、環境のビデオにおいて拡張される環境内のオブジェクト、領域、又はエンティティを定義する(例えば、タグ付けする、記述する、ラベル表記する等)ことができる。ユーザは、例えば、ビデオ・キャプチャ・デバイス350の入力インターフェース390を用いてこうした定義を作成することができる。
このように、ユーザからの入力を用いて(例えば、情報生成器320により)こうしたユーザ定義の領域又はエンティティについての情報及び規則を生成し、それにより、環境のビデオストリームにおけるそれらの識別及び拡張が可能になる。これにより、ユーザが、特定の又は正確な形式でプライベート・エンティティについての詳細及び/又は複雑な情報を提供することを要するのではなく、例えば、指し示すこと及びクリックすることによって、ユーザが迅速かつ簡単な方法でプライベート・エンティティを識別することが可能になる。従って、提案される実施形態は、ユーザとって高度な柔軟性及び使いやすさを可能にする。
図3のシステム300を、ビデオ・キャプチャ・システム内に統合することができ、従って、Hololens(登録商標)、仮想現実ヘッドセット、ヘッドマウント・ディスプレイ・システム、Oculus Rift(登録商標)システム等のような仮想現実システム及び/又は仮想現実システム内で用いることができる。例えば、こうしたシステムを、プライベート・オブジェクト又はエンティティを含む環境のビデオをキャプチャし、次に、ビデオを外部の視聴者に表示する前にビデオを拡張する(例えば、他の場合にはプライベート・オブジェクト/エンティティを表示するビデオの部分を覆い隠すことによって)ように適合させることができる。
しかしながら、実施形態は、環境のキャプチャされたビデオを表示するように適合されたビデオ・ディスプレイ・システムで用い得ることを理解されたい。こうしたビデオは、従来の画像又はビデオ・キャプチャ・デバイスを用いてキャプチャし、次に、図3のもののような提案されるシステムを用いて補足してビデオを処理し、修正し、視聴者に表示される前にビデオからのプライベート/機密情報を拡張することができる。このように、実施形態は、ビデオ撮影される環境とは異なる又はそこから遠隔の場所で実施することができる。
実施形態はまた、例えば、ビデオ・キャプチャ端部又はビデオ・ディスプレイ端部に配置されるのではなく、ビデオ・キャプチャ及びディスプレイ・システム全体を通して様々な位置に分散させることもできる。こうした手法をとることにより、要件に従って処理及び/又はハードウェア要件を分散させることが可能になり、従って、必要とされる場合、コスト、複雑性、及び/又はリソースへの影響が潜在的に低減する。
ここで図4を参照すると、提案される実施形態が、プライベート・エンティティだけでなく、プライベート・オブジェクト上に配置された別のエンティティをどのように拡張できるかの例が示される。より具体的には、この例では、部屋(見えない)内の引き出しのセット400が、プライベート・エンティティであるように予め定められ、折り畳まれた紙サイン410が、引き出しのセット上に置かれる。実施形態において、引き出しのセット上に配置されるいずれのオブジェクトもプライベートであると考えられる所定の規則が定義され、従って、拡張されるべきである。
図4は、部屋のキャプチャされたビデオからのフレームを示し、そこには、引き出しのセット400及び折り畳まれた紙サイン410だけが示される。図5に示されるように、引き出しのセット400の境界エッジ420及び折り畳まれた紙サイン410の境界エッジ430は、3Dエッジ検出アルゴリズムにより識別される。
識別した境界エッジ420及び430に基づいて、実施形態は、引き出しのセット400の境界エッジ420が、引き出しのセットについて予想されるものと合致し、従って、その場所、向き、サイズ、形状等の値と共に、ビデオフレーム内にプライベート・エンティティ(すなわち、引き出しのセット400)が存在すると判断する。実施形態はまた、折り畳まれた紙サイン410の境界エッジ430とプライベート・オブジェクトとの位置関係も判断する。ここで、実施形態は、折り畳まれた紙サイン410の境界エッジ430がプライベート・オブジェクト上に位置していると判断し、従って、折り畳まれた紙サイン410も拡張される(上で詳述した所定の規則に従って)と判断する。
次に、図6に示されるように、識別した境界エッジ420及び430に基づいて、識別したオブジェクトの簡略化した3Dモデルを表すグラフィカル要素を生成し、これを用いてビデオ内のオブジェクトを置き換える。従って、引き出しのセット400及び折り畳まれた紙サイン410は、ビデオ内の簡単な3Dモデルに置き換えられる。これらの簡略化した3Dモデルは、オブジェクトの形状及び/又は詳細を不明瞭(obfuscate)にする。幾つかの実施形態において、簡略化したモデルは、異なる視覚特性を有し得るので、修正されたビデオストリームにおいてそれらを互いに区別することができる。
ここで図7及び図8を参照すると、他の実施形態が、他のグラフィカル要素又は効果を用いて、ビデオ内のプライベート・エンティティを覆い隠すことができる。
示される。
例えば、図7は、グラフィカル要素が、プライベート・エンティティ(例えば、引き出しのセット400)の一部分を覆うマスク500をどのように含み得るかを示す。マスクは、例えば、修正されたビデオ内の詳細をマスクする又は隠すように、無光沢の又は不透明色の平坦な又は滑らかな表面を含むことができる。
他方、図8は、グラフィカル要素が、プライベート・エンティティ(例えば、引き出しのセット400)の上に配置されたオブジェクト(例えば、折り畳まれた紙サイン410)をぼかす、ぼかし効果(blur effect)510をどのように含み得るかを示す。
ここで図9を参照すると、実施形態によるコンピュータ実施方法600の例示的な実施が説明される。方法は、プライベート・エンティティを含む環境のライブ・ビデオストリームを拡張することを可能にする。
方法は、拡張されるプライベート・エンティティについて記述するユーザ入力を受け取るステップ610、及び受け取ったユーザ入力に基づいてプライベート・エンティティ情報を生成するステップ620の初期ステップを含む。従って、ステップ610及び620は、方法により後で使用するために、プライベート・エンティティに関するプライベート・エンティティ情報をユーザにより定義することを可能にする。これらは、例えば、ビデオにおけるプライベート・エンティティの存在を判断するために、プライベート・エンティティ情報の提供を可能にするので、初期ステップとして説明され、従って、こうしたステップを最初に行われる可能性が高い。それにも関わらず、例えば、これが当てはまらず、代替的に他の時にステップ610及び620が行われ及び/又は繰り返され、新しいプライベート・エンティティ情報を提供することもある。代替的に及び/又は付加的に、(幾つかの実施形態において)プライベート・エンティティ情報は、ユーザ入力を介して提供することができず、代わりに、実施形態による方法/システムの生成時又は初期化時に予め定めることができるので、ステップ610及び620が全く行われないこともある。そのため、図9のフロー図において、ステップ610及び620は点線で示される。
ステップ630において、環境のライブ・ビデオストリームを受け取る。次に、ステップ640において、受け取ったビデオの部分(例えば、フレーム、フレームのセクション、複数の一連のフレーム等)を処理する。
より具体的には、環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って受け取ったビデオを処理する。
ステップ640における識別の結果に基づいて、次に、ステップ650において、識別したエンティティの少なくとも1つの特性に関する識別エンティティ情報を生成する。
次に、ステップ660において、生成された識別エンティティ情報及びプライベート・エンティティに関するプライベート・エンティティ情報に基づいて、識別したエンティティを拡張するかどうかを判断する。例として、識別したエンティティを拡張するかどうかを判断するステップ660は、識別したエンティティが、プライベート・エンティティと実質的に合致するか、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを判断することを含むことができる。識別したエンティティが、プライベート・エンティティと実質的に合致する、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置していると判断された場合、ステップ660の結果は、識別したエンティティを拡張するように判断することである。
次に、判断の結果を分析して(ステップ670において)、ステップ680に進むかどうかを判断する。ステップ660において、識別したエンティティを拡張しないと判断した場合、方法はステップ640に戻り、そこでビデオの次の部分を処理する。
他方、ステップ660において、識別したエンティティを拡張すると判断された場合、方法はステップ680に進み、そこで、ビデオストリームを修正し、識別したエンティティの少なくとも部分を、ビデオ内の識別したエンティティの部分を覆い隠すように適合されたグラフィカル要素に置き換える。しかしながら、ステップ660における判断の結果、使用されるグラフィカル要素は、例えば、識別したエンティティが、プライベート・エンティティと実質的に合致する、又はプライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置していると判断されたことによって決まり得る。このように、例えば、異なるグラフィカル要素を用いて、ビデオストリーム内の異なるエンティティを覆い隠す、隠す、又は覆うことができる。
ビデオの拡張に用いられる実施形態の実際の例は、複数の視聴場所にブロードキャストされるオフィスのライブ・ビデオストリームを含むことができ、そこで、実施形態は、機密ファイル、又はオフィスの机の上に置かれたあらゆるものについてライブ・ビデオストリームを連続的に走査する。次に、実施形態は、ぼかし及び/又はマスクをリアルタイムで適用する(他の拡張現実システムと類似した方法で)。
別の実際的な例において、ユーザは、提案される実施形態によるシステムを用いながら環境を見て回り、権限のない視聴者が視聴することを望まない、3D空間内のオブジェクト又はエリアをマーク付け/タグ付けすることができる。次に、システムは、そうしたユーザ入力からプライベート・エンティティ情報及び規則を生成し、次に、同じ環境のライブ・ブロードキャストの間、それらの情報及び規則を使用することができる。ライブ・ブロードキャストの間、ビデオのビュー内のアイテムを識別し、追跡し、プライベート・エンティティ情報と比較する。例えば、アイテムのいずれかがプライベートであると判断される場合、簡略化した3Dモデル(着色した立方体のような)をレンダリングしてビデオ内のアイテムを覆い、次に、アイテムをビューから覆い隠す。例えば、ビデオを走査し追跡するために用いられる情報は、全地球測位システム、局所測位情報、部屋/環境プラン、環境及び/又はオブジェクトの3Dマップ/モデル等に関連し得る。
図10は、実施形態の1つ又は複数の部分を利用することができる、コンピュータ700の一例を示す。上述した種々の動作は、コンピュータ700の機能を利用することができる。例えば、ビデオを拡張するためのシステムの1つ又は複数の部分を、本明細書で検討される任意の要素、モジュール、アプリケーション、及び/又はコンポーネント内に統合することができる。
コンピュータ700は、これらに限定されるものではないが、PC、ワークステーション、ラップトップ、PDA、パーム・デバイス(Palm device)、スマートフォン、画像キャプチャ・デバイス、ビデオ・キャプチャ・デバイス、インターネット対応ディスプレイ、サーバ、ストレージ等を含む。一般的に、ハードウェア・アーキテクチャの観点から、コンピュータ700は、1つ又は複数のプロセッサ710、メモリ720、及びローカル・インターフェース(図示せず)を介して通信可能に結合される1つ又は複数のI/Oデバイス770を含むことができる。ローカル・インターフェースは、例えば、これらに限定されるものではないが、当技術分野において周知なような、1つ又は複数のバス又は他の有線若しくは無線接続とすることができる。ローカル・インターフェースは、通信を可能にするために、コントローラ、バッファ(キャッシュ)、ドライバ、中継器、及び受信機のような付加的な要素を有することができる。さらに、ローカル・インターフェースは、上述のコンポーネントの間の適切な通信を可能にするために、アドレス、制御部、及び/又はデータ接続を含むことができる。
プロセッサ710は、メモリ720内に格納することができるソフトウェアを実行するためのハードウェア・デバイスである。プロセッサ710は、事実上、あらゆる特注の又は市販のプロセッサ、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)、又はコンピュータ700と関連した幾つかのプロセッサの間の補助プロセッサとすることができ、また、プロセッサ710は、半導体ベースのマイクロプロセッサ(マイクロチップの形態の)又はマイクロプロセッサとすることができる。
メモリ720は、揮発性メモリ要素(例えば、ダイナミック・ランダム・アクセス・メモリ(DRAM)、スタティック・ランダム・アクセス・メモリ(SRAM)等のようなランダム・アクセス・メモリ(RAM))、及び不揮発性メモリ要素(例えば、ROM、消去可能プログラム可能読み出し専用メモリ(EPROM)、電気消去可能プログラム可能読み出し専用メモリ(EEPROM)、プログラム可能読み出し専用メモリ(PROM)、テープ、コンパクト・ディスク読み出し専用メモリ(CD−ROM)、ディスク、ディスケット、カートリッジ、カセット、又はその種の他のもの等)のうちのいずれか1つ又はその組み合わせを含むことができる。さらに、メモリ720は、電子、磁気、光学、及び/又は他のタイプのストレージ媒体を組み込むことができる。メモリ720は、分散型アーキテクチャを有することができ、そこで、種々のコンポーネントが互いから離れて位置しているが、プロセッサ710によりアクセスできることに留意されたい。
メモリ720内のソフトウェアは、1つ又は複数の別個のプログラムを含むことができ、その各々が論理機能を実施するための実行可能命令の順序付きリストを含むことができる。例示的な実施形態によると、メモリ720内のソフトウェアは、適切なオペレーティング・システム(O/S)750、コンパイラ740、ソース・コード730、及び1つ又は複数のアプリケーション760を含む。示されるように、アプリケーション760は、例示的な実施形態の特徴及び動作を実施するための多数の機能コンポーネントを含む。例示的な実施形態によると、コンピュータ700のアプリケーション760は、種々のアプリケーション、計算ユニット、論理、機能ユニット、プロセス、動作、仮想エンティティ及び/又はモジュールを表すことができるが、アプリケーション760は、限定することを意味するものではない。
オペレーティング・システム750は、他のコンピュータ・プログラムの実行を制御し、スケジューリング、入力・出力制御、ファイル及びデータ管理、メモリ管理、並びに通信制御及び関連サービスを提供する。例示的な実施形態を実施するためのアプリケーション760は、全ての市販のオペレーティング・システム上で適用可能であり得ることが、発明者により考慮される。
アプリケーション760は、ソース・プログラム、実行可能プログラム(オブジェクト・コード)、スクリプト、又は実行される命令のセットを含む他のいずれかのエンティティとすることができる。ソース・プログラムの場合、プログラムは、通常、O/S750と関連して適切に動作するように、メモリ720内に含まれることも含まれないこともある、コンパイラ(コンパイラ740のような)、アセンブラ、インタープリタ等を介して翻訳される。I/Oデバイス770は、例えば、これらに限定されるものではないが、マウス、キーボード、スキャナ、マイクロフォン、カメラ等のような入力デバイスを含むことができる。さらに、I/Oデバイス770はまた、例えば、これらに限定されるものではないが、プリンタ、ディスプレイ等などの出力デバイスを含むこともできる。最終的に、I/Oデバイス770は、例えば、これらに限定されるものではないが、NIC又は変調器/復調器(遠隔デバイス、他のファイル、デバイス、システム、又はネットワークにアクセスするための)、無線周波数(RF)又は他の送受信機、電話インターフェース、ブリッジ、ルータ等など、入力及び出力の両方と通信するデバイスをさらに含むことができる。I/Oデバイス770はまた、インターネット又はイントラネットのような種々のネットワーク上で通信するためのコンポーネントも含む。
コンピュータ700がPC、ワークステーション、インテリジェント・デバイス等である場合、メモリ720内のソフトウェアは、基本入力出力システム(BIOS)(簡単にするために省略される)をさらに含むことができる。BIOSは、起動時にハードウェアを初期化及びテストし、O/S750を起動し、ハードウェア・デバイス間のデータの転送をサポートする不可欠のソフトウェア・ルーチンのセットである。BIOSは、ROM、PROM、EPROM、EEPROM等のような何らかのタイプの読み出し専用メモリ内に格納されるので、コンピュータ700が作動されたときにBIOSを実行することができる。
コンピュータ700が動作中のとき、プロセッサ710は、メモリ720内に格納されたソフトウェアを実行し、メモリ720との間でデータを通信し、ソフトウェアに従ってコンピュータ700の動作を全体的に制御するように構成される。アプリケーション760及びO/S750は、プロセッサ710により、全体的に又は部分的に読み出され、恐らくプロセッサ710内にバッファされ、次に実行される。
アプリケーション760がソフトウェア内に実装されるとき、アプリケーション760は、いずれかのコンピュータ関連システム若しくは方法により又はそれと関連して使用されるいずれかのコンピュータ可読媒体上に事実上格納することができることに留意されたい。本文書の文脈において、コンピュータ可読媒体は、電子、磁気、光学、又は他の物理デバイス、又はいずれかのコンピュータ関連システム若しくは方法により又はこれと共に使用されるコンピュータ・プログラムを収容又は格納することができる手段とすることができる。
アプリケーション760は、命令実行システム、装置、若しくはデバイス、例えば、コンピュータ・ベースのシステム、プロセッサ含有システム、又は命令実行システム、装置、若しくはデバイスから命令をフェッチして、その命令を実行することができる他のシステムによって又はこれに関連して使用されるいずれかのコンピュータ可読媒体の形で具体化することができる。本文書の文脈において、「コンピュータ可読媒体」とは、命令実行システム、装置、若しくはデバイスによって又はこれと関連して使用するためのプログラムを格納、通信、伝搬、又は伝送することができるいずれかの手段とすることができる。コンピュータ可読媒体は、例えば、これらに限定されるものではないが、電子、磁気、光学、電磁気、赤外線又は半導体のシステム、装置、デバイス、若しくは伝搬媒体とすることができる。
本発明の実施形態が方法を構成する本出願の文脈において、こうした方法は、コンピュータにより実行するためのプロセスである、すなわちコンピュータ実施可能方法である。従って、方法の種々のステップは、例えば、1つ又は複数のアルゴリズムの種々の部分など、コンピュータ・プログラムの種々の部分を示す。
本発明は、システム、方法、及び/又はコンピュータ・プログラム製品とすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体(単数又は複数)を含むことができる。
コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの:すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュ・メモリ)、スタティック・ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクト・ディスク読み出し専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)、メモリ・スティック、フロッピー・ディスク、パンチカード若しくは命令がそこに記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通じて伝搬する電磁波(例えば、光ファイバ・ケーブルを通る光パルス)、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング/処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、及び/又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、及び/又はエッジ・サーバを含むことができる。各コンピューティング/処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング/処理デバイス内のコンピュータ可読ストレージ媒体内に格納する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Smalltalk、C++などのオブジェクト指向プログラミング言語、又は、「C」プログラミング言語若しくは類似のプログラミング言語などの通常の手続き型プログラミング言語を含む1つ又は複数のプログラミング言語の任意の組み合わせで記述することができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。最後のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)若しくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある(例えば、インターネットサービスプロバイダを用いたインターネットを通じて)。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又はプログラム可能論理アレイ(PLA)を含む電子回路は、コンピュータ可読プログラム命令の状態情報を用いて、電子回路を個人化することによりコンピュータ可読プログラム命令を実行し、本発明の態様を実施することができる。
本発明の態様は、本発明の実施形態による方法、装置(システム)及びコンピュータ・プログラム製品のフローチャート図及び/又はブロック図を参照して説明される。フローチャート図及び/又はブロック図の各ブロック、並びにフローチャート図及び/又はブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作を実施する命令を含む製品を製造するようにすることもできる。
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作を実行するためのプロセスを提供するようにすることもできる。
図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート内の各ブロックは、指定された論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される2つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図及び/又はフローチャート図の各ブロック、及びブロック図及び/又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。
本発明の種々の実施形態の説明が例証の目的のために提示されたが、これらは、網羅的であること、又は本発明を開示された形態に制限することを意図するものではない。当業者には、説明される実施形態の範囲から逸脱することなく、多くの修正及び変形が明らかであろう。本明細書で用いられる用語は、実施形態の原理、実際の適用、又は市場に見られる技術に優る技術的改善を最もよく説明するため、又は、当業者が、本明細書に開示される実施形態を理解するのを可能にするために選択された。
100:分散型システム
102:ネットワーク
104、106:サーバ
108:ストレージ・ユニット
110、112、114:クライアント
200:システム
206:処理ユニット
208:メイン・メモリ
238、240:バス
300:拡張システム
305:ビデオストリーム
310:ビデオ処理ユニット
320:情報生成器
330:データ処理ユニット
335:データ・ストア
340:ビデオ修正ユニット
350:ビデオ・キャプチャ・デバイス
360:グラフィカル要素
370:修正されたビデオ
390:入力インターフェース
400:引き出しのセット
410:折り畳まれた紙サイン
420、430:境界エッジ
600:コンピュータ実施方法

Claims (22)

  1. 拡張されるプライベート・エンティティを含む環境のビデオストリーム(305)を拡張するコンピュータ実施方法であって、
    前記環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って前記ビデオストリームを処理すること(640)と、
    前記識別したエンティティの少なくとも1つの特性に関する識別エンティティ情報を生成すること(650)と、
    前記生成された識別エンティティ情報及び前記プライベート・エンティティに関するプライベート・エンティティ情報に基づいて、前記識別したエンティティを拡張するかどうかを判断すること(660)と、
    前記識別したエンティティを拡張すると判断される場合、前記識別したエンティティの少なくとも部分を、前記ビデオ内の前記識別したエンティティの前記部分を覆い隠すように適合されたグラフィカル要素(360)に置き換えるように、前記ビデオストリームを修正すること(680)と、
    を含む、方法、
  2. 拡張される前記プライベート・エンティティについて記述するユーザ入力を受け取ること(610)と、
    前記受け取ったユーザ入力に基づいて前記プライベート・エンティティ情報を生成すること(620)と、
    をさらに含む、請求項1に記載の方法。
  3. 前記プライベート・エンティティ情報は、
    前記プライベート・エンティティの場所を表すプライベート・エンティティ場所情報、
    前記プライベート・エンティティの向きを表すプライベート・エンティティ向き情報、
    前記プライベート・エンティティの少なくとも1つの幾何学的特性を表すプライベート・エンティティ幾何学情報、
    前記プライベート・エンティティの少なくとも1つの色を表すプライベート・エンティティ色情報、及び
    3D座標空間における前記プライベート・エンティティの位置を表すプライベート・エンティティ3D座標情報
    のうちの少なくとも1つを含む、前記請求項のいずれかに記載の方法。
  4. 前記識別エンティティ情報は、
    前記ビデオストリームをキャプチャするように適合されたビデオ・キャプチャ・デバイスの視聴方向を表す撮影方向情報、
    前記ビデオ・キャプチャ・デバイスの位置を表す撮影位置情報、
    前記識別したエンティティの場所を表す識別エンティティ場所情報、
    前記識別したエンティティの向きを表す識別エンティティ向き情報、
    前記識別したエンティティの少なくとも1つの幾何学的特性を表す識別エンティティ幾何学情報、
    前記識別したエンティティの少なくとも1つの色を表す識別エンティティ色情報、及び
    3D座標空間における前記識別したエンティティの位置を表す識別エンティティ3D座標情報
    のうちの少なくとも1つを含む、前記請求項のいずれかに記載の方法。
  5. 前記識別したエンティティを拡張するかどうかを判断するステップは、
    前記識別したエンティティが、プライベート・エンティティと実質的に合致するか、又は前記プライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを判断することと、
    前記識別したエンティティが、前記プライベート・エンティティと実質的に合致する、又は前記プライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置していると判断される場合、前記識別したエンティティを拡張すると決定することと、
    を含む、前記請求項のいずれかに記載の方法。
  6. 前記ビデオストリームを修正するステップ(680)は、前記識別したエンティティが、前記プライベート・エンティティと実質的に合致するか、又は前記プライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを判断することに基づいて、前記グラフィカル要素(360)を生成することを含む、請求項5に記載の方法。
  7. 前記ビデオストリームを修正するステップ(680)は、前記グラフィカル要素(360)を生成し、これが前記識別したエンティティの簡略化した3Dモデルを表すようにすることを含む、前記請求項のいずれかに記載の方法。
  8. 前記グラフィカル要素は、前記識別したエンティティの前記部分のマスクした又はぼかしたバージョンを含む、前記請求項のいずれかに記載の方法。
  9. 前記識別したエンティティを拡張するかどうかを判断するステップ(660)は、
    前記ビデオストリームのターゲット視聴者の視聴特権又はアクセス権を判断することと、
    前記ターゲット視聴者の視聴特権又はアクセス権が所定の要件を満たさない場合、前記識別したエンティティを拡張すると決定することと、
    を含む、前記請求項のいずれかに記載の方法。
  10. 前記修正されたビデオストリームを前記環境から遠隔に位置する人に表示することをさらに含む、前記請求項のいずれかに記載の方法。
  11. 拡張されるプライベート・エンティティを含む環境のビデオストリームを拡張するためのコンピュータ・プログラム製品であって、
    処理回路により読み取り可能であり、請求項1から請求項10までのいずれかに記載の方法を実行するための前記処理回路により実行される命令を格納するコンピュータ可読ストレージ媒体を含む、コンピュータ・プログラム製品。
  12. 拡張されるプライベート・エンティティを含む環境のビデオストリーム(305)を拡張するための拡張システム(300)であって、
    前記環境内のエンティティの少なくとも部分の存在を識別するために、エンティティ認識アルゴリズムに従って前記環境の前記ビデオストリームを処理するように適合されたビデオ処理ユニット(310)と、
    前記識別したエンティティの少なくとも1つの特性に関する識別エンティティ情報を生成するように適合された情報生成器(320)と、
    前記生成された識別エンティティ情報及び前記プライベート・エンティティに関するプライベート・エンティティ情報に基づいて、前記識別したエンティティを拡張するかどうかを判断するように適合された処理ユニット(330)と、
    前記識別したエンティティを拡張すると判断される場合、前記識別したエンティティの少なくとも部分を、前記ビデオストリーム内の前記識別したエンティティの前記部分を覆い隠すように適合されたグラフィカル要素(360)と置き換えるように、前記ビデオストリームを修正するように適合されたビデオ修正ユニット(340)と、
    を含む、システム。
  13. 拡張される前記プライベート・エンティティについて記述するユーザ入力を受け取るように適合されたユーザ入力インターフェース(380)をさらに含み、前記情報生成器は、前記受け取ったユーザ入力に基づいて前記プライベート・エンティティ情報を生成するようにさらに適合される、請求項12に記載のシステム。
  14. 前記プライベート・エンティティ情報は、
    前記プライベート・エンティティの場所を表すプライベート・エンティティ場所情報、
    前記プライベート・エンティティの向きを表すプライベート・エンティティ方角情報、
    前記プライベート・エンティティの少なくとも1つの幾何学的特性を表すプライベート・エンティティ幾何学情報、
    前記プライベート・エンティティの少なくとも1つの色を表すプライベート・エンティティ色情報、及び
    3D座標空間における前記プライベート・エンティティの位置を表すプライベート・エンティティ3D座標情報
    のうちの少なくとも1つを含む、請求項12又は請求項13のいずれかに記載のシステム。
  15. 前記識別エンティティ情報は、
    前記ビデオストリームをキャプチャするように適合されたビデオ・キャプチャ・デバイスの撮影方向を表す撮影方向情報、
    前記ビデオ・キャプチャ・デバイスの位置を表す撮影位置情報、
    前記識別したエンティティの場所を表す識別エンティティ場所情報、
    前記識別したエンティティの向きを表す識別エンティティ向き情報、
    前記識別したエンティティの少なくとも1つの幾何学的特性を表す識別エンティティ幾何学情報、
    前記識別したエンティティの少なくとも1つの色を表す識別エンティティ色情報、及び
    3D座標空間における前記識別したエンティティの位置を表す識別エンティティ3D座標情報
    のうちの少なくとも1つを含む、請求項12から請求項14までのいずれかに記載のシステム。
  16. 前記処理ユニット(330)は、前記識別したエンティティが、プライベート・エンティティと実質的に合致するか、又は前記プライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを判断し、前記識別したエンティティが、前記プライベート・エンティティと実質的に合致する、又は前記プライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置していると判断される場合、前記識別したエンティティを拡張すると決定するようにさらに適合される、請求項12から請求項15までのいずれかに記載のシステム。
  17. 前記ビデオ修正ユニット(340)は、前記処理ユニットが、前記識別したエンティティが、前記プライベート・エンティティと実質的に合致するか、又は前記プライベート・エンティティ内に、その上に、その下に、若しくはこれに近接して位置しているかを判断することに基づいて、前記グラフィカル要素(360)を生成するように適合される、請求項16に記載のシステム。
  18. 前記ビデオ修正ユニット(340)は、前記グラフィカル要素(360)を生成し、これが前記識別したエンティティの簡略化した3Dモデルを表すように適合される、請求項12から請求項17までのいずれかに記載のシステム。
  19. 前記グラフィカル要素(360)は、前記識別したエンティティの前記部分のマスクした又はぼかしたバージョンを含む、請求項12から請求項18までのいずれかに記載のシステム。
  20. 前記ビデオストリーム(305)は、前記環境のライブ・ビデオストリームを含む、請求項12から請求項19までのいずれかに記載のシステム。
  21. 前記修正されたビデオストリームを前記環境から遠隔に位置する人に表示するように適合されたディスプレイ・ユニット(390)をさらに含む、請求項12から請求項20までのいずれかに記載のシステム。
  22. コンピュータ可読媒体上に格納され、デジタル・コンピュータの内部メモリ内にロード可能なコンピュータ・プログラムであって、前記プログラムがコンピュータ上で実行されるとき、請求項1から請求項10までのいずれかに記載の方法を実行するためのソフトウェア・コード部分を含む、コンピュータ・プログラム。
JP2018546684A 2016-03-29 2017-01-25 ビデオストリームの拡張 Pending JP2019512933A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/083,545 2016-03-29
US15/083,545 US10306315B2 (en) 2016-03-29 2016-03-29 Video streaming augmenting
PCT/IB2017/050371 WO2017168262A1 (en) 2016-03-29 2017-01-25 Video stream augmenting

Publications (1)

Publication Number Publication Date
JP2019512933A true JP2019512933A (ja) 2019-05-16

Family

ID=59962187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546684A Pending JP2019512933A (ja) 2016-03-29 2017-01-25 ビデオストリームの拡張

Country Status (6)

Country Link
US (2) US10306315B2 (ja)
JP (1) JP2019512933A (ja)
CN (1) CN108886607A (ja)
DE (1) DE112017000325T5 (ja)
GB (1) GB2564796B (ja)
WO (1) WO2017168262A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607399B2 (en) * 2017-05-22 2020-03-31 Htc Corporation Head-mounted display system, method for adaptively adjusting hidden area mask, and computer readable medium
US10623680B1 (en) * 2017-07-11 2020-04-14 Equinix, Inc. Data center viewing system
US10242263B1 (en) * 2017-11-14 2019-03-26 Wells Fargo Bank, N.A. Virtual assistant of safe locker
US20190207993A1 (en) * 2017-12-29 2019-07-04 Facebook, Inc. Systems and methods for broadcasting live content
US10904223B1 (en) * 2018-02-27 2021-01-26 Amazon Technologies, Inc. Stream sniping prevention
US10694252B1 (en) 2018-02-27 2020-06-23 Amazon Technologies, Inc. Service-based prevention of stream sniping
CN108965982B (zh) * 2018-08-28 2020-01-31 百度在线网络技术(北京)有限公司 视频录制方法、装置、电子设备和可读存储介质
US10997760B2 (en) * 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
CN110876035B (zh) * 2018-08-31 2021-04-30 杭州海康威视系统技术有限公司 一种基于视频的场景更新方法、装置及电子设备
US10440324B1 (en) * 2018-09-06 2019-10-08 Amazon Technologies, Inc. Altering undesirable communication data for communication sessions
FR3087552A1 (fr) 2018-10-22 2020-04-24 Elanz Solutions Procede et systeme pour realiser un tutoriel
WO2020243059A1 (en) * 2019-05-29 2020-12-03 Apple Inc. Obfuscating location specific data associated with a physical environment
WO2021040589A1 (en) * 2019-08-30 2021-03-04 Telefonaktiebolaget L M Ericsson (Publ) Processing media data with sensitive information

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181017B1 (en) * 2001-03-23 2007-02-20 David Felsher System and method for secure three-party communications
US6822648B2 (en) 2001-04-17 2004-11-23 Information Decision Technologies, Llc Method for occlusion of movable objects and people in augmented reality scenes
US7843313B2 (en) * 2003-09-05 2010-11-30 Honeywell International Inc. Distributed stand-off verification and face recognition systems (FRS)
GB2414616A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Comparing test image with a set of reference images
US9269157B2 (en) * 2005-03-01 2016-02-23 Eyesmatch Ltd Methods for extracting objects from digital images and for performing color change on the object
US8933889B2 (en) 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
CN1767638B (zh) 2005-11-30 2011-06-08 北京中星微电子有限公司 一种保护隐私权的可视图像监控方法及其系统
US7783075B2 (en) 2006-06-07 2010-08-24 Microsoft Corp. Background blurring for video conferencing
JP5098736B2 (ja) * 2008-03-25 2012-12-12 株式会社明電舎 車両速度制御装置
US8311275B1 (en) * 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
GB2474598A (en) * 2008-08-11 2011-04-20 Karl Martin Method and system for secure coding of arbitrarily shaped visual objects
US8340503B2 (en) * 2009-05-13 2012-12-25 Broadcom Corporation Overlay to augment quality of currently playing media
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
CN102044064A (zh) * 2009-10-23 2011-05-04 鸿富锦精密工业(深圳)有限公司 影像处理系统及方法
CN102906810B (zh) * 2010-02-24 2015-03-18 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
US20160191995A1 (en) * 2011-09-30 2016-06-30 Affectiva, Inc. Image analysis for attendance query evaluation
US9642536B2 (en) * 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
US20120320216A1 (en) * 2011-06-14 2012-12-20 Disney Enterprises, Inc. Method and System for Object Recognition, Authentication, and Tracking with Infrared Distortion Caused by Objects for Augmented Reality
US9047376B2 (en) * 2012-05-01 2015-06-02 Hulu, LLC Augmenting video with facial recognition
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
EP2713593B1 (en) * 2012-09-28 2015-08-19 Alcatel Lucent, S.A. Immersive videoconference method and system
US9319635B2 (en) * 2012-11-30 2016-04-19 Pelco, Inc. Window blanking for pan/tilt/zoom camera
EP2765781A1 (en) * 2013-02-07 2014-08-13 Thomson Licensing Method for providing targetable content in images of a video sequence and corresponding device
US20140247281A1 (en) * 2013-03-03 2014-09-04 Geovector Corp. Dynamic Augmented Reality Vision Systems
EP2801958B1 (en) * 2013-05-08 2016-09-14 Axis AB Monitoring method and camera
US20150098616A1 (en) * 2013-10-03 2015-04-09 Qualcomm Incorporated Object recognition and map generation with environment references
CN103605928B (zh) * 2013-11-18 2016-03-30 清华大学 一种图像隐私保护方法和系统
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US10102565B2 (en) * 2014-11-21 2018-10-16 Paypal, Inc. System and method for content integrated product purchasing
US9576607B2 (en) * 2015-01-21 2017-02-21 Google Inc. Techniques for creating a composite image
CN104834897A (zh) * 2015-04-09 2015-08-12 东南大学 一种基于移动平台的增强现实的系统及方法
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US20170103558A1 (en) * 2015-10-13 2017-04-13 Wipro Limited Method and system for generating panoramic images with real-time annotations
US20170212875A1 (en) * 2016-01-27 2017-07-27 Microsoft Technology Licensing, Llc Predictive filtering of content of documents

Also Published As

Publication number Publication date
WO2017168262A1 (en) 2017-10-05
US20190238942A1 (en) 2019-08-01
GB2564796A (en) 2019-01-23
US20170289623A1 (en) 2017-10-05
GB2564796B (en) 2021-05-19
US10701444B2 (en) 2020-06-30
DE112017000325T5 (de) 2018-11-15
US10306315B2 (en) 2019-05-28
CN108886607A (zh) 2018-11-23
GB201817359D0 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
JP6680840B2 (ja) 不正デジタル証明書の自動検出
US10129524B2 (en) Depth-assigned content for depth-enhanced virtual reality images
US10531038B2 (en) System and method for fine-grained control of privacy from image and video recording devices
US10698986B2 (en) Method and apparatus for embedding and extracting text watermark
CN105981368B (zh) 在成像装置中的照片构图和位置引导
US10509907B2 (en) Methods and systems for secure and reliable identity-based computing
US10114968B2 (en) Proximity based content security
US20200349293A1 (en) Systems and methods for authenticating photographic image data
US10425679B2 (en) Method and device for displaying information on video image
US20190012662A1 (en) Systems, methods, and devices for reducing and/or eliminating data leakage in electronic ledger technologies for trustless order matching
US9817954B2 (en) Multi-mode protected content wrapper
US9607424B2 (en) Depth-assigned content for depth-enhanced pictures
US20210097205A1 (en) Systems, Methods and Computer Program Products for Managing Remote Execution of Transaction Documents
CN105897565B (zh) 在上载到因特网网站的多媒体中保护用户隐私的系统和方法
JP6431144B2 (ja) ソーシャル・コンテキストに基づく画像フィルタリング
US20160381064A1 (en) Managing data privacy and information safety
US10255453B2 (en) Controlling privacy in a face recognition application
US20170308800A1 (en) Interchangeable Artificial Intelligence Perception Systems and Methods
Templeman et al. PlaceRaider: Virtual theft in physical spaces with smartphones
US10102648B1 (en) Browser/web apps access to secure surface
US9699380B2 (en) Fusion of panoramic background images using color and depth data
US10332311B2 (en) Virtual world generation engine
US10499035B2 (en) Method and system of displaying a popping-screen
US9396356B2 (en) Endorsement of unmodified photographs using watermarks
US20170200123A1 (en) Method and system for shared document approval

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20201106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20210407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210409