JP2022017369A - 角度分離されたサブシーンの合成およびスケーリング - Google Patents
角度分離されたサブシーンの合成およびスケーリング Download PDFInfo
- Publication number
- JP2022017369A JP2022017369A JP2021172415A JP2021172415A JP2022017369A JP 2022017369 A JP2022017369 A JP 2022017369A JP 2021172415 A JP2021172415 A JP 2021172415A JP 2021172415 A JP2021172415 A JP 2021172415A JP 2022017369 A JP2022017369 A JP 2022017369A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- subscene
- scene
- camera
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 83
- 230000000007 visual effect Effects 0.000 claims description 70
- 239000002131 composite material Substances 0.000 claims description 53
- 230000007704 transition Effects 0.000 claims description 40
- 230000004807 localization Effects 0.000 claims description 38
- 230000000694 effects Effects 0.000 claims description 24
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 238000013508 migration Methods 0.000 claims description 12
- 230000005012 migration Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000014759 maintenance of location Effects 0.000 claims description 7
- 230000016776 visual perception Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 34
- 230000033001 locomotion Effects 0.000 description 27
- 230000015654 memory Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 13
- 239000000872 buffer Substances 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000004397 blinking Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009012 visual motion Effects 0.000 description 4
- 206010011224 Cough Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012553 document review Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 235000015277 pork Nutrition 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010041232 sneezing Diseases 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000009281 ultraviolet germicidal irradiation Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 101500019086 Ustilago maydis P6 virus KP6 killer toxin subunit alpha Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/20—Control channels or signalling for resource management
- H04W72/21—Control channels or signalling for resource management in the uplink direction of a wireless link, i.e. towards the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Cosmetics (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本願は、2015年4月1日に出願された米国仮特許出願連続番号第62/141,822号に基づく利益を米国特許法第119条(e)に従って主張し、上記仮特許出願の開示全体を本明細書に引用により援用する。
局面は、画像キャプチャおよび強調のための装置および方法に関する。
マルチパーティ遠隔会議、ビデオチャット、およびテレビ会議は、同じ会議室にいる複数の参加者が少なくとも1人のリモートパーティと接続された状態で行なわれることが多い。
本実施形態の一局面において、高密度に合成された単一カメラ信号を出力するプロセスは、実質的に90度以上の水平画角を有するワイドカメラからキャプチャされた、実質的に2.4:1以上のアスペクト比を有するパノラマビデオ信号を記録し得る。ワイドカメラから各自の対象方位において、少なくとも2つのサブシーンビデオ信号がサブサンプリングされ得る。2つ以上のサブシーンビデオ信号は並べて合成されて、実質的に2:1以下のアスペクト比を有するステージシーンビデオ信号を形成し得る。任意に、ステージシーンビデオ信号の領域の80%よりも大きい領域がパノラマビデオ信号からサブサンプリ
ングされる。ステージシーンビデオ信号は単一カメラビデオ信号としてフォーマットされ得る。任意に、パノラマビデオ信号は実質的に8:1以上のアスペクト比を有し、実質的に360度の水平画角を有するワイドカメラからキャプチャされる。
ーンビデオ信号を形成し得る。1つ以上の追加のサブシーンビデオ信号とともに、2つ以上のサブシーンビデオ信号の各自の最小幅の合計がステージシーンビデオ信号の幅を超えると、2つ以上のサブシーンビデオ信号の少なくとも1つがステージシーンビデオ信号から除去されるように移行し得る。任意に、ステージシーンビデオ信号から除去されるように移行するサブシーンビデオ信号は、アクティビティ基準が最も以前に満たされた各自の対象方位に対応する。
れた基準に基づいて通知動作に従って起動される。
しくは両方内に認識された特徴の幅を表わし得る。信号特性は、代わりに、またはさらに、第1の対象方位に沿って認識された人間の顔の概算幅に対応し得る。任意に、視覚認識の信号特性に従って幅が設定されない場合、予め定められた幅が、角度範囲内に検出された音響認識の局所化に沿って設定され得る。
会議カメラ
図1Aおよび図1Bは、会議カメラ100であるデバイスによって収集されたワイドシーン内の角度分離されたサブシーンおよび/または対象サブシーンを合成する、追跡する、および/または表示するのに好適なデバイスの実施形態の概略ブロック図である。
4は少なくとも2つのマイクを含み、当該技術において公知であるようにビーム形成、相対的飛行時間、局所化、または受信した信号強度差によって、近くの音または発話への対象方位を得ることができる。マイクアレイ4は、ワイドカメラ2の視野と少なくとも実質的に同じ角度範囲をカバーするように方向付けられた複数のマイクペアを含み得る。
近接して置かれる。図2Fのカメラタワー14配列では、約130度の視野の2つのカメラが互いに120度に置かれて、長い会議テーブルCTの2辺をカバーしている。ディスプレイおよびタッチインターフェイス12がテーブル上に方向付けられており(壁にフラットパネルFPがない場合に特に有用である)、ビデオ会議ソフトウェアのためにクライアントを表示する。このディスプレイ12は接続された、接続可能なまたは取外し可能なタブレットまたはモバイルデバイスであり得る。図2Gのカメラタワー配列では、1つの高解像度の、任意に傾いているカメラ7(自身の独立したテレビ会議クライアントソフトウェアまたはインスタンスに任意に接続されている)が対象オブジェクト(ホワイトボードWBまたはテーブルCT面上のページもしくは紙など)に方向付け可能であり、たとえば100~110度の視野の2つの独立してパンしている/または傾いているカメラ5a,5bが対象方位をカバーするように方向付けられるか方向付け可能である。
図3A、図3Bおよび図12を参照して、写真撮影シーンを合成して出力する本方法の実施形態によると、デバイスまたは会議カメラ100(または200)が、たとえば円形または矩形の会議テーブルCTの上に置かれる。デバイス100は、会議参加者M1,M2,M3…Mnの利便性または意図に従って配置されてもよい。
一例として、共通のアルゴリズムを使用する現代の顔検出ライブラリおよびAPI(50個を超える利用可能なAPIおよびSDKのうち、たとえば、AndroidのFaceDetector.
Faceクラス、オブジェクティブCのCIDetectorクラスおよびCIFaceFeatureオブジェクト、Haarカスケードを用いるOpenCVのCascadeClassifierクラス)は通常、瞳孔間距離、な
らびに顔特徴および顔ポーズの空間的位置を返す。参加者Mnの耳を範囲に含めるべきである場合は、顔幅推定の大まかな下限は瞳孔間距離/角度の約2倍であり得、大まかな上限は瞳孔間距離/角度の3倍であり得る。肖像画幅推定(すなわち頭部にいくらかの肩幅を加えたもの)の大まかな下限は顔幅/角度の2倍であり得、大まかな上限は顔幅/角度の4倍であり得る。代わりに、サブシーン幅の固定角度または他のより直接的な設定が用いられてもよい。
図7Aおよび図7Bは、5人の参加者M1,M2,M3,M4およびM5を示し、視覚最小幅Min.2および対応する角度範囲対象方位B5と、音響最小幅Min.5および対応するベクトル対象方位B2との識別の描写を含む、約10人掛けの会議テーブルCT、および会議カメラパノラマ画像信号SCをそれぞれ示す、会議カメラ100の使用事例を
上から見下ろした図である。
もその最小領域を占めるように合成されており、全体的にスケーリングされていないが、ステージ幅の約1/2を満たすように拡幅されている。サブシーンSS2も、少なくともその(大幅に小さい)最小領域を占めるように合成されており、全体的にスケーリングされておらず、やはりステージ幅の約1/2を満たすように拡幅されている。この合成出力COでは、2つのサブシーンにほぼ同じ面積が与えられているが、参加者はカメラ100からの自身の距離に対応する異なる見掛けのサイズである。また、合成された2つのサブシーンの左右のまたは時計回りの順序は、室内の参加者またはカメラ100からの対象方位の(かつ、縮小したパノラマビューSC.Rに現われているような)順序と同じであることに留意すべきである。さらに、本明細書に記載の移行のいずれかが、サブシーンビデオ信号SS2,SS5をステージビデオ信号STGに合成する際に用いられ得る。たとえば、両方のサブシーンがステージSTGを単純に瞬時に満たしてもよく、または、一方が、その対応する左右のステージ方向からスライドインしてステージ全体を満たした後、他方がその対応する左右のステージ方向からスライドインすることによって漸進的に幅が狭くなる、などでもよく、いずれの場合も、サブシーンウインドウ、フレーム、アウトラインなどが移行全体にわたってそのビデオストリームを表示している。
より広くスケーリングされてもよい。このキャプチャ内の縮小したパノラマシーンSC.Rは全体のシーンSCの上下および側部がクロップされたバージョンであり、この場合、約7.5:1のアスペクト比で、最も関連している/直近のスピーカーM1,M2およびM5のみをスパンするようにクロップされる。図9Aおよび図9Bの例では、4つの異なるビデオ信号源SS1,SS2,SS5およびSC.RがステージSTGまたは合成出力COに合成されるように利用可能である。
いるスピーカーM1を有するサブシーンSS1はステージSGの1/2よりも大きい領域を占めている。一方、サブシーンSS2およびSS5の各々はステージSTGのより小さいまたは減少した占有率を占めているが、サブシーンSS5が最小幅を有しているため、ステージSTGの占有率のさらなる減少はサブシーンSS2またはSS1から取られる。図9Eの相対的比率および状態が起こる1つの状況は、参加者M1に対して視覚的な局所化が行われ得るが、参加者M1が長時間発言し続けて、ステージSTGのサブシーンSS1の占有率を他の2つのサブシーンに対して任意に増加させる場合であり得る。
図12に示すように、ステップS10において、新たなサブシーンSS1,SS2…SSnが、たとえばパノラマビデオ信号SC内で認識されると、シーンに応じて生成されて追跡され得る。その後、ステップS30において、サブシーンSS1,SS2…SSnは、本明細書に記載の対象方位、条件、および認識に従って合成され得る。合成出力またはステージシーンSTG,COが次にステップ50において出力され得る。
関連付けられ得、サブシーンと関連付けられたデータまたはメタデータとして記録され得るが、追跡する追加の新たなサブシーンの一部である傾向がある。
状況ごとのサブシーンの合成
図12のステップS30において、プロセッサ6は状況ごとに(たとえば、ステップS20において追跡データとしてまたはシーンデータとして記録されたデータ、フラッグ、指標、設定、または他のアクションパラメータごとに)サブシーンSSnを合成し得、すなわち、異なる幅FW1,FW2…FWnおよび/またはSW1,SW2…SWnに対応する第1の、任意に第2の、および任意にその後の個別のサブシーンSSnを、合成シーンまたは単一カメラ画像またはビデオ信号STGまたはCOに組合わせる。本明細書において、単一カメラ画像またはビデオ信号STG,COは、単一のUSB(または他の周辺バスもしくはネットワーク)カメラに対応するUSB(または他の周辺バスもしくはネットワーク)周辺画像またはビデオ信号またはストリームを表わす単一のビデオフレームまたは単一の合成ビデオフレームを指し得る。
シーンもしくはステージSTGもしくはCOから変更される必要があるかが判断される。新たなサブシーンSSnを表示すべきである場合、シーン変更の候補サブシーンSSnが多すぎる場合がある。たとえば、ステップS36において、シーン変更の閾値が確認され得る(このステップはステップS32およびS34の前または間に実行され得る)。たとえば、個別のサブシーンSSnの数が閾値数(たとえば3)よりも大きくなると、広角シーンSC全体または縮小したパノラマシーンSC.Rを(たとえばそのまま、またはUSB周辺装置カメラのアスペクト比内に収まるようにセグメント化してスタックして)出力することが好ましい場合がある。代わりに、複数のサブシーンSSnの合成シーンの代わりに、または合成出力COとして、単一カメラシーンを提示することが最良な場合がある。
。
図15のステップS52~S56において、(任意に逆の順序で)、合成シーンSTGまたはCOは、単一カメラシーンとして送信または受信されるようにフォーマットされ、すなわち合成され、および/または移行はバッファ、スクリーンもしくはフレームにレンダリングもしくは合成される(この場合、「バッファ」、「スクリーン」または「フレーム」は単一カメラビュー出力に対応する)。デバイス100、その回路、および/またはその実行可能コードは、合成ウインドウまたはスクリーンマネージャを、任意にGPU加速と共に用い、サブシーンごとにオフスクリーンバッファを提供し、バッファを、周辺グラフィックスおよび移行グラフィックスとともに、単一カメラビューを表わす単一カメラ画像に合成し得、その結果を出力またはディスプレイメモリに書込む。合成ウインドウまたはサブスクリーンマネージャ回路は、ブレンディング、フェージング、スケーリング、
回転、複製、曲げ、捩じれ、シャフリング、ブラーリング、もしくは他の処理をバッファリングされたウインドウに対して実行するか、またはフリップ切替、スタック切替、カバー切替、リング切替、グルーピング、タイリングといったドロップシャドウおよびアニメーションをレンダリングし得る。合成ウインドウマネージャは、合成シーンに入るサブシーンが移行効果で追加される、除去される、または切替えられるように合成され得る視覚的な移行を提供し得る。サブシーンはフェードインまたはフェードアウトし、可視的にシュリンクインまたはシュリンクアウトし、内向きにまたは外向きに滑らかに放射状に広がる。合成中または移行中のすべてのシーンはビデオシーンであり得、たとえば、各々が、パノラマシーンSCからサブサンプリングされた進行中のビデオストリームを含む。
図12~図16を参照して述べたように、会議カメラ100およびプロセッサ6は、単一カメラビデオ信号STG,COを(ステップS30において)合成し、(ステップS50において)出力し得る。ROM/RAM8に動作可能に接続されたプロセッサ6は、実質的に90度以上の水平画角を有するワイドカメラ2,3,5からキャプチャされた、実質的に2.4:1以上のアスペクト比を有するパノラマビデオ信号SCを(ステップS12において)記録し得る。1つの任意のバージョンでは、当該パノラマビデオ信号は実質的に8:1以上のアスペクト比を有し、実質的に360度の水平画角を有するワイドカメラからキャプチャされる。
てバッファ、フレーム、またはビデオメモリに)合成して、実質的に2:1以下のアスペクト比を有するステージシーンビデオ信号CO,STGを(ステップS52~S56において)形成し得る。任意に、単一カメラビデオ信号のできる限り多くを高密度に満たす(参加者のより大きいビューに繋がる)ために、ステージシーンビデオ信号CO,STGの領域の実質的に80%以上がパノラマビデオ信号SCからサブサンプリングされ得る。USB/LANインターフェイス10に動作可能に接続されたプロセッサ6は、(ステップS52~S56のように)単一カメラビデオ信号としてフォーマットされるステージシーンビデオ信号CO,STGを出力し得る。
ティ基準(たとえば、視覚動作、検知された動作、発話の音響検出など)に従って(たとえばステップS16~S18のように)変化するようにプロセッサ6によって合成されるのに対して、ステージシーンビデオ信号または合成出力STG,COの幅は一定に保たれる。
象方位B1,B2…Bnにおいて1つ以上のアクティビティ基準が満たされた後の予め定められた期間、プロセッサ6は、各自のサブシーン信号SS1,SS2…SSnをステージシーンビデオ信号STGから除去するように移行させ得る。
磁放射、熱、UV照射、無線、マイクロ波、電気特性、または深度/範囲の検出)に基づいてサブシーン参加者通知動作を設定し得る。プロセッサ6は、対応する検知された基準に基づいて、通知動作に従って1つ以上のローカルリマインダ指標を起動し得る。
たとえば、対象方位は、たとえば、発言している参加者M1,M2…Mn、たとえば、ビーム形成、局所化、または比較的な受信信号強度、または少なくとも2つのマイクを用いる比較的な飛行時間によって、マイクアレイ4によって角度認識される、ベクトル化される、または、識別される参加者M1,M2…Mnなどの、1つ以上の音声信号または検出に対応するそれらの方位であってもよい。音声信号が十分に強いまたは十分に明瞭であるか否かを決定するために閾値処理または周波数領域分析が用いられてもよく、一致しないペア、マルチパス、および/または冗長を捨てるために、少なくとも3つのマイクを用いてフィルタリングが行なわれてもよい。3つのマイクには、比較用に3ペアを形成するという利点がある。
人工ランドマークとして認識可能な基準オブジェクトまたは特徴がデバイス100を用いる人物によって置かれるそれらの方位であってもよく、これらは上記の1つ以上の技術によって角度認識され、ベクトル化され、または識別される。
実施形態および発明の局面はいずれの角度範囲またはアスペクト比でも有用であり得るが、利点が任意に大きくなるのは、サブシーンが、実質的に2.4:1以上のアスペクト比(アスペクト比はフレームまたは画素寸法のいずれかを表わす)を有するパノラマビデオ信号を提供するカメラから形成され、ほとんどのラップトップまたはテレビディスプレイ(通常は1.78:1以下)において見られるように、実質的に2:1以下(たとえば16:9,16:10または4:3など)の全アスペクト比を有する複数参加者ステージビデオ信号に合成され、さらに、任意に、ステージビデオ信号サブシーンが合成された全体のフレームの80%を超える領域を満たす場合、および/またはステージビデオ信号サブシーンとパノラマビデオ信号で形成されたいずれかの付加的に合成されたサムネイルとが合成された全体のフレームの90%を超える領域を満たす場合である。このように、示される各参加者は、実用的に可能な限りほぼ最大にスクリーンを満たす。
図12~図18、特に図16~図18に示すような、図1Aおよび図1Bのデバイスによって実行されるプロセスは、ワイドビデオ信号SC内の対象方位B1,B2…BnにおいてサブシーンFW、SSを追跡することを含み得る。図16に示すように、音響センサまたはマイクアレイ4(任意のビーム形成回路を有する)およびワイドカメラ2,3,5
に動作可能に接続されたプロセッサ6は、ステップS202において、任意にまたは好ましくは実質的に90度以上である実質的に共通の角度範囲を監視する。
に、候補方位B1,B2…Bnは空間マップ(たとえば、候補方位の位置、場所、および/もしくは方向を追跡し続けるメモリまたはデータベース構造)に記録され得る。たとえばこのようにして、その方位において音響検出がまだ起こっていなくても、顔認識または他の視覚認識(たとえば動作)が空間マップに記憶され得る。その後、ワイドカメラ100の角度範囲が、音響認識のための音響センサまたはマイクアレイ4を用いてプロセッサ6によって監視され得る(これは候補対象方位B1,B2…Bnの妥当性を検証するために用いられ得る)。
様の)対象方位B1,B2…Bnの対応する範囲に従って、パノラマシーンSCの動画ビデオ信号内にサブサンプリングウインドウを位置付け得る。プロセッサは次に、ステップS228のように当該範囲内に視覚認識が検出されると、サブサンプリングウインドウ内に検出された視覚認識を局所化し得る。その後、プロセッサ6は、任意に実質的に視覚認識を中心とするワイドカメラ100から(カメラ100から直接、またはパノラマシーン記録SCから)キャプチャされたサブシーンビデオ信号SSをサブサンプリングし得る。ステップS232のように、プロセッサ6は次に、視覚認識の信号特性に従ってサブシーンビデオ信号SSの幅を設定し得る。図18のステップS228のように、視覚認識が可能でない、好適でない、検出されない、または選択されない場合、プロセッサ6は図18のステップS230のように、音響最小幅を維持または選択し得る。
新たな対象方位を識別するための構造、装置、方法および技術の上記の説明では、そのような新たな対象方位を識別するためのさまざまな検出、認識、誘発、または他の原因を説明している。以下の説明では、対象方位およびサブシーンの方位、方向、場所、ポーズ、幅、または他の特性の変更の更新、追跡、または予測について述べるが、この更新、追跡、および予測は上記の説明にも当てはまり得る。新たな対象方位を識別し、方位またはサブシーンの変更を更新または予測するための方法の説明は、対象方位またはサブシーンの再獲得が追跡または予測によって容易になるという点で関連している。本明細書に記載の方法および技術は、ステップS20,S32,S54またはS56において方位および/またはサブシーンをスキャンする、識別する、更新する、追跡する、記録する、または再獲得するために用いることができ、逆もまた同様である。
ブシーンもしくはシーン領域上に適用されるRANSACといった統計関数を用いるコーナー検出などの特徴検出)から得られた動きベクトルなど、ビデオ標準または動き補償SPIとは独立した上述のような他の予測または追跡データが記録され得る。
トをブリンクさせる)。コンパイル処理またはその他の処理において、ローカルリマインダ指標が、各自のまたは対応する検知された基準に基づいて通知またはリマインダ動作に従って起動される。
度スパンが瞳孔間距離よりも広い、この2倍である、またはそれ以上である;設定または再設定された角度スパンが頭と壁のコントラスト、距離、エッジ、差分、または動作移行よりも広い)に基づく閾値(たとえば、図13のステップS16~S18を参照して述べたような幅閾値)が満たされるまで拡大、拡幅、設定または再設定することによって、各対象方位B1,B2…Bnについての各自の角度セクタ(たとえばFW,SWまたは他のもの)を設定し得る。
図8A~図8D、図10A~図10B、および図19~図24において、「合成出力CO」、すなわち、合成されてレンダリングされた/合成されたカメラビューとしての組合されたまたは合成されたサブシーンが、リモートディスプレイRD1のメインビュー(会議室ローカルディスプレイLDから受信したシーンを表わす)、およびネットワークインターフェイス10または10aの両方への引出線とともに示されており、会議室(ローカル)ディスプレイLDのテレビ会議クライアントは、USB周辺装置100から受信したビデオ信号を単一カメラビューとして「透過的に」取扱い、合成出力COをリモートクライアントまたはリモートディスプレイRD1およびRD2に伝えることを表わしている。すべてのサムネイルビューも合成出力COを示し得ることに留意すべきである。一般に、図19、図20および図22は図3A~図5Bに示す出席者の配列に対応しており、さらにもう1人の出席者が図21において図3A~図5Bに示す空席に座って参加している。
あるかに応じて、マスタビューは出席者の中で活発なスピーカーを示すように選択され得るか、または、しばしばサムネイルの選択によって、いくつかの場合ではローカルシーンを含む別の出席者に切替えられ得る。いくつかのシステムでは、ローカルシーンサムネイルは、各出席者が自身をカメラに対して位置決めして有用なシーンを提示し得るように、常に全体のディスプレイ内にあり続ける(この例を図19に示す)。
は、ローカルクライアントディスプレイLDおよび2つのリモートクライアントディスプレイRD1,RD2のメインビューおよびサムネイルビュー内に実質的に同時に提示(すなわち現在のビューとして提示)され得る。
、図19~図22の変形を示す。
十分広い視野を有する任意のカメラを含む。
レンディング、アンチエイリアシング、ノードベースの合成、キーフレーミング、レイヤベースの合成、ネスティング合成または複合、ディープ画像合成(機能ベースであるかサンプルベースであるかにかかわらず、色、不透明度、およびディープデータを用いる深度を用いる)といった技術を含む。合成は、各々がビデオストリームを含むサブシーンの動作および/またはアニメーションを含む進行中のプロセスであり、たとえば、全体のステージシーン内のさまざまなフレーム、ウインドウ、およびサブシーンの各々が、それらが全体のステージシーンとして移動し、移行し、ブレンドされ、または他の方法で合成されるにつれて異なる進行中のビデオストリームを表示し得る。本明細書において使用する合成は、1つ以上のウインドウのための1つ以上のオフスクリーンバッファを有する合成ウインドウマネージャ、またはスタッキングウインドウマネージャを使用してもよい。任意のオフスクリーンバッファまたはディスプレイメモリコンテンツが二重もしくは三重にバッファリングされてもよいし、またはその他の方法でバッファリングされてもよい。合成はさらに、2Dおよび3Dアニメーション効果の適用、ブレンディング、フェージング、スケーリング、ズーミング、回転、複製、曲げ、捩じれ、シャフリング、ブラーリング、ドロップシャドー、グロー、プレビュー、およびアニメーションの追加といった、バッファリングされたウインドウまたはディスプレイメモリウインドウの一方または両方に対する処理を含み得る。合成はさらに、ベクトル指向のグラフィカル要素またはピクセルもしくはボクセル指向のグラフィカル要素にこれらを適用することを含み得る。合成は、タッチ、マウスオーバー、ホバーまたはクリックするとポップアッププレビューをレンダリングすること、背景に対していくつかのウインドウを再配列してタッチ、マウスオーバー、ホバーまたはクリックによって選択を可能にすることによるウインドウ切替、およびフリップ切替、カバー切替、リング切替、露光切替などを含み得る。本明細書に記載のように、フェージング、スライディング、成長または縮小、およびこれらの組合せなどのさまざまな視覚移行が当該ステージ上で用いられ得る。本明細書において使用する「移行」は、必要な合成ステップを含む。
ログラム命令を実行するプロセッサ(もしくは複数のプロセッサもしくは回路もしくは回路の集合、たとえばモジュール)、またはメモリもしくは他の非一時的なコンピュータ読取可能記憶媒体に記憶されたモジュールを含む。本明細書に開示されるさまざまな機能はそのようなプログラム命令において具体化されてもよいが、開示される機能の一部またはすべては代わりにコンピュータシステムの特定用途向け回路(たとえばASICまたはFPGA)において実現されてもよい。コンピュータシステムが複数のコンピューティングデバイスを含む場合、これらのデバイスは同じ場所に配置されてもよいが、そのように配置されなくてもよい。開示される方法およびタスクの結果は、ソリッドステートメモリチップおよび/または磁気ディスクといった物理的記憶装置を異なる状態に変換することによって永続的に記憶されてもよい。
Claims (40)
- ビデオ信号を合成して出力する方法であって、
実質的に90度以上の水平画角を有するワイドカメラからキャプチャされた、実質的に2.4:1以上のアスペクト比を有するパノラマビデオ信号を記録することと、
前記ワイドカメラから各自の対象方位において少なくとも2つのサブシーンビデオ信号をサブサンプリングすることと、
前記少なくとも2つのサブシーンビデオ信号を並べて合成して、実質的に2:1以下のアスペクト比を有するステージシーンビデオ信号を形成することとを備え、前記ステージシーンビデオ信号の領域の80%よりも大きい領域が前記パノラマビデオ信号からサブサンプリングされ、さらに、
単一カメラビデオ信号としてフォーマットされる前記ステージシーンビデオ信号を出力することを備える、方法。 - 前記パノラマビデオ信号からの各自の対象方位において追加のサブシーンビデオ信号をサブサンプリングすることと、
前記少なくとも2つのサブシーンビデオ信号を、少なくとも1つの前記追加のサブシーンビデオ信号とともに合成して、複数の並んだサブシーンビデオ信号を含む、実質的に2:1以下のアスペクト比を有するステージシーンビデオ信号を形成することとをさらに備える、請求項1に記載の方法。 - 少なくとも2つのサブシーンビデオ信号を少なくとも1つの前記追加のサブシーンビデオ信号とともに合成してステージシーンビデオ信号を形成することは、
前記少なくとも2つのサブシーンビデオ信号の少なくとも1つを置換することによって少なくとも1つの前記追加のサブシーンビデオ信号を前記ステージシーンビデオ信号に移行させて、実質的に2:1以下のアスペクト比を有するステージシーンビデオ信号を形成することを含む、請求項2に記載の方法。 - 各サブシーンビデオ信号には最小幅が割当てられ、前記ステージシーンビデオ信号への各自の移行が完了すると、各サブシーンビデオ信号は実質的にその最小幅以上で並べて合成されて前記ステージシーンビデオ信号を形成する、請求項3に記載の方法。
- 移行中の各自のサブシーンビデオ信号の合成幅は、前記合成幅が実質的にその対応する各自の最小幅以上になるまで、前記移行全体にわたって増加する、請求項4に記載の方法。
- 各サブシーンビデオ信号は、実質的にその最小幅以上で、かつ、各々が、すべての合成されたサブシーンビデオ信号の合計が前記ステージシーンビデオ信号の幅と実質的に等しい各自の幅で、並べて合成される、請求項4に記載の方法。
- 前記ステージシーンビデオ信号内のサブシーンビデオ信号の幅は、サブシーンビデオ信号に対応する少なくとも1つの対象方位において検出されたアクティビティ基準に従って変化するように合成されるのに対して、前記ステージシーンビデオ信号の幅は一定に保たれる、請求項6に記載の方法。
- 前記少なくとも2つのサブシーンビデオ信号を少なくとも1つの前記追加のサブシーンビデオ信号とともに合成してステージシーンビデオ信号を形成することは、
前記少なくとも2つのサブシーンビデオ信号の少なくとも1つの幅を、少なくとも1つの前記追加のサブシーンビデオ信号の幅に対応する量だけ縮小することによって、少なくとも1つの前記追加のサブシーンビデオ信号を前記ステージシーンビデオ信号に移行させ
ることを含む、請求項2に記載の方法。 - 各サブシーンビデオ信号には各自の最小幅が割当てられ、各サブシーンビデオ信号は、実質的にその対応する各自の最小幅以上で並べて合成されて前記ステージシーンビデオ信号を形成し、少なくとも1つの前記追加のサブシーンビデオ信号とともに、前記少なくとも2つのサブシーンビデオ信号の前記各自の最小幅の合計が前記ステージシーンビデオ信号の幅を超えると、前記少なくとも2つのサブシーンビデオ信号の少なくとも1つが前記ステージシーンビデオ信号から除去されるように移行する、請求項8に記載の方法。
- 前記ステージシーンビデオ信号から除去されるように移行する前記2つのサブシーンビデオ信号の前記少なくとも1つは、アクティビティ基準が最も以前に満たされた各自の対象方位に対応する、請求項9に記載の方法。
- 前記少なくとも2つのサブシーンビデオ信号および少なくとも1つの前記追加のサブシーンビデオ信号の各自の対象方位間の前記ワイドカメラに対する左から右への順序は、前記少なくとも2つのサブシーンビデオ信号が少なくとも1つの前記追加のサブシーンビデオ信号とともに合成されて前記ステージシーンビデオ信号を形成する際に保存される、請求項9に記載の方法。
- 前記パノラマビデオ信号からの各自の対象方位は、前記ワイドカメラに対する前記各自の対象方位において検出された選択基準に依存して選択され、さらに、
選択基準が真でなくなった後、その対応するサブシーンビデオ信号を前記ステージシーンビデオ信号から除去するように移行させることを備える、請求項1に記載の方法。 - 前記選択基準は、前記各自の対象方位において満たされたアクティビティ基準の存在を含み、さらに、
前記各自の対象方位において前記アクティビティ基準が満たされてからの時間をカウントすることを備え、前記各自の対象方位において前記アクティビティ基準が満たされた後の予め定められた期間、各自のサブシーン信号は前記ステージシーンビデオ信号から除去されるように移行する、請求項12に記載の方法。 - 前記パノラマビデオ信号から、実質的に8:1以上のアスペクト比の縮小したパノラマビデオ信号をサブサンプリングすることと、
前記少なくとも2つのサブシーンビデオ信号を前記縮小したパノラマビデオ信号とともに合成して、複数の並んだサブシーンビデオ信号と前記パノラマビデオ信号とを含む、実質的に2:1以下のアスペクト比を有するステージシーンビデオ信号を形成することとをさらに備える、請求項1に記載の方法。 - 前記少なくとも2つのサブシーンビデオ信号を前記縮小したパノラマビデオ信号とともに合成して、複数の並んだサブシーンビデオ信号と、前記複数の並んだサブシーンビデオ信号よりも高い前記パノラマビデオ信号とを含む、実質的に2:1以下のアスペクト比を有するステージシーンビデオ信号を形成することをさらに備え、前記パノラマビデオ信号は、前記ステージシーンビデオ信号の領域の1/5以下であり、前記ステージシーンビデオ信号の幅を実質的に横切って延びる、請求項14に記載の方法。
- テキストドキュメントからテキストビデオ信号をサブサンプリングすることと、
前記少なくとも2つのサブシーンビデオ信号の少なくとも1つを前記テキストビデオ信号に置換することによって、前記テキストビデオ信号を前記ステージシーンビデオ信号に移行させることとをさらに備える、請求項14に記載の方法。 - 保持基準に基づいて、前記少なくとも2つのサブシーンビデオ信号の少なくとも1つを、移行から保護される保護サブシーンビデオ信号として設定することをさらに備え、前記少なくとも2つのサブシーンビデオ信号の少なくとも1つを置換することによって少なくとも1つの前記追加のサブシーンビデオ信号を前記ステージシーンビデオ信号に移行させることは、保護されるサブシーン以外のサブシーンビデオ信号を移行させる、請求項3に記載の方法。
- 強調基準に基づいてサブシーン強調動作を設定することをさらに備え、前記少なくとも2つのサブシーンビデオ信号の少なくとも1つは、対応する強調基準に基づいて前記サブシーン強調動作に従って強調される、請求項1に記載の方法。
- センサから検知された基準に基づいてサブシーン参加者通知動作を設定することをさらに備え、ローカルリマインダ指標が、対応する検知された基準に基づいて前記通知動作に従って起動される、請求項1に記載の方法。
- 前記パノラマビデオ信号は実質的に8:1以上のアスペクト比を有し、実質的に360度の水平画角を有するワイドカメラからキャプチャされる、請求項1に記載の方法。
- ワイドビデオ信号内の対象方位においてサブシーンを追跡する方法であって、
音響センサアレイと実質的に90度以上の視野を観察するワイドカメラとを用いて、ある角度範囲を監視することと、
前記角度範囲内に検出された音響認識および視覚認識の少なくとも一方の局所化に沿って、第1の対象方位を識別することと、
前記第1の対象方位に沿って、前記ワイドカメラから第1のサブシーンビデオ信号をサブサンプリングすることと、
前記音響認識および前記視覚認識の少なくとも一方の信号特性に従って、前記第1のサブシーンビデオ信号の幅を設定することとを備える、方法。 - 前記信号特性は、前記音響認識および前記視覚認識の少なくとも一方の信頼レベルを表わしている、請求項21に記載の方法。
- 前記信号特性は、前記音響認識および前記視覚認識の少なくとも一方内に認識された特徴の幅を表わしている、請求項21に記載の方法。
- 前記信号特性は、前記第1の対象方位に沿って認識された人間の顔の概算幅に対応する、請求項23に記載の方法。
- 前記視覚認識の信号特性に従って幅が設定されない場合、予め定められた幅が、前記角度範囲内に検出された音響認識の局所化に沿って設定される、請求項23に記載の方法。
- 前記第1の対象方位は視覚認識によって求められ、前記第1のサブシーンビデオ信号の幅は前記視覚認識の信号特性に従って設定される、請求項21に記載の方法。
- 前記第1の対象方位は、前記角度範囲内に検出された音響認識に向けて方向付けられて識別され、さらに、
前記音響認識に近接した視覚認識を識別することを備え、前記第1のサブシーンビデオ信号の幅は、前記音響認識に近接した前記視覚認識の信号特性に従って設定される、請求項21に記載の方法。 - ワイドビデオ信号内の対象方位においてサブシーンを追跡する方法であって、
実質的に90度以上のワイドカメラ視野に対応する動画ビデオ信号を通してサブサンプリングウィンドウをスキャンすることと、
前記サブサンプリングウィンドウ内の候補方位を識別することとを備え、各対象方位は、前記サブサンプリングウィンドウ内に検出された視覚認識の局所化に対応しており、さらに、
前記候補方位を空間マップに記録することと、
音響認識のための音響センサアレイを用いて、前記ワイドカメラ視野に対応する角度範囲を監視することとを備える、方法。 - 前記空間マップに記録された1つの候補方位に近接して音響認識が検出されると、さらに、
実質的に前記1つの候補方位に対応するように第1の対象方位をスナップすることと、
前記第1の対象方位に沿って、前記ワイドカメラから第1のサブシーンビデオ信号をサブサンプリングすることとを備える、請求項28に記載の方法。 - 前記音響認識の信号特性に従って前記第1のサブシーンビデオ信号の幅を設定することをさらに備える、請求項29に記載の方法。
- 前記信号特性は、前記音響認識の信頼レベルを表わしている、請求項30に記載の方法。
- 前記信号特性は、前記音響認識および前記視覚認識の少なくとも一方内に認識された特徴の幅を表わしている、請求項30に記載の方法。
- 前記信号特性は、前記第1の対象方位に沿って認識された人間の顔の概算幅に対応する、請求項30に記載の方法。
- 前記視覚認識の信号特性に従って幅が設定されない場合、予め定められた幅が、前記角度範囲内に検出された音響認識の局所化に沿って設定される、請求項30に記載の方法。
- 対象方位においてサブシーンを追跡する方法であって、
実質的に90度以上のワイドカメラ視野に対応する動画ビデオ信号を記録することと、
音響認識のための音響センサアレイを用いて、前記ワイドカメラ視野に対応する角度範囲を監視することと、
前記角度範囲内に検出された音響認識に向けて方向付けられている第1の対象方位を識別することと、
前記第1の対象方位に従って、前記動画ビデオ信号内にサブサンプリングウィンドウを位置付けることと、
前記サブサンプリングウィンドウ内に検出された視覚認識を局所化することとを備える、方法。 - 実質的に前記視覚認識を中心とする前記ワイドカメラからキャプチャされた第1のサブシーンビデオ信号をサブサンプリングすることと、
前記視覚認識の信号特性に従って前記第1のサブシーンビデオ信号の幅を設定することとをさらに備える、請求項35に記載の方法。 - ワイドビデオ信号内の対象方位においてサブシーンを追跡する方法であって、
音響センサアレイと実質的に90度以上の視野を観察するワイドカメラとを用いて、ある角度範囲を監視することと、
各々が前記角度範囲内の局所化に向けて方向付けられている複数の対象方位を識別する
ことと、
前記対象方位に対応する記録された特性の空間マップを維持することと、
少なくとも1つの対象方位に実質的に沿って、前記ワイドカメラからサブシーンビデオ信号をサブサンプリングすることと、
前記少なくとも1つの対象方位に対応する記録された特性に従って、前記サブシーンビデオ信号の幅を設定することとを備える、方法。 - ワイドビデオ信号内の対象方位においてサブシーンを追跡する方法であって、
音響センサアレイと実質的に90度以上の視野を観察するワイドカメラとを用いて、ある角度範囲を監視することと、
各々が前記角度範囲内の局所化に向けて方向付けられている複数の対象方位を識別することと、
少なくとも1つの対象方位に実質的に沿って、前記ワイドカメラからサブシーンビデオ信号をサブサンプリングすることと、
少なくとも1つの認識基準に基づく閾値が満たされるまで前記サブシーンビデオ信号を拡大することによって、前記サブシーンビデオ信号の幅を設定することとを備える、方法。 - 局所化に対応する記録された特性の速度および方向の一方の変更に基づいて、各対象方位についての変更ベクトルを予測することと、
前記予測に基づいて各対象方位の位置を更新することとをさらに備える、請求項38に記載の方法。 - 局所化に対応する記録された特性の直近の位置に基づいて、局所化のための検索領域を予測することと、
前記予測に基づいて前記局所化の位置を更新することとをさらに備える、請求項38に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562141822P | 2015-04-01 | 2015-04-01 | |
US62/141,822 | 2015-04-01 | ||
JP2018502621A JP6966421B2 (ja) | 2015-04-01 | 2016-04-01 | 角度分離されたサブシーンの合成およびスケーリング |
PCT/US2016/025557 WO2016161288A1 (en) | 2015-04-01 | 2016-04-01 | Compositing and scaling angularly separated sub-scenes |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018502621A Division JP6966421B2 (ja) | 2015-04-01 | 2016-04-01 | 角度分離されたサブシーンの合成およびスケーリング |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022017369A true JP2022017369A (ja) | 2022-01-25 |
Family
ID=57007667
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018502621A Active JP6966421B2 (ja) | 2015-04-01 | 2016-04-01 | 角度分離されたサブシーンの合成およびスケーリング |
JP2021172415A Pending JP2022017369A (ja) | 2015-04-01 | 2021-10-21 | 角度分離されたサブシーンの合成およびスケーリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018502621A Active JP6966421B2 (ja) | 2015-04-01 | 2016-04-01 | 角度分離されたサブシーンの合成およびスケーリング |
Country Status (10)
Country | Link |
---|---|
US (3) | US10991108B2 (ja) |
EP (2) | EP3995892A1 (ja) |
JP (2) | JP6966421B2 (ja) |
CN (2) | CN114422738A (ja) |
AU (3) | AU2016242980B2 (ja) |
CA (1) | CA2981522A1 (ja) |
ES (1) | ES2906619T3 (ja) |
IL (3) | IL302194A (ja) |
SG (1) | SG11201708060YA (ja) |
WO (1) | WO2016161288A1 (ja) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6966421B2 (ja) | 2015-04-01 | 2021-11-17 | オウル・ラブズ・インコーポレイテッドOwl Labs, Inc. | 角度分離されたサブシーンの合成およびスケーリング |
US20170006219A1 (en) | 2015-06-30 | 2017-01-05 | Gopro, Inc. | Image stitching in a multi-camera array |
EP3326365B1 (en) * | 2015-07-31 | 2021-03-10 | Hsni, Llc | Virtual three dimensional video creation and management system and method |
US9992502B2 (en) | 2016-01-29 | 2018-06-05 | Gopro, Inc. | Apparatus and methods for video compression using multi-resolution scalable coding |
US10291910B2 (en) | 2016-02-12 | 2019-05-14 | Gopro, Inc. | Systems and methods for spatially adaptive video encoding |
US10484621B2 (en) | 2016-02-29 | 2019-11-19 | Gopro, Inc. | Systems and methods for compressing video content |
USD809044S1 (en) | 2016-03-01 | 2018-01-30 | Owl Labs, Inc. | Web camera |
CN109564376B (zh) * | 2016-03-10 | 2021-10-22 | 维斯比特股份有限公司 | 时间复用可编程视场成像 |
US10645362B2 (en) * | 2016-04-11 | 2020-05-05 | Gopro, Inc. | Systems, methods and apparatus for compressing video content |
US10163030B2 (en) | 2016-05-20 | 2018-12-25 | Gopro, Inc. | On-camera image processing based on image activity data |
US10462466B2 (en) | 2016-06-20 | 2019-10-29 | Gopro, Inc. | Systems and methods for spatially selective video coding |
US9638800B1 (en) | 2016-11-22 | 2017-05-02 | 4Sense, Inc. | Passive tracking system |
US9720086B1 (en) | 2016-11-22 | 2017-08-01 | 4Sense, Inc. | Thermal- and modulated-light-based passive tracking system |
US9798933B1 (en) | 2016-12-12 | 2017-10-24 | Logitech Europe, S.A. | Video conferencing system and related methods |
US10198862B2 (en) | 2017-01-23 | 2019-02-05 | Gopro, Inc. | Methods and apparatus for providing rotated spherical viewpoints |
EP3616196A4 (en) * | 2017-04-28 | 2021-01-20 | DTS, Inc. | AUDIO ENCODER WINDOW AND TRANSFORMATION IMPLEMENTATIONS |
CN108882018B (zh) | 2017-05-09 | 2020-10-20 | 阿里巴巴(中国)有限公司 | 虚拟场景中的视频播放、数据提供方法、客户端及服务器 |
US11442255B2 (en) | 2017-06-02 | 2022-09-13 | Owl Labs, Inc. | Wide angle lens and camera system for peripheral field of view imaging including eight lenses of ---++-++ or nine lenses of ----++-++ refractive powers |
JP7210188B2 (ja) * | 2017-08-31 | 2023-01-23 | キヤノン株式会社 | 情報処理システム、制御装置及び情報処理方法 |
US20190215464A1 (en) * | 2018-01-11 | 2019-07-11 | Blue Jeans Network, Inc. | Systems and methods for decomposing a video stream into face streams |
CN110351607B (zh) | 2018-04-04 | 2022-01-14 | 阿里巴巴(中国)有限公司 | 一种全景视频场景切换的方法、计算机存储介质及客户端 |
CN109308686B (zh) * | 2018-08-16 | 2022-06-24 | 北京市商汤科技开发有限公司 | 一种鱼眼图像处理方法及装置、设备和存储介质 |
US11636708B2 (en) * | 2019-01-04 | 2023-04-25 | Gopro, Inc. | Face detection in spherical images |
US10992902B2 (en) * | 2019-03-21 | 2021-04-27 | Disney Enterprises, Inc. | Aspect ratio conversion with machine learning |
JP2020202503A (ja) * | 2019-06-11 | 2020-12-17 | キヤノン株式会社 | 撮像装置、コンピュータプログラムおよび記憶媒体 |
CN110428184A (zh) * | 2019-08-06 | 2019-11-08 | 深圳前海微众银行股份有限公司 | 待办事项分发方法、装置、设备及计算机可读存储介质 |
US11258982B2 (en) | 2019-08-16 | 2022-02-22 | Logitech Europe S.A. | Video conference system |
US11095467B2 (en) | 2019-08-16 | 2021-08-17 | Logitech Europe S.A. | Video conference system |
US11088861B2 (en) | 2019-08-16 | 2021-08-10 | Logitech Europe S.A. | Video conference system |
US11038704B2 (en) | 2019-08-16 | 2021-06-15 | Logitech Europe S.A. | Video conference system |
US10778941B1 (en) | 2019-09-27 | 2020-09-15 | Plantronics, Inc. | System and method of dynamic, natural camera transitions in an electronic camera |
US11012249B2 (en) | 2019-10-15 | 2021-05-18 | Microsoft Technology Licensing, Llc | Content feature based video stream subscriptions |
TWI749391B (zh) | 2019-10-30 | 2021-12-11 | 緯創資通股份有限公司 | 視訊會議系統以及視訊會議方法 |
US11579913B2 (en) * | 2019-12-18 | 2023-02-14 | Vmware, Inc. | System and method for optimizing network topology in a virtual computing environment |
US11095867B1 (en) | 2020-02-13 | 2021-08-17 | Fujifilm Business Innovation Corp. | Saliency prediction using part affinity fields in videos |
US10972655B1 (en) | 2020-03-30 | 2021-04-06 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
US10951858B1 (en) | 2020-03-30 | 2021-03-16 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
US10904446B1 (en) | 2020-03-30 | 2021-01-26 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
US10965908B1 (en) | 2020-03-30 | 2021-03-30 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
CN111462023B (zh) * | 2020-03-31 | 2023-05-23 | 上海大学 | 一种图像纹理线条矢量化系统和方法 |
WO2022031872A1 (en) * | 2020-08-04 | 2022-02-10 | Owl Labs Inc. | Designated view within a multi-view composited webcam signal |
CN114079733A (zh) * | 2020-08-12 | 2022-02-22 | 茂傑国际股份有限公司 | 多功能摄影装置 |
WO2022032729A1 (zh) * | 2020-08-14 | 2022-02-17 | 广东思锐光学股份有限公司 | 一种具有内置变形镜头的移动终端 |
TWI750967B (zh) * | 2020-08-19 | 2021-12-21 | 信驊科技股份有限公司 | 適用於具廣角網路攝影機之視訊會議系統之影像顯示方法 |
CN114079745A (zh) | 2020-08-19 | 2022-02-22 | 信骅科技股份有限公司 | 适用于具广角网络摄影机的视频会议系统的图像显示方法 |
US11736801B2 (en) | 2020-08-24 | 2023-08-22 | Owl Labs Inc. | Merging webcam signals from multiple cameras |
CN111970474B (zh) * | 2020-08-28 | 2022-06-21 | 北京容联易通信息技术有限公司 | 一种多路视频的智能混屏方法和系统 |
JP2022040434A (ja) * | 2020-08-31 | 2022-03-11 | 株式会社リコー | 通信端末、画像通信システム、画像表示方法およびプログラム |
US11082661B1 (en) | 2020-09-25 | 2021-08-03 | Microsoft Technology Licensing, Llc | Virtual conference view for video calling |
US11882163B2 (en) * | 2020-09-29 | 2024-01-23 | Gn Audio A/S | System and method for visual and auditory communication using cloud communication |
CN112802248A (zh) * | 2020-12-25 | 2021-05-14 | 贵州宇特智能科技有限公司 | 一种人脸识别门禁设备及门禁控制系统 |
CN114764890A (zh) * | 2020-12-30 | 2022-07-19 | 富泰华工业(深圳)有限公司 | 人行通道环境评估方法、装置及电子设备 |
US20220353096A1 (en) * | 2021-04-28 | 2022-11-03 | Zoom Video Communications, Inc. | Conference Gallery View Intelligence System |
US11736660B2 (en) | 2021-04-28 | 2023-08-22 | Zoom Video Communications, Inc. | Conference gallery view intelligence system |
US11843898B2 (en) | 2021-09-10 | 2023-12-12 | Zoom Video Communications, Inc. | User interface tile arrangement based on relative locations of conference participants |
US11882383B2 (en) | 2022-01-26 | 2024-01-23 | Zoom Video Communications, Inc. | Multi-camera video stream selection for in-person conference participants |
WO2023191814A1 (en) * | 2022-04-01 | 2023-10-05 | Hewlett-Packard Development Company, L.P. | Audience configurations of audiovisual signals |
WO2024028843A2 (en) * | 2022-08-05 | 2024-02-08 | Huddly As | Systems and methods for framing meeting environments and participants |
CN115314684B (zh) * | 2022-10-10 | 2022-12-27 | 中国科学院计算机网络信息中心 | 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 |
CN115633248B (zh) * | 2022-12-22 | 2023-03-31 | 浙江宇视科技有限公司 | 多场景协同检测方法与系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216951A (ja) * | 2001-12-03 | 2003-07-31 | Microsoft Corp | 複数のキューを使用する複数の個人の自動検出および追跡の方法、システムおよびコンピュータ可読媒体 |
US20040254982A1 (en) * | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
US20040263636A1 (en) * | 2003-06-26 | 2004-12-30 | Microsoft Corporation | System and method for distributed meetings |
JP2005341015A (ja) * | 2004-05-25 | 2005-12-08 | Hitachi Hybrid Network Co Ltd | 議事録作成支援機能を有するテレビ会議システム |
JP2007124149A (ja) * | 2005-10-26 | 2007-05-17 | T & D:Kk | 無線通信装置および無線通信システム |
JP2009182980A (ja) * | 2009-04-06 | 2009-08-13 | Ricoh Co Ltd | 会議画像再生装置および会議画像再生方法 |
JP2009278568A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 画像処理装置および画像処理方法 |
JP2013115527A (ja) * | 2011-11-28 | 2013-06-10 | Hitachi Consumer Electronics Co Ltd | テレビ会議システム及びテレビ会議方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05122689A (ja) | 1991-10-25 | 1993-05-18 | Seiko Epson Corp | テレビ会議システム |
JPH10145763A (ja) * | 1996-11-15 | 1998-05-29 | Mitsubishi Electric Corp | 会議システム |
JPH11331827A (ja) | 1998-05-12 | 1999-11-30 | Fujitsu Ltd | テレビカメラ装置 |
US7206460B2 (en) * | 2001-11-01 | 2007-04-17 | General Electric Company | Method for contrast matching of multiple images of the same object or scene to a common reference image |
US20040008423A1 (en) * | 2002-01-28 | 2004-01-15 | Driscoll Edward C. | Visual teleconferencing apparatus |
US7298392B2 (en) | 2003-06-26 | 2007-11-20 | Microsoft Corp. | Omni-directional camera design for video conferencing |
US7852369B2 (en) * | 2002-06-27 | 2010-12-14 | Microsoft Corp. | Integrated design for omni-directional camera and microphone array |
JP2004248125A (ja) * | 2003-02-17 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像切り替え装置、映像切り替え方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 |
US20050099492A1 (en) * | 2003-10-30 | 2005-05-12 | Ati Technologies Inc. | Activity controlled multimedia conferencing |
US7768544B2 (en) | 2005-01-21 | 2010-08-03 | Cutler Ross G | Embedding a panoramic image in a video stream |
JP4257308B2 (ja) * | 2005-03-25 | 2009-04-22 | 株式会社東芝 | 利用者識別装置、利用者識別方法および利用者識別プログラム |
JP2007158860A (ja) * | 2005-12-06 | 2007-06-21 | Canon Inc | 撮影システム、撮影装置、画像切替装置、およびデータ保持装置 |
US7932919B2 (en) | 2006-04-21 | 2011-04-26 | Dell Products L.P. | Virtual ring camera |
US8024189B2 (en) * | 2006-06-22 | 2011-09-20 | Microsoft Corporation | Identification of people using multiple types of input |
JP4228010B2 (ja) * | 2006-09-29 | 2009-02-25 | Necエンジニアリング株式会社 | テレビ会議装置 |
US8289363B2 (en) | 2006-12-28 | 2012-10-16 | Mark Buckler | Video conferencing |
US8526632B2 (en) * | 2007-06-28 | 2013-09-03 | Microsoft Corporation | Microphone array for a camera speakerphone |
CN101080000A (zh) * | 2007-07-17 | 2007-11-28 | 华为技术有限公司 | 视频会议中显示发言人的方法、系统、服务器和终端 |
US8237769B2 (en) | 2007-09-21 | 2012-08-07 | Motorola Mobility Llc | System and method of videotelephony with detection of a visual token in the videotelephony image for electronic control of the field of view |
US8180112B2 (en) * | 2008-01-21 | 2012-05-15 | Eastman Kodak Company | Enabling persistent recognition of individuals in images |
US9584710B2 (en) * | 2008-02-28 | 2017-02-28 | Avigilon Analytics Corporation | Intelligent high resolution video system |
US8358328B2 (en) * | 2008-11-20 | 2013-01-22 | Cisco Technology, Inc. | Multiple video camera processing for teleconferencing |
NO331287B1 (no) * | 2008-12-15 | 2011-11-14 | Cisco Systems Int Sarl | Fremgangsmate og anordning for gjenkjenning av ansikter i en videostrom |
US8233026B2 (en) * | 2008-12-23 | 2012-07-31 | Apple Inc. | Scalable video encoding in a multi-view camera system |
KR100953509B1 (ko) * | 2009-05-28 | 2010-04-20 | (주)해든브릿지 | 다자간 영상 통신 방법. |
JP5279654B2 (ja) | 2009-08-06 | 2013-09-04 | キヤノン株式会社 | 画像追尾装置、画像追尾方法、及びコンピュータプログラム |
US9154730B2 (en) * | 2009-10-16 | 2015-10-06 | Hewlett-Packard Development Company, L.P. | System and method for determining the active talkers in a video conference |
JP2012099906A (ja) | 2010-10-29 | 2012-05-24 | Jvc Kenwood Corp | サムネイル表示装置 |
US9055189B2 (en) * | 2010-12-16 | 2015-06-09 | Microsoft Technology Licensing, Llc | Virtual circular conferencing experience using unified communication technology |
US9369667B2 (en) * | 2012-04-11 | 2016-06-14 | Jie Diao | Conveying gaze information in virtual conference |
US20140114664A1 (en) | 2012-10-20 | 2014-04-24 | Microsoft Corporation | Active Participant History in a Video Conferencing System |
KR102045893B1 (ko) * | 2013-02-06 | 2019-11-18 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
EP2767952A3 (en) | 2013-02-15 | 2017-11-01 | Samsung Electronics Co., Ltd. | Method and electronic device for processing object |
US9756288B2 (en) * | 2013-04-10 | 2017-09-05 | Thomson Licensing | Tiering and manipulation of peer's heads in a telepresence system |
JP6337888B2 (ja) * | 2013-04-30 | 2018-06-06 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
KR102056193B1 (ko) * | 2014-01-22 | 2019-12-16 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
US9961119B2 (en) * | 2014-04-22 | 2018-05-01 | Minerva Project, Inc. | System and method for managing virtual conferencing breakout groups |
US9686605B2 (en) * | 2014-05-20 | 2017-06-20 | Cisco Technology, Inc. | Precise tracking of sound angle of arrival at a microphone array under air temperature variation |
JP6966421B2 (ja) | 2015-04-01 | 2021-11-17 | オウル・ラブズ・インコーポレイテッドOwl Labs, Inc. | 角度分離されたサブシーンの合成およびスケーリング |
-
2016
- 2016-04-01 JP JP2018502621A patent/JP6966421B2/ja active Active
- 2016-04-01 CN CN202111304450.6A patent/CN114422738A/zh active Pending
- 2016-04-01 CA CA2981522A patent/CA2981522A1/en active Pending
- 2016-04-01 EP EP21209838.8A patent/EP3995892A1/en not_active Withdrawn
- 2016-04-01 IL IL302194A patent/IL302194A/en unknown
- 2016-04-01 US US15/088,644 patent/US10991108B2/en active Active
- 2016-04-01 ES ES16774312T patent/ES2906619T3/es active Active
- 2016-04-01 CN CN201680031904.8A patent/CN107980221B/zh active Active
- 2016-04-01 WO PCT/US2016/025557 patent/WO2016161288A1/en active Application Filing
- 2016-04-01 SG SG11201708060YA patent/SG11201708060YA/en unknown
- 2016-04-01 AU AU2016242980A patent/AU2016242980B2/en active Active
- 2016-04-01 IL IL282492A patent/IL282492B2/en unknown
- 2016-04-01 EP EP16774312.9A patent/EP3278180B1/en active Active
- 2016-04-01 US US15/088,664 patent/US10636154B2/en active Active
-
2017
- 2017-10-01 IL IL254812A patent/IL254812B/en active IP Right Grant
-
2019
- 2019-11-08 AU AU2019261804A patent/AU2019261804B2/en active Active
-
2020
- 2020-04-27 US US16/859,099 patent/US20210082131A1/en active Pending
-
2021
- 2021-10-21 JP JP2021172415A patent/JP2022017369A/ja active Pending
-
2022
- 2022-04-05 AU AU2022202258A patent/AU2022202258A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216951A (ja) * | 2001-12-03 | 2003-07-31 | Microsoft Corp | 複数のキューを使用する複数の個人の自動検出および追跡の方法、システムおよびコンピュータ可読媒体 |
US20040254982A1 (en) * | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
US20040263636A1 (en) * | 2003-06-26 | 2004-12-30 | Microsoft Corporation | System and method for distributed meetings |
JP2005341015A (ja) * | 2004-05-25 | 2005-12-08 | Hitachi Hybrid Network Co Ltd | 議事録作成支援機能を有するテレビ会議システム |
JP2007124149A (ja) * | 2005-10-26 | 2007-05-17 | T & D:Kk | 無線通信装置および無線通信システム |
JP2009278568A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 画像処理装置および画像処理方法 |
JP2009182980A (ja) * | 2009-04-06 | 2009-08-13 | Ricoh Co Ltd | 会議画像再生装置および会議画像再生方法 |
JP2013115527A (ja) * | 2011-11-28 | 2013-06-10 | Hitachi Consumer Electronics Co Ltd | テレビ会議システム及びテレビ会議方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2016242980B2 (en) | 2019-08-08 |
JP6966421B2 (ja) | 2021-11-17 |
EP3995892A1 (en) | 2022-05-11 |
SG11201708060YA (en) | 2017-10-30 |
US20160292884A1 (en) | 2016-10-06 |
IL282492A (en) | 2021-06-30 |
AU2019261804B2 (en) | 2022-01-06 |
EP3278180A4 (en) | 2018-12-26 |
IL282492B1 (en) | 2023-05-01 |
US10991108B2 (en) | 2021-04-27 |
US10636154B2 (en) | 2020-04-28 |
IL254812B (en) | 2021-05-31 |
IL282492B2 (en) | 2023-09-01 |
AU2019261804A1 (en) | 2019-11-28 |
CN107980221A (zh) | 2018-05-01 |
AU2022202258A1 (en) | 2022-04-21 |
CN107980221B (zh) | 2021-10-29 |
EP3278180B1 (en) | 2021-11-24 |
WO2016161288A1 (en) | 2016-10-06 |
IL302194A (en) | 2023-06-01 |
IL254812A0 (en) | 2017-12-31 |
EP3278180A1 (en) | 2018-02-07 |
US20210082131A1 (en) | 2021-03-18 |
US20160295128A1 (en) | 2016-10-06 |
JP2018521593A (ja) | 2018-08-02 |
AU2016242980A1 (en) | 2018-02-08 |
CA2981522A1 (en) | 2016-10-06 |
CN114422738A (zh) | 2022-04-29 |
ES2906619T3 (es) | 2022-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6966421B2 (ja) | 角度分離されたサブシーンの合成およびスケーリング | |
US11729342B2 (en) | Designated view within a multi-view composited webcam signal | |
US20220070371A1 (en) | Merging webcam signals from multiple cameras | |
US8773498B2 (en) | Background compression and resolution enhancement technique for video telephony and video conferencing | |
US9392226B2 (en) | Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions | |
EP2047422B1 (en) | Method and system for producing seamless composite images having non-uniform resolution from a multi-imager | |
WO2019223158A1 (zh) | Vr图像生成方法、装置、计算机设备及存储介质 | |
CN106470313B (zh) | 影像产生系统及影像产生方法 | |
US11477393B2 (en) | Detecting and tracking a subject of interest in a teleconference | |
EP4106326A1 (en) | Multi-camera automatic framing | |
WO2024028843A2 (en) | Systems and methods for framing meeting environments and participants | |
WO2024068243A1 (en) | Video framing based on tracked characteristics of meeting participants | |
CN116931795A (zh) | 视频会议画面展示方法、装置、交互智能平板和存储介质 | |
JP2022158615A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN116188730A (zh) | 图像合成方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230414 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240219 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240416 |