JP2018133802A

JP2018133802A - ビデオ内のイメージを処理する方法及びシステム

Info

Publication number: JP2018133802A
Application number: JP2018021582A
Authority: JP
Inventors: 延祚陳; Yen-Tso Chen
Original assignee: Chen Yen Tso
Current assignee: Chen Yen Tso
Priority date: 2017-02-17
Filing date: 2018-02-09
Publication date: 2018-08-23
Also published as: TW201832564A; TWI644565B; CN108462854A; US10257464B2; US20180241968A1

Abstract

【課題】ビデオ内のイメージを処理する方法を提供する。【解決手段】本発明は、ビデオ内のイメージを処理する方法を提供する。方法は、複数のビデオ装置が、複数の第１のビデオイメージをサーバに提供した後、第２のビデオイメージに関連した要求メッセージをサーバに提出するステップと、複数のビデオ装置がサーバから第２のビデオイメージを受信し、表示するステップとを含み、サーバは、受信した複数の第１のビデオイメージに対してトランスコーディング処理を少なくとも１回実行して第２のビデオイメージを取得し、サーバと複数のビデオ装置との間に階層構造が存在し、第２のビデオイメージは複数の第１のビデオイメージを含み、第２のビデオイメージ内の複数の第１のビデオイメージの画面レイアウトが制御端末により制御される。【選択図】図１

Description

本発明は、ビデオ内のイメージを処理する方法及びシステムに関し、より詳細には、送信帯域幅を節減することができるビデオ内のイメージを処理する方法及びシステムに関する。

技術の進化と共に、生活における多くの行動様式が大幅に変化してきている。例えば、異なる場所にいる人々が、関連装置の協働を介して同じ場所にいるかのようにビデオ会議を行い、人々の間の距離を縮め、言葉で言い表せないものをインターネットを介してより正確に伝達することがある。

一般に、２つ以上の端末のユーザは、ビデオ会議を行うためにインターネット上の現在のビデオサービスでは同じプラットフォームを使用するべきであり、次いで、プラットフォームにログインした後にインターネット上でビデオサービスを体験する。しかしながら、複数の端末のユーザが上述されたインターネット上のビデオサービスを体験しているとき、通常、自分自身のビデオイメージと別のユーザのビデオイメージとが単一のビデオ装置上に表示されることがあり、しかし、すべてのユーザのビデオイメージはインターネット上のビデオ会議を介して同時に表示されないことがある。例えば、多国籍企業が国際ビデオ会議を行っているとき、インターネット上の現在のビデオサービスは議長のビデオイメージ及び自分自身のビデオイメージのみ提供することがあり、全参加者のビデオイメージは利用できない。さらに、ユーザが複数のユーザのビデオイメージを同時に見たいとき、付加的な帯域幅がビデオイメージを送信することに占有される。したがって、従来技術に対する向上が必要である。

したがって、本発明の目的は、複数のビデオイメージを送信するときの帯域幅を節減し、かつインターネット上のビデオサービスを利用するときの利便性を向上させる、制御端末により制御されるマルチ端末インターネットのビデオイメージサービスを提供することである。

本発明は、ビデオ内のイメージを処理する方法を開示し、当該方法は、複数のビデオ装置が、複数の第１のビデオイメージをサーバに提供した後、第２のビデオイメージに関連した要求メッセージを上記サーバに提出することと、上記複数のビデオ装置が、上記サーバから上記第２のビデオイメージを受信し、表示することと、を含み、上記サーバは、上記受信した複数の第１のビデオイメージに対するトランスコーディング処理を少なくとも１回実行して上記第２のビデオイメージを取得し、上記サーバと上記複数のビデオ装置との間に階層構造が存在し、上記第２のビデオイメージは上記複数の第１のビデオイメージを含み、上記第２のビデオイメージ内の上記複数の第１のビデオイメージの画面レイアウトが制御端末により制御される。

本発明は、ビデオ内のイメージを処理するシステムをさらに開示し、当該システムは、サーバと、複数の第１のビデオイメージを上記サーバに提供し、第２のビデオイメージに関連した要求メッセージを上記サーバに提出した後に上記サーバから上記第２のビデオイメージを受信し、表示する複数のビデオ装置と、を含み、上記サーバは、上記受信した複数の第１のビデオイメージに対するトランスコーディング処理を少なくとも１回実行して上記第２のビデオイメージを取得し、上記サーバと上記複数のビデオ装置との間に階層構造が存在し、上記第２のビデオイメージは上記複数の第１のビデオイメージを含み、上記第２のビデオイメージ内の上記複数の第１のビデオイメージの画面レイアウトが制御端末により制御される。

本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施形態の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。

本発明の一実施形態によるビデオイメージ処理システムの概略図である。本発明の一実施形態による第２のビデオイメージの画面レイアウトの概略図である。本発明の一実施形態による第２のビデオイメージの画面レイアウトの概略図である。本発明の一実施形態による第２のビデオイメージの画面レイアウトの概略図である。本発明の一実施形態による第２のビデオイメージの画面レイアウトの概略図である。本発明の一実施形態によるフローチャートの概略図である。本発明の一実施形態による別のビデオイメージ処理システムの概略図である。本発明の一実施形態による第２のビデオイメージの別の画面レイアウトの概略図である。

図１を参照されたい。図１は、本発明の一実施形態によるビデオイメージ処理システム１０の概略図である。ビデオイメージ処理システム１０は、サーバ１０２と、複数のビデオ装置１０４＿１〜１０４＿Ｎとを含み、ビデオ装置により捕捉されたイメージ及びオーディオメッセージを扱う。手短には、サーバ１０２とビデオ装置１０４＿１〜１０４＿Ｎとの間に階層構造が存在する。ビデオ装置１０４＿１〜１０４＿Ｎの各々は、第１のビデオイメージをサーバ１０２に提供する。第２のビデオイメージに関連した要求メッセージｍｓｇ＿ｒｅｑをサーバ１０２に提出し（proposing）た後、ビデオ装置１０４＿１〜１０４＿Ｎの各々は、サーバ１０２から第２のビデオイメージを受信し、表示する。インターネットビデオを有するとき、各ビデオ装置上にすべての他のビデオ装置により提供されたビデオイメージを提示するために、サーバ１０２がビデオ装置１０４＿１〜１０４＿Ｎのすべてからの第１のビデオイメージをビデオ装置１０４＿１〜１０４＿Ｎに同時に送信した場合、多くの帯域幅が占有されることになる。したがって、本発明の一実施形態のサーバ１０２は、受信した第１のビデオイメージのすべてを第２のビデオイメージにトランスコードし（transcodes）、第２のビデオイメージをビデオ装置１０４＿１〜１０４＿Ｎに送信して、帯域幅を節減する。

詳細には、ビデオ装置１０４＿１〜１０４＿Ｎにより送信される第１のビデオイメージは、それぞれ、第１の帯域幅を占有する。ビデオ装置１０４＿１〜１０４＿Ｎが第１のビデオイメージをサーバ１０２に同時に送信し、第２のビデオイメージに関連した要求メッセージｍｓｇ＿ｒｅｑをサーバ１０２に提出した場合、サーバ１０２は、ビデオ装置１０４＿１〜１０４＿Ｎからの第１のビデオイメージを第２のビデオイメージにトランスコードし、第２のビデオイメージをビデオ装置１０４＿１〜１０４＿Ｎに送信する。この環境下において、第２のビデオイメージの第２の帯域幅は、第１の帯域幅のすべての合計より小さく、ゆえに、送信のとき、占有される帯域幅が大幅に低減される。換言すると、任意のビデオ装置が、ビデオ装置１０４＿１〜１０４＿Ｎのビデオイメージに関連した要求メッセージｍｓｇ＿ｒｅｑをサーバ１０２に提出したとき、サーバ１０２は、ビデオ装置１０４＿１〜１０４＿Ｎの各々からの第１のビデオイメージをビデオ装置１０４＿１〜１０４＿Ｎの各々に送信するのでなく、トランスコードした後の第２のビデオイメージをビデオ装置１０４＿１〜１０４＿Ｎのすべてに送信することのみ必要であり、これにより、サーバ１０２の送信帯域幅、システム負荷を効率的に低減させ、リスク分散の効果を達成する。

上述された状況下において、第２のビデオイメージは、複数の第１のビデオイメージを含む。第２のビデオイメージの画面レイアウトに関して、続いて図２Ａ乃至図２Ｄを参照されたい。この実施形態において、サーバ１０２は、任意のビデオ装置を、第２のビデオイメージの画面レイアウトを制御するための制御端末として決定することができる。例えば、図２Ａに示されるように、ビデオ装置１０４＿２が制御端末であるとき、ビデオ装置１０４＿２は、そのイメージを表示するように第２のビデオイメージのプライマリ（primary）ビデオ画面Ｐを制御し、他のビデオ装置のビデオイメージの各々をセカンダリ（secondary）ビデオ画面Ｓ上に割り振り、あるいはランダムに表示することができる。あるいは、図２Ｂに示されるように、ビデオ装置１０４＿２はまた、すべてのビデオ装置１０４＿１〜１０４＿Ｎのビデオイメージを等しく表示するように制御してもよい。例えば、４つのビデオ装置のビデオイメージが同時に表示される必要があるとき、２×２グリッドの画面レイアウトが表示のためにセカンダリ画面Ｓに配置される。あるいは、図２Ｃに示されるように、９つのビデオ装置のビデオイメージが同時に表示される必要があるとき、３×３グリッドの画面レイアウトが表示のためにセカンダリ画面Ｓに配置される。さらに、制御端末は、初め、ビデオ装置１０４＿１〜１０４＿Ｎからのビデオイメージをトランスコードし（すなわち、図２Ａから図２Ｃまで）、次いで、２回目、他のビデオ装置からアップロードされたビデオイメージを用いてトランスコードして、図２Ｄに示される第２のビデオイメージを取得してもよい。したがって、第２のビデオイメージは、トランスコードなしのビデオイメージとトランスコードされたビデオイメージとを同時に含んでもよく、第２のビデオイメージは、複数のセカンダリ画面Ｓの画面レイアウトを用いて提示されてもよい。確かに、システム又はユーザ要件に従い、制御端末は、ビデオ装置１０４＿１〜１０４＿Ｎからのビデオイメージを１回、２回、又は３回トランスコードし、次いで、トランスコードされた第２のビデオイメージを、第２のビデオイメージについて提出したビデオ装置に送信してもよい。すなわち、制御端末により実行される、ビデオ装置１０４＿１〜１０４＿Ｎからの受信したイメージのトランスコーディング処理の回数は、１回又は２回に限定されず、トランスコーディング処理の回数及び表示のための第２のビデオイメージの画面レイアウトは、要件により制御されてもよい。

とりわけ、サーバ１０２が任意のビデオ装置を制御端末として決定するとき、決定されたビデオ装置は、第２のビデオイメージの画面レイアウトを制御するだけでなく、さらに他のビデオ装置を制御端末として割り当ててもよい。換言すると、制御端末は、その制御権を他のビデオ装置に移転することを選択してもよい。このように、本発明の実施形態のビデオイメージ処理システム１０のサーバ１０２及び制御権を有するビデオ装置は、第２のビデオイメージの画面レイアウトを決定して、インターネット上のビデオサービスのイメージを割り振ることの自由度を向上させる。

例えば、多国籍企業が国際ビデオ会議を開こうとしているとき、各支社がインターネットビデオサーバに接続された後、本社が会議をホストするために（又は、システムデフォルトで）制御端末とみなされる。次いで、インターネットビデオサーバが各支社からのビデオイメージをトランスコードした後、各支社からのビデオイメージの画面レイアウトが本社（制御端末）により決定される。すなわち、本社（制御端末）は、プライマリビデオ画面に議長のビデオイメージを配置し、セカンダリビデオ画面に各支社のビデオイメージを配置してもよい。このように、各支社から会議に参加したスタッフが、ビデオイメージ処理システムを介して交流及びコミュニケーションを行うことができる。

ビデオイメージ処理システム１０の一動作方法を、図３に示されるように、フローチャート３０に結論することができる。フローチャート３０は、ビデオイメージを処理することに利用されてもよく、下記のステップを含む。

ステップ３００：開始する。

ステップ３０２：ビデオ装置１０４＿１〜１０４＿Ｎが第１のビデオイメージをサーバ１０２に提供した後、ビデオ装置１０４＿１〜１０４＿Ｎが第２のビデオイメージに関連した要求メッセージをサーバ１０２に提出する。

ステップ３０４：ビデオ装置１０４＿１〜１０４＿Ｎが、サーバ１０２から第２のビデオイメージを受信し、表示する。

ステップ３０６：終了する。

フローチャート３０の詳細な説明については上述を参照されたく、簡潔さのためここでは述べられない。

さらに、インターネット上のビデオサービスをより完全に提供するために、本発明は、図４に示されるように、より多くのユーザがインターネット上のビデオ会議に参加してコミュニケーション及び交流を同時に行うことができるようなビデオイメージ処理システム４０をさらに提供する。図１におけるビデオイメージ処理システム１０と異なり、ビデオイメージ処理システム４０は、サーバのすべてからのビデオイメージをトランスコードするために、ビデオイメージ処理システム１０のオリジナルの階層構造下の複数のサーバ４０２＿１〜４０２＿Ｎからビデオイメージを受信する地域サーバ４０６をさらに含む。すなわち、ビデオ装置４０４＿１１〜４０４＿ＭＮのビデオイメージは、サーバ４０２＿１〜４０２＿Ｍによりトランスコードされ、次いで、地域サーバ４０６により、単一の帯域幅を占有するビデオイメージにトランスコードされ、各ビデオ装置に送信する。そのようなものとして、大量のユーザがインターネットビデオを使用しているとき、ユーザのうちすべて又は一部のビデオイメージを見ることができ、あまり大きく送信帯域幅が占有されず、このことは、地域サーバ４０６及びサーバ４０２＿１〜４０２＿Ｍの負荷を低減させ、リスク分散の目的を達成する。同様に、地域サーバ４０６もまた、トランスコーディングの後に画面レイアウトを実行するための制御端末としてビデオ装置４０４＿１１〜４０４＿ＭＮ又はサーバ４０２＿１〜４０２＿Ｍのうち任意のものを割り当ててもよい。例えば、図５を参照されたい。図５は、本発明の一実施形態による第２のビデオイメージの画面レイアウトの概略図である。サーバ４０２＿１が制御端末である（制御端末はまた、サーバのうち任意の１つ又は処理装置を有するビデオ装置のうち任意の１つであってもよいが、これに限定されない）とき、制御端末は、少なくとも１回のトランスコーディング処理を実行するようにビデオ装置４０４＿１１〜４０４＿ＭＮ及びサーバ４０２＿１〜４０２＿Ｍのすべてからのビデオイメージを制御する（すなわち、ただ１回のトランスコーディング処理を実行するように限定されず、複数回のトランスコーディング処理もまた適する）。したがって、一実施形態において、図５に示されるように、地域サーバ４０６によりトランスコードされた第２のビデオイメージは、ビデオ装置４０４＿１２、４０４＿３３（図４に図示されていない）のエンド端末のビデオイメージと、サーバ４０２＿２、４０２＿Ｍによりトランスコードされたビデオイメージとを含む。次いで、地域サーバ４０６は、トランスコードされた第２のビデオイメージを各々のサーバ及びビデオ装置に送信する。したがって、本発明のビデオイメージ処理システム４０は、あまり多くの帯域幅を占有しない環境下で制御端末により表示方法を制御するサーバ４０２＿１〜４０２＿Ｍ及び地域サーバ４０６を利用して、システム負荷を低減させ、リスク分散を達成し、これにより、より多くのユーザがより便利にインターネット上のビデオサービスに参加することができる。

別の一実施形態において、ユーザの量が大きいとき、異なる場所におけるユーザのビデオイメージは、そのサーバグループにアップロードされてもよく、次いで、異なる場所におけるサーバが、トランスコードされたビデオイメージをより上位のサーバ（すなわち、地域サーバ）に送信し、これにより、すべてのビデオ装置からのビデオイメージを、単一の帯域幅を占有するビデオイメージにトランスコードする。例えば、台湾の各県に位置する銀行が、インターネット上でビデオ会議を開こうとしている場合、すべての銀行支店が、台北サーバ、台中サーバ、高雄サーバなどの台湾地域サーバ（すなわち、地域サーバ）のグループに分割されてもよい。このように、ユーザは、本発明のビデオイメージ処理システムを利用して大量のユーザと共に同時にインターネット上でビデオ会議を体験することができ、ビデオイメージのトランスコーディングは、帯域幅を節減し、ビデオイメージ処理システムの実用性及び利便性を向上させる。

とりわけ、上記で述べられた実施形態は、本発明の概念を例示するために利用される。したがって、当業者は修正及び変更を行うことができ、本明細書に限定されない。例えば、画面レイアウトの割り振り方法は、制御端末によって決定されるだけでなく、さらにサーバにより決定されてもよく、トランスコーディング処理の回数は、１回又は２回に限定されない。階層構造に従い、地域サーバを設定することを除き、上位の処理装置が、本発明のビデオイメージ処理システムのサービス範囲及びユーザの量を拡大するために実現されてもよい。あるいは、本発明は、本明細書に限定されず、企業ビデオ会議及びリモート教育課程において利用でき、これは本発明の範囲に属する。

要約すると、本発明はビデオイメージ処理の方法及びシステムを提供し、上記方法及びシステムは、ビデオイメージをトランスコードして、複数のビデオイメージを送信するときの帯域幅を節減し、システム負荷を低減させてリスクを分散化し、インターネット上のビデオサービスの利便性を向上させることができる。

当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。

Claims

ビデオ内のイメージを処理する方法であって、
複数のビデオ装置が、複数の第１のビデオイメージをサーバに提供した後、第２のビデオイメージに関連した要求メッセージを前記サーバに提出することと、
前記複数のビデオ装置が、前記サーバから前記第２のビデオイメージを受信し、表示することと、
を含み、
前記サーバは、前記受信した複数の第１のビデオイメージに対するトランスコーディング処理を少なくとも１回実行して前記第２のビデオイメージを取得し、
前記サーバと前記複数のビデオ装置との間に階層構造が存在し、
前記第２のビデオイメージは前記複数の第１のビデオイメージを含み、前記第２のビデオイメージ内の前記複数の第１のビデオイメージの画面レイアウトが制御端末により制御される、
方法。
前記複数の第１のビデオイメージを送信することが複数の第１の帯域幅を必要とし、前記第２のビデオイメージを送信することが第２の帯域幅を必要とし、前記第２の帯域幅は前記複数の第１の帯域幅の合計より小さい、請求項１に記載の方法。
前記制御端末は前記複数のビデオ装置のうち任意のビデオ装置から選択される、請求項１に記載の方法。
前記画面レイアウトはプライマリビデオ画面と複数のセカンダリビデオ画面とを含む、請求項１に記載の方法。
前記画面レイアウトは複数のセカンダリビデオ画面を含む、請求項１に記載の方法。
ビデオ内のイメージを処理するシステムであって、
サーバと、
複数の第１のビデオイメージを前記サーバに提供し、第２のビデオイメージに関連した要求メッセージを前記サーバに提出した後に前記サーバから前記第２のビデオイメージを受信し、表示する複数のビデオ装置と、
を含み、
前記サーバは、前記受信した複数の第１のビデオイメージに対するトランスコーディング処理を少なくとも１回実行して前記第２のビデオイメージを取得し、
前記サーバと前記複数のビデオ装置との間に階層構造が存在し、
前記第２のビデオイメージは前記複数の第１のビデオイメージを含み、前記第２のビデオイメージ内の前記複数の第１のビデオイメージの画面レイアウトが制御端末により制御される、
システム。
前記複数の第１のビデオイメージを送信することが複数の第１の帯域幅を必要とし、前記第２のビデオイメージを送信することが第２の帯域幅を必要とし、前記第２の帯域幅は前記複数の第１の帯域幅の合計より小さい、請求項６に記載のシステム。
前記制御端末は前記複数のビデオ装置のうち任意のビデオ装置から選択される、請求項６に記載のシステム。
前記画面レイアウトはプライマリビデオ画面と複数のセカンダリビデオ画面とを含む、請求項６に記載のシステム。
前記画面レイアウトは複数のセカンダリビデオ画面を含む、請求項６に記載のシステム。