JP2016535545A - ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体 - Google Patents

ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2016535545A
JP2016535545A JP2016541813A JP2016541813A JP2016535545A JP 2016535545 A JP2016535545 A JP 2016535545A JP 2016541813 A JP2016541813 A JP 2016541813A JP 2016541813 A JP2016541813 A JP 2016541813A JP 2016535545 A JP2016535545 A JP 2016535545A
Authority
JP
Japan
Prior art keywords
frame
video
frame number
divided
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016541813A
Other languages
English (en)
Other versions
JP6195674B2 (ja
Inventor
フェイユン リー
フェイユン リー
ジーグアン ガオ
ジーグアン ガオ
ミン ジャオ
ミン ジャオ
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2016535545A publication Critical patent/JP2016535545A/ja
Application granted granted Critical
Publication of JP6195674B2 publication Critical patent/JP6195674B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6375Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6583Acknowledgement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • General Engineering & Computer Science (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

本発明はネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体に関する。該方法は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させるステップと、前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含む。【選択図】図1

Description

本発明は通信技術分野に関し、より具体的には、ネットワーク環境に基づく映像画質の調整方法及び装置に関する。
技術の発展に伴い、スマートカメラは次第にユーザの日常生活に応用されている。一般的には、スマートカメラが家での映像画面をユーザの移動端末にリアルタイムに送信するように、ユーザはスマートカメラを家に実装することによって、財産・安全を守る。
現在、スマートカメラはUDP(User Datagram Protocol:ユーザー・データグラム・プロトコル)によって、取込まれた映像データをユーザの移動端末に送信する。ネットワーク環境の混雑が比較的ひどい場合、紛失したUDPプロトコルデータ・パケットの数量が比較的多いと、移動端末がスマートカメラから送信される映像データを再生する際に画質が劣化したり、画像が不連続になったりしまう。且つ、ネットワーク環境が比較的悪い場合には、スマートカメラから移動端末へ映像データを送信する速度も遅くなり、移動端末がスマートカメラから送信される映像データを再生する際に、画像が長時間不連続となったり、正常に再生できなくなったりしまう。なお、ネットワーク環境が比較的よい場合には、時には、スマートカメラがそもそも移動端末へより高い符号化率(code rate)の映像データを送信できる。しかしながら、スマートカメラは予め設定された符号化率を変更できないため、ネットワークの帯域リソースを浪費するだけでなく、移動端末に高解像度を有する画質を提供できなくなってしまう。
したがって、従来のスマートカメラは映像データの符号化率を調整できないので、現在のネットワーク環境によりよく適合することができない。
本発明は、関連技術においての問題を解決するために、スマートカメラが現在のネットワーク環境に基づき映像画質パラメータを調整することによって、端末において映像をスムーズに再生するように、ネットワーク環境に基づく映像画質の調整方法および装置を提供する。
本発明の実施例の第1の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
好ましくは、前記調整方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
好ましくは、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記調整方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号と前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
好ましくは、前記調整方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
本発明の実施例の第2の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
好ましくは、前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む
好ましくは、前記調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
本発明の実施例の第3の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
好ましくは、前記調整装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含む。
好ましくは、前記調整装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
好ましくは、前記調整装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含む。
本発明の実施例の第4の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
好ましくは、前記判定モジュールは、
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含む。
好ましくは、前記調整装置はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールとを含む。
本発明の実施例の第5の局面によれば、
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されるネットワーク環境に基づく映像画質の調整装置を提供する。
本発明の実施例に提示される技術案は以下の有益な効果を含み得る。
単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第1の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第2の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させる。こうすることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面をスムーズに再生させるように保証することができる。
以上の一般的な記述及び以下の詳細な記述は、例示のものに過ぎず、本開示を限定するものではないと理解すべきである。
ここで、図面は明細書に取り込まれて明細書の一部を構成し、本発明に合致する実施例を示し、また、明細書と共に本発明の原理の解釈に用いられる。
例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例における分割フレームの構造を示すブロック図である。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置の模式図である。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置の模式図である。 例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を示すブロック図である。
ここで例示的な実施例について詳細に説明を行うが、その例示は図面において示されている。以下の説明が図面に関する場合、特に示さない限り、異なる図面の中の同一の数字は同一又は類似の要素を表す。また、以下の例示的な実施例で説明する実施形態は、本発明と一致する全ての実施形態を代表するものではなく、これらは特許請求の範囲において詳述した、本発明の一部の態様と一致する装置及び方法の例に過ぎない。
図1は例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。図1に示すように、ネットワーク環境に基づく映像画質の調整方法は画像取込装置に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、端末において解像度が比較的低い映像画面をスムーズに再生するように、画像取込装置が映像画面の解像度を低減させることと、ネットワーク環境が比較的よい場合、端末において解像度が比較的高い映像画面を再生するように、画像取込装置が映像画面の解像度を向上させることを保証することができる。該方法は以下のステップを含む。
ステップS11において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ステップS12において、予め設定された時間帯におけるタイムスタンプの対応するターゲットフレーム番号の数を特定する。
ステップS13において、ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、ターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
他の開示された実施例において、前記方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示された実施例において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示実施例において、前記方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
図2に示すように、ネットワーク環境に基づく映像画質の調整方法は端末装置に用いられる。
ステップS21において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
ステップS22において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ステップS23において、前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整する。
他の開示実施例において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信する映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信する映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
他の開示された実施例において、調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
以下、他の開示実施例によって、ネットワーク環境に基づく映像画質の調整方法を説明する。図3に示すように、以下のステップを含む。
ステップS31において、取込まれた映像データを取得する。
ここで、本発明に係わる方法は画像取込装置に用いられ、該画像取込装置はカメラやビデオレコーダ等の装置であってもよい。画像取込装置は、映像データを取込まれた後、後続ステップでの使用のためにそれを取得しなければならない。
ステップS32において、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データをフレーム番号付き映像フレームに圧縮する。
ここで、映像データが取得された後、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データを圧縮することによって、フレーム番号付き映像フレームを生成する必要がある。予め設定された映像符号化方法は、H.262、H.263又はH264等の符号化方法であってもよいが、既に提供された符号化方法に限らない。所定の画質パラメータは予め設定された映像符号化方法の1項の符号化パラメータであり、所定の画質パラメータが高いほど、符号化されてなる映像フレームの画像品質が高く、映像フレームの解像度も高い。一方、所定の画質パラメータが低いほど、符号化されてなる映像フレームの画像品質が低く、映像フレームの解像度も低い。所定の画質パラメータは映像符号化率や解像度などのパラメータであってもよい。それぞれの映像フレームはいずれも唯一のフレーム番号を有し、このフレーム番号に基づいて映像フレームを区別することができる。
ステップS33において、端末にフレーム番号付き映像フレームを送信する。
ここで、画像取込装置は、フレーム番号付き映像フレームを生成してから端末に送信する。
ステップS34において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを順次に送信する際、端末は一定の時間内に、ある映像フレームを受信しなかった場合、該映像フレームを紛失したと認める。端末は、紛失した映像フレームのターゲットフレーム番号を特定してから、画像取込装置に紛失した映像フレームのターゲットフレーム番号を送信することによって、画像取込装置に紛失した映像フレームのターゲットフレーム番号を通知する。画像取込装置は紛失した映像フレームのターゲットフレーム番号を受信してから、該ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
例えば、端末から送信される紛失した映像フレームのターゲットフレーム番号が1001であり、画像取込装置が該ターゲットフレーム番号1001を受信した時の時間が9時25分39秒である場合、時間の9時25分39秒をターゲットフレーム番号1001のタイムスタンプとする。後続ステップの特定をもっと精確にするために、タイムスタンプとしてより小さいミリセカンド(ms)又はマイクロ秒(μs)とすることができることは自明なことである。
ステップS35において、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定する。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを送信する過程において、端末は紛失したターゲットフレーム番号を画像取込装置に送信することもでき、且つ、画像取込装置はそれぞれのターゲットフレーム番号のためにタイムスタンプを別々に配備したので、画像取込装置はある時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定することができる。
例えば、画像取込装置の受信した、端末から送信される紛失した映像フレームのターゲットフレーム番号がそれぞれ1001、1003、1007、1025及び1056であり、ターゲットフレーム番号1001のタイムスタンプが10時10分25秒であり、ターゲットフレーム番号1003のタイムスタンプが10時10分26秒であり、ターゲットフレーム番号1007のタイムスタンプが10時10分28秒であり、ターゲットフレーム番号1025のタイムスタンプが10時10分30秒であり、ターゲットフレーム番号1056のタイムスタンプが10時10分31秒であると仮定する場合、画像取込装置は10時10分26秒から10時10分30秒までのターゲットフレーム番号の数を特定することを要求する。特定することによって分かるように、3つのターゲットフレーム番号がこの時間帯にあり、この3つのターゲットフレーム番号はそれぞれ1003、1007及び1025である。
ステップS36において、ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させる。
ここで、画像取込装置はそれぞれ第1の閾値と第2の閾値との2つの閾値を予め設定する。ターゲットフレーム番号の数が第1の閾値より大きい場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味する。このため、所定の画質パラメータを低下させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的低い映像フレームを生成し、画像取込装置の送信速度を低下させる。これによって、比較的悪いネットワーク環境においても、端末において映像画面をスムーズに再生し、ネットワーク環境が良くないときも、映像画面の不連続現象が生じないことを保証することができる。
ステップS37において、ターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値よりも小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
ここで、ターゲットフレーム番号の数が第2の閾値より小さい場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味する。このため、画質パラメータを向上させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的高い映像フレームを生成し、画像取込装置の送信速度を向上させる。これによって、ネットワーク環境が比較的良い場合、端末が解像度が比較的高い映像画面を再生し、ネットワーク環境が比較的良いときに、画像取込装置が端末に予め設定された画質の比較的悪い映像リソースを送信して、ネットワーク帯域リソースの浪費を回避することを保証することができる。
図3に示す実施例において、単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第1の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第2の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面を再生させるように保証することができる。
本発明の好ましい実施例において、本発明に係わる方法は,ステップS32の後、且つ、ステップS33の前に、さらに、映像フレームがキーフレームであるか否かを判定するステップと、映像フレームがキーフレームである場合、予め設定された分割条件に基づいてキーフレームを、キーフレームのフレーム番号、分割フレームの分割フレーム番号及び複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に複数のヘッダ付き分割フレームを順次に送信するとともに、ステップS34を実行するステップと、映像フレームがキーフレームではない場合、ステップS33を実行するステップとを含む。
このようにする目的は以下のとおりである。予め設定された映像符号化方法を利用して映像データを圧縮した後、Iフレームと称するキーフレームと、Pフレームと称する予測フレームを生成する。Iフレームは、データサイズが比較的大きく、前後のデータフレームと関係なく、独立なフレームである。それで、その前のフレームの紛失または誤りはIフレームの表示に影響しなく、復号化する際にIフレームだけで完成できる。したがって、Iフレームは非常に重要なフレームである。これに対して、Pフレームはこのフレームと1つ前のIフレームまたはPフレームとの差別を表す予測フレームであり、復号化する際にこの前にキャッシングされた画面にこのフレームにより定義された差別を重畳する必要があり、その前のフレームと緊密に関わり、データサイズが少ない。それで、その前のフレームの紛失または誤りは他のフレームの表示に影響しないがPフレームの表示に影響する恐れがある。したがって、Pフレームはあまり重要なものではない。映像フレームがキーフレームであると判定された場合、伝送過程において該キーフレームが完全に紛失されることを回避するために、該キーフレームを予め設定された分割条件に基づいて、複数のヘッダ付き分割フレームに分割する。このように、1つのキーフレームは複数の分割フレームに分割され、且つ、それぞれの分割フレームに、キーフレームのフレーム番号、分割フレームの分割フレーム番号、及び複数の分割フレームの総数を含むヘッダが付いている。
これによって、端末は、ヘッダにおけるデータによってこのキーフレームのうちのいずれの分割フレームが既に紛失したかを判定して、紛失した分割フレームの分割フレーム番号とキーフレームのフレーム番号とを画像取込装置に送信する。こうすることによって、画像取込装置は、端末から送信される分割フレーム番号とフレーム番号に基づき対応する分割フレームを検索するとともに、端末に該紛失された分割フレームを再度送信することができるようにする。このため、本発明に係る方法を用いて紛失されたキーフレームを探し出すことができる。
図4に示すように、図4は分割フレームの構造を示すブロック図である。分割フレームはキーフレームのフレーム番号、分割フレームの総数、分割フレームの分割フレーム番号とデータ本体を含む。ここで、フレーム番号、総数と分割フレーム番号はヘッダを表す。
なお、予め設定された分割条件は、キーフレームの分割後のそれぞれの分割フレームの大きさのいずれも現在ネットワーク環境における最大伝送ユニットより小さいということであってもよい。例えば、現在のネットワーク環境の最大伝送ユニットが1500バイトである場合、それぞれの分割フレームの大きさのいずれも1024バイトに設定することもでき、1040バイトに設定することもでき、900バイトに設定することもできる。要するに、それぞれの分割フレームの大きさのいずれも最大伝送ユニット1500のバイトより小さくなければならない。
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が101であり、該キーフレームの大きさが5000バイトであり、現在のネットワーク環境の最大伝送ユニットが1500バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも1000バイトに設定したとすれば、画像取込装置はフレーム番号が101であるキーフレームをいずれの大きさも1000バイトである5つの分割フレームに分割する。さらに、この5つの分割フレームのいずれもヘッダ付き分割フレームであり、1番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1001と、分割フレームの総数である5つとを含む。2番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1002と、分割フレームの総数である5つとを含む。3番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1003と、分割フレームの総数である5つとを含む。4番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1004と、分割フレームの総数である5つとを含む。5番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1005と、分割フレームの総数である5つとを含む。分割が終了した後、この5つのヘッダ付き分割フレームは端末に順次に送信される。
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップS34の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に1を加え、ステップS35を実行するステップと、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップS35を実行するステップとを含む。
このようにする目的は以下のとおりである。即ち、上記の実施例では既に紹介したように、画像取込装置はデータフレームがキーフレームであると判定した場合、該キーフレームを分割するとともに複数のヘッダ付き分割フレームを生成する。画像取込装置の受信した、端末から送信されたターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれ、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が分割フレームを紛失し、画像取込装置の再度送信が必要になることを意味する。
この場合、画像取込装置は端末から送信されるターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれているか否かを判定する必要があり、含まれている場合、該ターゲットフレーム番号の対応するのが分割フレームであることを意味し、且つ、画像取込装置はフレーム番号と分割フレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに現在再送回数に1を加えることによって、端末の紛失した分割フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該分割フレームを端末に数回送信し、上限に達したことを意味し、端末が該分割フレームを紛失したとしても、画像取込装置は該分割フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した分割フレームを端末に送信しない。
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が101であり、該キーフレームの大きさが5000バイトであり、現在のネットワーク環境の最大伝送ユニットが1500バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも1000バイトに設定したとすれば、画像取込装置はフレーム番号が101であるキーフレームをいずれの大きさも1000バイトである5つの分割フレームに分割する。この5つの分割フレームのいずれもヘッダ付き分割フレームであり、1番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1001と、分割フレームの総数である5つとを含む。2番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1002と、分割フレームの総数である5つとを含む。3番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1003と、分割フレームの総数である5つとを含む。4番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1004と、分割フレームの総数である5つとを含む。5番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1005と、分割フレームの総数である5つとを含む。分割が終了した後、この5つのヘッダ付き分割フレームを端末に順次に送信する。この場合、画像取込装置は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信して該ターゲットフレーム番号にフレーム番号である101と分割フレーム番号である1003が含まれていることが判定され、且つ、画像取込装置はフレーム番号である101と分割フレーム番号である1003の対応する現在再送回数が1回であり、再送閾値である3回より少ないということを特定したので、画像取込装置はフレーム番号である101及び分割フレーム番号である1003が付いた映像フレームを特定するとともに、フレーム番号である101及び分割フレーム番号である1003が付いた映像フレームを端末に送信し、且つ、現在再送回数に1を加え、フレーム番号である101と分割フレーム番号である1003の対応する現在再送回数が2回になる。
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップS34の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に1を加え、ステップS35を実行するステップと、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップS35を実行するステップとを含む。
このようにする目的は以下のとおりである。ターゲットフレーム番号がフレーム番号のみである場合、該フレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応する可能性があり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が未分割のキーフレームまたは未分割の予測フレームを紛失し、画像取込装置が再度送信する必要があることを意味する。この場合、画像取込装置は端末から送信されるターゲットフレーム番号がフレーム番号のみであるか否かを判定する必要があり、そうである場合、該ターゲットフレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応することを意味し、且つ、画像取込装置はフレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はフレーム番号付き映像フレームを特定して端末に送信するとともに、現在再送回数に1を加えることによって、端末の紛失した未分割のキーフレームまたは未分割の予測フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該未分割のキーフレームまたは未分割の予測フレームを端末に数回送信し、上限に達したことを意味する。よって、端末が該未分割のキーフレームまたは未分割の予測フレームを紛失したとしても、画像取込装置は該未分割のキーフレームまたは未分割の予測フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した未分割のキーフレームまたは未分割の予測フレームを端末に送信しない。
図5は例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法のフローチャートである。図5に示すように、図5に示すネットワーク環境に基づく映像画質の調整方法は端末に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。該方法は以下ステップを含む。
ステップS51において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
ここで、図5に示す方法は端末に適用することができ、端末はスマートフォン、タブレットPCまたはデスクトップ・コンピューター等のスマート装置であってもよい。実施例1において紹介したように、画像取込装置は取込まれた映像データを予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、フレーム番号付き映像フレームに圧縮するとともに、該フレーム番号付き映像フレームを端末に送信し、ネットワークによる伝送によって、端末は画像取込装置から送信されるフレーム番号付き映像フレームを受信する。
ステップS52において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ここで、予め設定された判定条件は様々であり、異なる状況に適用される。端末の受信した映像フレームが未分割のキーフレームまたは予測フレームである場合、端末は現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定することができる。フレーム番号が連続である場合、現在受信する映像フレームと受信した1つ前の映像フレームとの間に映像フレームを紛失する状況がないことを意味する。一方、フレーム番号が不連続である場合、現在受信する映像フレームのフレーム番号と受信した1つ前の映像フレームのフレーム番号とに基づいて、紛失したフレーム番号を特定するとともに、紛失したフレーム番号をターゲットフレーム番号と称する。例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が106であり、受信した1つ前の映像フレームのフレーム番号が105である場合、端末は受信した映像フレームのフレーム番号の順序が連続であると判定することができるので、映像フレームを紛失しなかったことを意味する。また、例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が106であり、受信した1つ前の映像フレームのフレーム番号が104である場合、端末は受信した映像フレームのフレーム番号の順序が不連続であると判定することができる。この場合、端末は現在受信する映像フレームのフレーム番号106と受信した1つ前の映像フレームのフレーム番号104とに基づいて、紛失したフレーム番号が105であることを特定するとともに、紛失したフレーム番号105をターゲットフレーム番号105と称し、ターゲットフレーム番号105を画像取込装置に送信することができる。
端末の受信した映像フレームがキーフレームを分割してなる分割フレームである場合、端末は一連の分割フレームを受信した後、予め設定された時間内に新たな分割フレームを受信しないか否かを判定することができる。受信しなかった場合、端末はこの一連の分割フレームのヘッダを検索し、受信した分割フレームの数とヘッダにおける分割フレームの総数とが一致しているか否かを判定する。一致している場合、端末はこの一連の分割フレームが紛失してないいと認める。一致してない場合、端末はこの一連の分割フレームに紛失した分割フレームがあると認め、それぞれの分割フレームのヘッダにおける分割フレーム番号に基づいて、いずれの分割フレームが紛失したかを判定する。紛失した分割フレームの分割フレーム番号が特定されたら、端末はヘッダにおけるフレーム番号を紛失した分割フレーム番号とともにターゲットフレーム番号とし、さらに、ターゲットフレーム番号を画像取込装置に送信することができる。
ステップS53において、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、紛失した映像フレームのターゲットフレーム番号を画像取込装置に送信することによって、画像取込装置はターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとするとともに、予め設定された時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定する。さらに、画像取込装置がターゲットフレーム番号の数が第1の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるように、画像取込装置がターゲットフレーム番号の数が第1の閾値より小さい第2の閾値よりも小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるようにする。
図2に示す実施例において、図5に示す方法と図3に示す方法とが相互に協同して使用することができるため、図2に示す方法と図1に示す方法との関連部分に関しては、相互に参照することができ、ここに、詳しく説明しない。
図6は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。
図6を参照して、該装置は、
端末から送信される紛失された映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするための第1の受信モジュール61と、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュール62と、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が前記第1の閾値よりより小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュール63とを含む。
他の実施例において、前記装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールと、を含む。
他の実施例において、前記装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
他の実施例において、前記装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行するための再送制御モジュールを含む。
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は該方法に係わる実施例において詳細に説明されているので、ここに、詳しく説明しない。
図7は例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。図7を参照して、該装置は受信モジュール71、判定モジュール72及び実行モジュール73を含む。
ここで、
受信モジュール71は、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するために用いられる。
判定モジュール72は、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するために用いられる。
実行モジュール73は、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像採取装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、さらに、画像取込装置がターゲットフレーム番号の数が第1の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、画像取込装置がターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるために用いられる。
本発明の好ましい実施例において、判定モジュール72は、受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと、前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含む。
本発明の好ましい実施例において、判定モジュール72は、受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールと、を含む。
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は既に該方法に係わる実施例において詳細に説明されたので、ここに、詳しく説明しない。
図8は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置800を示すブロック図である。例えば、装置800は携帯電話、コンピュータ、デジタル放送端末、メッセージ受発信手段、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント等であってもよい。
図8を参照して、装置800は、プロセス部材802、メモリ804、電源部材806、マルチメディア部材808、オーディオ部材810、入出力(I/O)インターフェイス812、センサ部材814、及び通信部材816のような一つ以上の部材を含んでよい。
プロセス部材802は、一般的には装置800の全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセス部材802は、一つ以上のプロセッサ820を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセス部材802は、一つ以上のモジュールを含み、これらによってプロセス部材802と他の部材の間のインタラクションを容易にするようにしてもよい。例えば、プロセス部材802は、マルチメディアモジュールを含み、これらによってマルチメディア部材808とプロセス部材802の間のインタラクションを容易にするようにしてもよい。
メモリ804は、各種類のデータを記憶することにより装置800の操作を支援するように構成される。これらのデータの例は、装置800において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、映像等を含む。メモリ804は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、SRAM(Static Random Access Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable Read Only Memory)、PROM(Programmable ROM)、ROM(Read Only Member)、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
電源部材806は、装置800の多様な部材に電力を供給する。電源部材806は、電源管理システム、一つ以上の電源、及び装置800のための電力の生成、管理及び割り当てに関連する他の部材を含んでもよい。
マルチメディア部材808は、前記装置800とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記の実施例において、スクリーンは液晶モニター(LCD)とタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記のタッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記の実施例において、マルチメディア部材808は、一つのフロントカメラ、及び/又はリアーカメラを含む。装置800が、例えば撮影モード、或は映像モード等の操作モードにある場合、フロントカメラ、及び/又はリアーカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアーカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
オーディオ部材810は、オーディオ信号をインターフェースするように構成されてもよい。例えば、オーディオ部材810は、一つのマイク(MIC)を含み、装置800、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信したオーディオ信号は、さらにメモリ804に記憶されたり、通信部材816を介して送信されたりされる。上記の実施例において、オーディオ部材810は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
I/Oインターフェイス812は、プロセス部材802と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
センサ部材814は、装置800に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサ部材814は、装置800のON/OFF状態、装置800のディスプレイとキーパッドのような部材の相対的な位置決めを検出できる。また、例えば、センサ部材814は、装置800、或は装置800の一つの部材の位置変更、ユーザと装置800とが接触しているか否か、装置800の方位、又は加速/減速、装置800の温度の変化を検出できる。センサ部材814は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサ部材814は、撮影アプリケーションに適用するため、CMOS、又はCCD画像センサのような光センサを含んでもよい。上記の実施例において、当該センサ部材814は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
通信部材816は、装置800と他の機器の間に有線、又は無線形態の通信を提供する。装置800は、例えばWiFi、2G、3G、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信部材816は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信部材816は、近距離無線通信(NFC)モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、NFCモジュールは、RFID(Radio Frequency IDentification)技術、IrDA(Infrared Data Association)技術、UWB(Ultra Wide Band)技術、BT(Bluetooth(登録商標))技術、他の技術に基づいて実現できる。
例示的な実施例において、装置800は、一つ以上のASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、DSPD(Digital Signal Processing Device)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
例示的な実施例において、さらに、命令を含む非一時的なコンピュータで読み取り可能な記憶媒体、例えば命令を含むメモリ804を提供しており、装置800のプロセッサ820により上記命令を実行して上記方法を実現する。例えば、前記非一時的なコンピュータで読み取り可能な記憶媒体は、ROM、RAM(Random−Access Memory)、CD−ROM(Compact Disc ROM)、磁気テープ、フロッピー(登録商標)ディスク、光データ記憶デバイス等である。
非一時的なコンピュータで読み取り可能な記憶媒体は、当該記録媒体の指令が移動端末のプロセッサによって実行される際に、移動端末にネットワーク環境に基づく映像画質の調整方法を実行させることができる。前記方法は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させるステップと、前記ターゲットフレーム番号の数が前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含む。
当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本願は本発明の全ての変更、用途又は適応性の変化を含む。これらの変更、用途又は適応性の変化は本発明の一般的な原理に従っており、本発明に未開示の本技術分野における周知技術又は慣用技術手段を含む。明細書及び実施例は例示的なものに過ぎず、本発明の真の範囲及び主旨は以下の特許請求の範囲によって示される。
本発明は、上記で説明した、また図面において示した寸分違わぬ構成に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本発明の範囲は付された特許請求の範囲によってのみ限定される。
本願は、出願番号がCN201410404533.6であって、出願日が2014年8月15日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
本発明は通信技術分野に関し、より具体的には、ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体に関する。
技術の発展に伴い、スマートカメラは次第にユーザの日常生活に応用されている。一般的には、スマートカメラが家での映像画面をユーザの移動端末にリアルタイムに送信するように、ユーザはスマートカメラを家に実装することによって、財産・安全を守る。
現在、スマートカメラはUDP(User Datagram Protocol:ユーザー・データグラム・プロトコル)によって、取込まれた映像データをユーザの移動端末に送信する。ネットワーク環境の混雑が比較的ひどい場合、紛失したUDPプロトコルデータ・パケットの数量が比較的多いと、移動端末がスマートカメラから送信される映像データを再生する際に画質が劣化したり、画像が不連続になったりしまう。且つ、ネットワーク環境が比較的悪い場合には、スマートカメラから移動端末へ映像データを送信する速度も遅くなり、移動端末がスマートカメラから送信される映像データを再生する際に、画像が長時間不連続となったり、正常に再生できなくなったりしまう。なお、ネットワーク環境が比較的よい場合には、時には、スマートカメラがそもそも移動端末へより高い符号化率(code rate)の映像データを送信できる。しかしながら、スマートカメラは予め設定された符号化率を変更できないため、ネットワークの帯域リソースを浪費するだけでなく、移動端末に高解像度を有する画質を提供できなくなってしまう。
したがって、従来のスマートカメラは映像データの符号化率を調整できないので、現在のネットワーク環境によりよく適合することができない。
本発明は、関連技術においての問題を解決するために、スマートカメラが現在のネットワーク環境に基づき映像画質パラメータを調整することによって、端末において映像をスムーズに再生するように、ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体を提供する。
本発明の実施例の第1の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
好ましくは、前記調整方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
好ましくは、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記調整方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号と前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
好ましくは、前記調整方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
本発明の実施例の第2の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
好ましくは、前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む
好ましくは、前記調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
本発明の実施例の第3の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため第1の受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
好ましくは、前記調整装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含む。
好ましくは、前記調整装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
好ましくは、前記調整装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含む。
本発明の実施例の第4の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
好ましくは、前記判定モジュールは、
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含む。
好ましくは、前記調整装置はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールとを含む。
本発明の実施例の第5の局面によれば、
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されるネットワーク環境に基づく映像画質の調整装置を提供する。
本発明の実施例の第6の局面によれば、プロセッサに実行されることにより、前記ネットワーク環境に基づく映像画質の調整方法を実現する記録媒体に記録されたプログラムを提供する。
本発明の実施例の第7の局面によれば、前記プログラムが記録された記録媒体を提供する。
本発明の実施例に提示される技術案は以下の有益な効果を含み得る。
単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第1の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第2の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させる。こうすることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面をスムーズに再生させるように保証することができる。
以上の一般的な記述及び以下の詳細な記述は、例示のものに過ぎず、本開示を限定するものではないと理解すべきである。
ここで、図面は明細書に取り込まれて明細書の一部を構成し、本発明に合致する実施例を示し、また、明細書と共に本発明の原理の解釈に用いられる。
例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例における分割フレームの構造を示すブロック図である。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。 例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置の模式図である。 例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置の模式図である。 例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を示すブロック図である。
ここで例示的な実施例について詳細に説明を行うが、その例示は図面において示されている。以下の説明が図面に関する場合、特に示さない限り、異なる図面の中の同一の数字は同一又は類似の要素を表す。また、以下の例示的な実施例で説明する実施形態は、本発明と一致する全ての実施形態を代表するものではなく、これらは特許請求の範囲において詳述した、本発明の一部の態様と一致する装置及び方法の例に過ぎない。
図1は例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。図1に示すように、ネットワーク環境に基づく映像画質の調整方法は画像取込装置に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、端末において解像度が比較的低い映像画面をスムーズに再生するように、画像取込装置が映像画面の解像度を低減させることと、ネットワーク環境が比較的よい場合、端末において解像度が比較的高い映像画面を再生するように、画像取込装置が映像画面の解像度を向上させることを保証することができる。該方法は以下のステップを含む。
ステップS11において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ステップS12において、予め設定された時間帯におけるタイムスタンプの対応するターゲットフレーム番号の数を特定する。
ステップS13において、ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、ターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
他の開示された実施例において、前記方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示された実施例において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示実施例において、前記方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
図2に示すように、ネットワーク環境に基づく映像画質の調整方法は端末装置に用いられる。
ステップS21において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
ステップS22において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ステップS23において、前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整する。
他の開示実施例において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信する映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信する映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
他の開示された実施例において、調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
以下、他の開示実施例によって、ネットワーク環境に基づく映像画質の調整方法を説明する。図3に示すように、以下のステップを含む。
ステップS31において、取込まれた映像データを取得する。
ここで、本発明に係わる方法は画像取込装置に用いられ、該画像取込装置はカメラやビデオレコーダ等の装置であってもよい。画像取込装置は、映像データを取込まれた後、後続ステップでの使用のためにそれを取得しなければならない。
ステップS32において、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データをフレーム番号付き映像フレームに圧縮する。
ここで、映像データが取得された後、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データを圧縮することによって、フレーム番号付き映像フレームを生成する必要がある。予め設定された映像符号化方法は、H.262、H.263又はH264等の符号化方法であってもよいが、既に提供された符号化方法に限らない。所定の画質パラメータは予め設定された映像符号化方法の1項の符号化パラメータであり、所定の画質パラメータが高いほど、符号化されてなる映像フレームの画像品質が高く、映像フレームの解像度も高い。一方、所定の画質パラメータが低いほど、符号化されてなる映像フレームの画像品質が低く、映像フレームの解像度も低い。所定の画質パラメータは映像符号化率や解像度などのパラメータであってもよい。それぞれの映像フレームはいずれも唯一のフレーム番号を有し、このフレーム番号に基づいて映像フレームを区別することができる。
ステップS33において、端末にフレーム番号付き映像フレームを送信する。
ここで、画像取込装置は、フレーム番号付き映像フレームを生成してから端末に送信する。
ステップS34において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを順次に送信する際、端末は一定の時間内に、ある映像フレームを受信しなかった場合、該映像フレームを紛失したと認める。端末は、紛失した映像フレームのターゲットフレーム番号を特定してから、画像取込装置に紛失した映像フレームのターゲットフレーム番号を送信することによって、画像取込装置に紛失した映像フレームのターゲットフレーム番号を通知する。画像取込装置は紛失した映像フレームのターゲットフレーム番号を受信してから、該ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
例えば、端末から送信される紛失した映像フレームのターゲットフレーム番号が1001であり、画像取込装置が該ターゲットフレーム番号1001を受信した時の時間が9時25分39秒である場合、時間の9時25分39秒をターゲットフレーム番号1001のタイムスタンプとする。後続ステップの特定をもっと精確にするために、タイムスタンプとしてより小さいミリセカンド(ms)又はマイクロ秒(μs)とすることができることは自明なことである。
ステップS35において、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定する。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを送信する過程において、端末は紛失したターゲットフレーム番号を画像取込装置に送信することもでき、且つ、画像取込装置はそれぞれのターゲットフレーム番号のためにタイムスタンプを別々に配備したので、画像取込装置はある時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定することができる。
例えば、画像取込装置の受信した、端末から送信される紛失した映像フレームのターゲットフレーム番号がそれぞれ1001、1003、1007、1025及び1056であり、ターゲットフレーム番号1001のタイムスタンプが10時10分25秒であり、ターゲットフレーム番号1003のタイムスタンプが10時10分26秒であり、ターゲットフレーム番号1007のタイムスタンプが10時10分28秒であり、ターゲットフレーム番号1025のタイムスタンプが10時10分30秒であり、ターゲットフレーム番号1056のタイムスタンプが10時10分31秒であると仮定する場合、画像取込装置は10時10分26秒から10時10分30秒までのターゲットフレーム番号の数を特定することを要求する。特定することによって分かるように、3つのターゲットフレーム番号がこの時間帯にあり、この3つのターゲットフレーム番号はそれぞれ1003、1007及び1025である。
ステップS36において、ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させる。
ここで、画像取込装置はそれぞれ第1の閾値と第2の閾値との2つの閾値を予め設定する。ターゲットフレーム番号の数が第1の閾値より大きい場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味する。このため、所定の画質パラメータを低下させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的低い映像フレームを生成し、画像取込装置の送信速度を低下させる。これによって、比較的悪いネットワーク環境においても、端末において映像画面をスムーズに再生し、ネットワーク環境が良くないときも、映像画面の不連続現象が生じないことを保証することができる。
ステップS37において、ターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値よりも小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
ここで、ターゲットフレーム番号の数が第2の閾値より小さい場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味する。このため、画質パラメータを向上させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的高い映像フレームを生成し、画像取込装置の送信速度を向上させる。これによって、ネットワーク環境が比較的良い場合、端末が解像度が比較的高い映像画面を再生し、ネットワーク環境が比較的良いときに、画像取込装置が端末に予め設定された画質の比較的悪い映像リソースを送信して、ネットワーク帯域リソースの浪費を回避することを保証することができる。
図3に示す実施例において、単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第1の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第2の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面を再生させるように保証することができる。
本発明の好ましい実施例において、本発明に係わる方法は,ステップS32の後、且つ、ステップS33の前に、さらに、映像フレームがキーフレームであるか否かを判定するステップと、映像フレームがキーフレームである場合、予め設定された分割条件に基づいてキーフレームを、キーフレームのフレーム番号、分割フレームの分割フレーム番号及び複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に複数のヘッダ付き分割フレームを順次に送信するとともに、ステップS34を実行するステップと、映像フレームがキーフレームではない場合、ステップS33を実行するステップとを含む。
このようにする目的は以下のとおりである。予め設定された映像符号化方法を利用して映像データを圧縮した後、Iフレームと称するキーフレームと、Pフレームと称する予測フレームを生成する。Iフレームは、データサイズが比較的大きく、前後のデータフレームと関係なく、独立なフレームである。それで、その前のフレームの紛失または誤りはIフレームの表示に影響しなく、復号化する際にIフレームだけで完成できる。したがって、Iフレームは非常に重要なフレームである。これに対して、Pフレームはこのフレームと1つ前のIフレームまたはPフレームとの差別を表す予測フレームであり、復号化する際にこの前にキャッシングされた画面にこのフレームにより定義された差別を重畳する必要があり、その前のフレームと緊密に関わり、データサイズが少ない。それで、その前のフレームの紛失または誤りは他のフレームの表示に影響しないがPフレームの表示に影響する恐れがある。したがって、Pフレームはあまり重要なものではない。映像フレームがキーフレームであると判定された場合、伝送過程において該キーフレームが完全に紛失されることを回避するために、該キーフレームを予め設定された分割条件に基づいて、複数のヘッダ付き分割フレームに分割する。このように、1つのキーフレームは複数の分割フレームに分割され、且つ、それぞれの分割フレームに、キーフレームのフレーム番号、分割フレームの分割フレーム番号、及び複数の分割フレームの総数を含むヘッダが付いている。
これによって、端末は、ヘッダにおけるデータによってこのキーフレームのうちのいずれの分割フレームが既に紛失したかを判定して、紛失した分割フレームの分割フレーム番号とキーフレームのフレーム番号とを画像取込装置に送信する。こうすることによって、画像取込装置は、端末から送信される分割フレーム番号とフレーム番号に基づき対応する分割フレームを検索するとともに、端末に該紛失された分割フレームを再度送信することができるようにする。このため、本発明に係る方法を用いて紛失されたキーフレームを探し出すことができる。
図4に示すように、図4は分割フレームの構造を示すブロック図である。分割フレームはキーフレームのフレーム番号、分割フレームの総数、分割フレームの分割フレーム番号とデータ本体を含む。ここで、フレーム番号、総数と分割フレーム番号はヘッダを表す。
なお、予め設定された分割条件は、キーフレームの分割後のそれぞれの分割フレームの大きさのいずれも現在ネットワーク環境における最大伝送ユニットより小さいということであってもよい。例えば、現在のネットワーク環境の最大伝送ユニットが1500バイトである場合、それぞれの分割フレームの大きさのいずれも1024バイトに設定することもでき、1040バイトに設定することもでき、900バイトに設定することもできる。要するに、それぞれの分割フレームの大きさのいずれも最大伝送ユニット1500のバイトより小さくなければならない。
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が101であり、該キーフレームの大きさが5000バイトであり、現在のネットワーク環境の最大伝送ユニットが1500バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも1000バイトに設定したとすれば、画像取込装置はフレーム番号が101であるキーフレームをいずれの大きさも1000バイトである5つの分割フレームに分割する。さらに、この5つの分割フレームのいずれもヘッダ付き分割フレームであり、1番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1001と、分割フレームの総数である5つとを含む。2番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1002と、分割フレームの総数である5つとを含む。3番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1003と、分割フレームの総数である5つとを含む。4番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1004と、分割フレームの総数である5つとを含む。5番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1005と、分割フレームの総数である5つとを含む。分割が終了した後、この5つのヘッダ付き分割フレームは端末に順次に送信される。
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップS34の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に1を加え、ステップS35を実行するステップと、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップS35を実行するステップとを含む。
このようにする目的は以下のとおりである。即ち、上記の実施例では既に紹介したように、画像取込装置はデータフレームがキーフレームであると判定した場合、該キーフレームを分割するとともに複数のヘッダ付き分割フレームを生成する。画像取込装置の受信した、端末から送信されたターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれ、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が分割フレームを紛失し、画像取込装置の再度送信が必要になることを意味する。
この場合、画像取込装置は端末から送信されるターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれているか否かを判定する必要があり、含まれている場合、該ターゲットフレーム番号の対応するのが分割フレームであることを意味し、且つ、画像取込装置はフレーム番号と分割フレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに現在再送回数に1を加えることによって、端末の紛失した分割フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該分割フレームを端末に数回送信し、上限に達したことを意味し、端末が該分割フレームを紛失したとしても、画像取込装置は該分割フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した分割フレームを端末に送信しない。
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が101であり、該キーフレームの大きさが5000バイトであり、現在のネットワーク環境の最大伝送ユニットが1500バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも1000バイトに設定したとすれば、画像取込装置はフレーム番号が101であるキーフレームをいずれの大きさも1000バイトである5つの分割フレームに分割する。この5つの分割フレームのいずれもヘッダ付き分割フレームであり、1番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1001と、分割フレームの総数である5つとを含む。2番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1002と、分割フレームの総数である5つとを含む。3番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1003と、分割フレームの総数である5つとを含む。4番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1004と、分割フレームの総数である5つとを含む。5番目の分割フレームのヘッダはフレーム番号である101と、分割フレームの分割フレーム番号である1005と、分割フレームの総数である5つとを含む。分割が終了した後、この5つのヘッダ付き分割フレームを端末に順次に送信する。この場合、画像取込装置は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信して該ターゲットフレーム番号にフレーム番号である101と分割フレーム番号である1003が含まれていることが判定され、且つ、画像取込装置はフレーム番号である101と分割フレーム番号である1003の対応する現在再送回数が1回であり、再送閾値である3回より少ないということを特定したので、画像取込装置はフレーム番号である101及び分割フレーム番号である1003が付いた映像フレームを特定するとともに、フレーム番号である101及び分割フレーム番号である1003が付いた映像フレームを端末に送信し、且つ、現在再送回数に1を加え、フレーム番号である101と分割フレーム番号である1003の対応する現在再送回数が2回になる。
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップS34の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に1を加え、ステップS35を実行するステップと、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップS35を実行するステップとを含む。
このようにする目的は以下のとおりである。ターゲットフレーム番号がフレーム番号のみである場合、該フレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応する可能性があり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が未分割のキーフレームまたは未分割の予測フレームを紛失し、画像取込装置が再度送信する必要があることを意味する。この場合、画像取込装置は端末から送信されるターゲットフレーム番号がフレーム番号のみであるか否かを判定する必要があり、そうである場合、該ターゲットフレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応することを意味し、且つ、画像取込装置はフレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はフレーム番号付き映像フレームを特定して端末に送信するとともに、現在再送回数に1を加えることによって、端末の紛失した未分割のキーフレームまたは未分割の予測フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該未分割のキーフレームまたは未分割の予測フレームを端末に数回送信し、上限に達したことを意味する。よって、端末が該未分割のキーフレームまたは未分割の予測フレームを紛失したとしても、画像取込装置は該未分割のキーフレームまたは未分割の予測フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した未分割のキーフレームまたは未分割の予測フレームを端末に送信しない。
図5は例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法のフローチャートである。図5に示すように、図5に示すネットワーク環境に基づく映像画質の調整方法は端末に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。該方法は以下ステップを含む。
ステップS51において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
ここで、図5に示す方法は端末に適用することができ、端末はスマートフォン、タブレットPCまたはデスクトップ・コンピューター等のスマート装置であってもよい。実施例1において紹介したように、画像取込装置は取込まれた映像データを予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、フレーム番号付き映像フレームに圧縮するとともに、該フレーム番号付き映像フレームを端末に送信し、ネットワークによる伝送によって、端末は画像取込装置から送信されるフレーム番号付き映像フレームを受信する。
ステップS52において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ここで、予め設定された判定条件は様々であり、異なる状況に適用される。端末の受信した映像フレームが未分割のキーフレームまたは予測フレームである場合、端末は現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定することができる。フレーム番号が連続である場合、現在受信する映像フレームと受信した1つ前の映像フレームとの間に映像フレームを紛失する状況がないことを意味する。一方、フレーム番号が不連続である場合、現在受信する映像フレームのフレーム番号と受信した1つ前の映像フレームのフレーム番号とに基づいて、紛失したフレーム番号を特定するとともに、紛失したフレーム番号をターゲットフレーム番号と称する。例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が106であり、受信した1つ前の映像フレームのフレーム番号が105である場合、端末は受信した映像フレームのフレーム番号の順序が連続であると判定することができるので、映像フレームを紛失しなかったことを意味する。また、例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が106であり、受信した1つ前の映像フレームのフレーム番号が104である場合、端末は受信した映像フレームのフレーム番号の順序が不連続であると判定することができる。この場合、端末は現在受信する映像フレームのフレーム番号106と受信した1つ前の映像フレームのフレーム番号104とに基づいて、紛失したフレーム番号が105であることを特定するとともに、紛失したフレーム番号105をターゲットフレーム番号105と称し、ターゲットフレーム番号105を画像取込装置に送信することができる。
端末の受信した映像フレームがキーフレームを分割してなる分割フレームである場合、端末は一連の分割フレームを受信した後、予め設定された時間内に新たな分割フレームを受信しないか否かを判定することができる。受信しなかった場合、端末はこの一連の分割フレームのヘッダを検索し、受信した分割フレームの数とヘッダにおける分割フレームの総数とが一致しているか否かを判定する。一致している場合、端末はこの一連の分割フレームが紛失してないいと認める。一致してない場合、端末はこの一連の分割フレームに紛失した分割フレームがあると認め、それぞれの分割フレームのヘッダにおける分割フレーム番号に基づいて、いずれの分割フレームが紛失したかを判定する。紛失した分割フレームの分割フレーム番号が特定されたら、端末はヘッダにおけるフレーム番号を紛失した分割フレーム番号とともにターゲットフレーム番号とし、さらに、ターゲットフレーム番号を画像取込装置に送信することができる。
ステップS53において、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、紛失した映像フレームのターゲットフレーム番号を画像取込装置に送信することによって、画像取込装置はターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとするとともに、予め設定された時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定する。さらに、画像取込装置がターゲットフレーム番号の数が第1の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるように、画像取込装置がターゲットフレーム番号の数が第1の閾値より小さい第2の閾値よりも小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるようにする。
図2に示す実施例において、図5に示す方法と図3に示す方法とが相互に協同して使用することができるため、図2に示す方法と図1に示す方法との関連部分に関しては、相互に参照することができ、ここに、詳しく説明しない。
図6は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。
図6を参照して、該装置は、
端末から送信される紛失された映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするための第1の受信モジュール61と、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュール62と、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が前記第1の閾値よりより小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュール63とを含む。
他の実施例において、前記装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールと、を含む。
他の実施例において、前記装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
他の実施例において、前記装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行するための再送制御モジュールを含む。
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は該方法に係わる実施例において詳細に説明されているので、ここに、詳しく説明しない。
図7は例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。図7を参照して、該装置は受信モジュール71、判定モジュール72及び実行モジュール73を含む。
ここで、
受信モジュール71は、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するために用いられる。
判定モジュール72は、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するために用いられる。
実行モジュール73は、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像採取装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、さらに、画像取込装置がターゲットフレーム番号の数が第1の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、画像取込装置がターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるために用いられる。
本発明の好ましい実施例において、判定モジュール72は、受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと、前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含む。
本発明の好ましい実施例において、判定モジュール72は、受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールと、を含む。
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は既に該方法に係わる実施例において詳細に説明されたので、ここに、詳しく説明しない。
図8は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置800を示すブロック図である。例えば、装置800は携帯電話、コンピュータ、デジタル放送端末、メッセージ受発信手段、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント等であってもよい。
図8を参照して、装置800は、プロセス部材802、メモリ804、電源部材806、マルチメディア部材808、オーディオ部材810、入出力(I/O)インターフェイス812、センサ部材814、及び通信部材816のような一つ以上の部材を含んでよい。
プロセス部材802は、一般的には装置800の全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセス部材802は、一つ以上のプロセッサ820を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセス部材802は、一つ以上のモジュールを含み、これらによってプロセス部材802と他の部材の間のインタラクションを容易にするようにしてもよい。例えば、プロセス部材802は、マルチメディアモジュールを含み、これらによってマルチメディア部材808とプロセス部材802の間のインタラクションを容易にするようにしてもよい。
メモリ804は、各種類のデータを記憶することにより装置800の操作を支援するように構成される。これらのデータの例は、装置800において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、映像等を含む。メモリ804は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、SRAM(Static Random Access Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable Read Only Memory)、PROM(Programmable ROM)、ROM(Read Only Member)、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
電源部材806は、装置800の多様な部材に電力を供給する。電源部材806は、電源管理システム、一つ以上の電源、及び装置800のための電力の生成、管理及び割り当てに関連する他の部材を含んでもよい。
マルチメディア部材808は、前記装置800とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記の実施例において、スクリーンは液晶モニター(LCD)とタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記のタッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記の実施例において、マルチメディア部材808は、一つのフロントカメラ、及び/又はリアーカメラを含む。装置800が、例えば撮影モード、或は映像モード等の操作モードにある場合、フロントカメラ、及び/又はリアーカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアーカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
オーディオ部材810は、オーディオ信号をインターフェースするように構成されてもよい。例えば、オーディオ部材810は、一つのマイク(MIC)を含み、装置800、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信したオーディオ信号は、さらにメモリ804に記憶されたり、通信部材816を介して送信されたりされる。上記の実施例において、オーディオ部材810は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
I/Oインターフェイス812は、プロセス部材802と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
センサ部材814は、装置800に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサ部材814は、装置800のON/OFF状態、装置800のディスプレイとキーパッドのような部材の相対的な位置決めを検出できる。また、例えば、センサ部材814は、装置800、或は装置800の一つの部材の位置変更、ユーザと装置800とが接触しているか否か、装置800の方位、又は加速/減速、装置800の温度の変化を検出できる。センサ部材814は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサ部材814は、撮影アプリケーションに適用するため、CMOS、又はCCD画像センサのような光センサを含んでもよい。上記の実施例において、当該センサ部材814は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
通信部材816は、装置800と他の機器の間に有線、又は無線形態の通信を提供する。装置800は、例えばWiFi、2G、3G、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信部材816は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信部材816は、近距離無線通信(NFC)モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、NFCモジュールは、RFID(Radio Frequency IDentification)技術、IrDA(Infrared Data Association)技術、UWB(Ultra Wide Band)技術、BT(Bluetooth(登録商標))技術、他の技術に基づいて実現できる。
例示的な実施例において、装置800は、一つ以上のASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、DSPD(Digital Signal Processing Device)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
例示的な実施例において、さらに、命令を含む非一時的なコンピュータで読み取り可能な記憶媒体、例えば命令を含むメモリ804を提供しており、装置800のプロセッサ820により上記命令を実行して上記方法を実現する。例えば、前記非一時的なコンピュータで読み取り可能な記憶媒体は、ROM、RAM(Random−Access Memory)、CD−ROM(Compact Disc ROM)、磁気テープ、フロッピー(登録商標)ディスク、光データ記憶デバイス等である。
非一時的なコンピュータで読み取り可能な記憶媒体は、当該記録媒体の指令が移動端末のプロセッサによって実行される際に、移動端末にネットワーク環境に基づく映像画質の調整方法を実行させることができる。前記方法は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させるステップと、前記ターゲットフレーム番号の数が前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含む。
当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本願は本発明の全ての変更、用途又は適応性の変化を含む。これらの変更、用途又は適応性の変化は本発明の一般的な原理に従っており、本発明に未開示の本技術分野における周知技術又は慣用技術手段を含む。明細書及び実施例は例示的なものに過ぎず、本発明の真の範囲及び主旨は以下の特許請求の範囲によって示される。
本発明は、上記で説明した、また図面において示した寸分違わぬ構成に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本発明の範囲は付された特許請求の範囲によってのみ限定される。
本願は、出願番号がCN201410404533.6であって、出願日が2014年8月15日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

Claims (15)

  1. 端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
    予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
    前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
    前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。
  2. 前記調整方法はさらに、
    取込まれた映像データを取得するステップと、
    予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
    端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項1に記載のネットワーク環境に基づく映像画質の調整方法。
  3. 端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
    前記映像フレームがキーフレームであるか否かを判定するステップと、
    前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号と分割フレームの分割フレーム番号と前記複数の分割フレームの総数とを含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
    前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項1または2に記載のネットワーク環境に基づく映像画質の調整方法。
  4. 前記調整方法はさらに、
    前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
    前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
    前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含むことを特徴とする請求項1に記載のネットワーク環境に基づく映像画質の調整方法。
  5. 画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
    予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
    前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。
  6. 前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
    受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
    前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項5に記載のネットワーク環境に基づく映像画質の調整方法。
  7. 前記調整方法はさらに、
    受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
    予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項5に記載のネットワーク環境に基づく映像画質の調整方法。
  8. 端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため第1の受信モジュールと、
    予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
    前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。
  9. 前記調整装置はさらに、
    取込まれた映像データを取得するための取得モジュールと、
    予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
    端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含むことを特徴とする請求項8に記載のネットワーク環境に基づく映像画質の調整装置。
  10. 前記調整装置はさらに、
    前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
    前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含むことを特徴とする請求項8または9に記載のネットワーク環境に基づく映像画質の調整装置。
  11. 前記調整装置はさらに、
    前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含むことを特徴とする請求項8に記載のネットワーク環境に基づく映像画質の調整装置。
  12. 画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
    予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
    前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。
  13. 前記判定モジュールは、
    受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと
    前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含むことを特徴とする請求項12に記載のネットワーク環境に基づく映像画質の調整方法。
  14. 前記方法はさらに、
    受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、
    予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールとを含むことを特徴とする請求項12に記載のネットワーク環境に基づく映像画質の調整方法。
  15. プロセッサと、
    プロセッサにより実行可能な指令を記憶するメモリとを備え、
    前記プロセッサは、
    端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
    予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
    前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
    前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されることを特徴とするネットワーク環境に基づく映像画質の調整装置。
JP2016541813A 2014-08-15 2015-03-19 ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体 Active JP6195674B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410404533.6A CN104202614B (zh) 2014-08-15 2014-08-15 一种基于网络环境调整视频画质的方法及装置
CN201410404533.6 2014-08-15
PCT/CN2015/074610 WO2016023358A1 (zh) 2014-08-15 2015-03-19 一种基于网络环境调整视频画质的方法及装置

Publications (2)

Publication Number Publication Date
JP2016535545A true JP2016535545A (ja) 2016-11-10
JP6195674B2 JP6195674B2 (ja) 2017-09-13

Family

ID=52087830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016541813A Active JP6195674B2 (ja) 2014-08-15 2015-03-19 ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体

Country Status (8)

Country Link
EP (1) EP2986020B1 (ja)
JP (1) JP6195674B2 (ja)
KR (1) KR101650368B1 (ja)
CN (1) CN104202614B (ja)
BR (1) BR112015015813B1 (ja)
MX (1) MX358530B (ja)
RU (1) RU2624641C2 (ja)
WO (1) WO2016023358A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202614B (zh) * 2014-08-15 2016-03-09 小米科技有限责任公司 一种基于网络环境调整视频画质的方法及装置
US10085050B2 (en) 2014-08-15 2018-09-25 Xiaomi Inc. Method and apparatus for adjusting video quality based on network environment
CN106540449A (zh) * 2016-10-19 2017-03-29 天脉聚源(北京)科技有限公司 一种游戏赢率计算方法及装置
CN109753207B (zh) * 2017-11-02 2021-12-10 腾讯科技(深圳)有限公司 一种信息处理方法及其装置、存储介质
CN108769450B (zh) * 2018-06-21 2021-01-05 深圳市道通智能航空技术有限公司 数据传输控制方法、信息发送端、接收端及飞行器图传系统
CN109120933B (zh) * 2018-10-11 2021-05-14 广州酷狗计算机科技有限公司 动态调整码率的方法、装置、设备及存储介质
CN109766282B (zh) * 2019-01-31 2020-09-25 Oppo广东移动通信有限公司 一种卡顿检测方法、卡顿检测装置及终端设备
CN110290402B (zh) * 2019-07-31 2021-11-05 腾讯科技(深圳)有限公司 一种视频码率调整方法、装置、服务器及存储介质
CN114363576A (zh) * 2022-01-12 2022-04-15 厦门市思芯微科技有限公司 一种wifi可视类产品的图像动态传输方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03165193A (ja) * 1989-11-24 1991-07-17 Oki Electric Ind Co Ltd カラー静止画像の伝送における誤り再送方式
JP2003258885A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> ストリーム配信方法,ストリーム配信装置,ストリーム品質管理装置,ストリーム配信用プログラムおよびストリーム品質管理用プログラム
JP2012070113A (ja) * 2010-09-22 2012-04-05 Panasonic Corp マルチキャスト配信システム、並びにそれに用いる送信機及び受信機
JP2014027613A (ja) * 2012-07-30 2014-02-06 Toshiba Corp 映像送信装置、及び映像送信方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519004B1 (en) * 1998-10-09 2003-02-11 Microsoft Corporation Method for transmitting video information over a communication channel
US7143353B2 (en) 2001-03-30 2006-11-28 Koninklijke Philips Electronics, N.V. Streaming video bookmarks
KR101178302B1 (ko) * 2004-04-01 2012-09-07 구글 인코포레이티드 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐
US7969997B1 (en) * 2005-11-04 2011-06-28 The Board Of Trustees Of The Leland Stanford Junior University Video communications in a peer-to-peer network
EP3070922A1 (en) * 2005-12-08 2016-09-21 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
US8462856B2 (en) * 2007-01-09 2013-06-11 Vidyo, Inc. Systems and methods for error resilience in video communication systems
US8767839B2 (en) * 2007-01-22 2014-07-01 Qualcomm Incorporated Error filter to differentiate between reverse link and forward link video data errors
KR20100082106A (ko) * 2009-01-08 2010-07-16 삼성전자주식회사 와이 파이 멀티미디어 기반의 데이터 전송 방법 및 장치
GB2469281B (en) * 2009-04-06 2011-08-10 Motorola Inc Method and apparatus for asynchronous video transmission over a communication network
US8537699B2 (en) * 2009-06-16 2013-09-17 Qualcomm Incorporated Managing video adaptation algorithms
CN101697554B (zh) * 2009-09-27 2012-05-09 华中科技大学 一种p2p流媒体视频数据传输调度方法
CN101753980B (zh) * 2010-02-05 2012-04-18 上海悠络客电子科技有限公司 一种基于p2p技术实现准实时网络视频的方法
EP2400758A1 (en) * 2010-06-24 2011-12-28 Alcatel Lucent Method to Determine The Global Quality of a Video Stream
CN101964732B (zh) * 2010-09-02 2012-08-15 海信集团有限公司 计算丢包率的方法及装置、控制网络传输的方法及装置
CN101931799A (zh) * 2010-09-14 2010-12-29 中兴通讯股份有限公司 一种视频码流的平滑方法及装置
US8629913B2 (en) * 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
EP2756662A1 (en) * 2011-10-11 2014-07-23 Telefonaktiebolaget LM Ericsson (PUBL) Scene change detection for perceptual quality evaluation in video sequences
CN102547282B (zh) * 2011-12-29 2013-04-03 中国科学技术大学 可伸缩视频编码错误隐藏方法、解码器和系统
CN103780971A (zh) * 2012-10-23 2014-05-07 北京网动网络科技股份有限公司 一种互联网条件下基于rudp的实时视频传输方法
CN103916367B (zh) * 2012-12-31 2017-04-26 北京新媒传信科技有限公司 一种传输多媒体数据的方法及装置
CN103702139B (zh) * 2013-12-13 2017-02-01 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
CN104202614B (zh) * 2014-08-15 2016-03-09 小米科技有限责任公司 一种基于网络环境调整视频画质的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03165193A (ja) * 1989-11-24 1991-07-17 Oki Electric Ind Co Ltd カラー静止画像の伝送における誤り再送方式
JP2003258885A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> ストリーム配信方法,ストリーム配信装置,ストリーム品質管理装置,ストリーム配信用プログラムおよびストリーム品質管理用プログラム
JP2012070113A (ja) * 2010-09-22 2012-04-05 Panasonic Corp マルチキャスト配信システム、並びにそれに用いる送信機及び受信機
JP2014027613A (ja) * 2012-07-30 2014-02-06 Toshiba Corp 映像送信装置、及び映像送信方法

Also Published As

Publication number Publication date
RU2624641C2 (ru) 2017-07-05
EP2986020B1 (en) 2018-10-10
KR20160030466A (ko) 2016-03-18
BR112015015813B1 (pt) 2022-07-26
MX2015007044A (es) 2016-04-27
CN104202614A (zh) 2014-12-10
WO2016023358A1 (zh) 2016-02-18
EP2986020A1 (en) 2016-02-17
MX358530B (es) 2018-08-23
KR101650368B1 (ko) 2016-08-23
JP6195674B2 (ja) 2017-09-13
RU2015124150A (ru) 2017-01-10
BR112015015813A2 (pt) 2017-07-11
CN104202614B (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
JP6195674B2 (ja) ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体
EP3046309B1 (en) Method, device and system for projection on screen
WO2017071067A1 (zh) 音量调整方法、装置及终端
CN112114765A (zh) 投屏方法、装置及存储介质
CN104636110B (zh) 控制音量的方法及装置
JP2023537249A (ja) 投影データ処理方法および装置
CN105120301B (zh) 视频处理方法和装置、智能设备
CN109327716A (zh) 延迟控制方法、延迟控制装置和计算机可读存储介质
CN111526387B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN105407368A (zh) 多媒体播放方法、装置及系统
WO2018076358A1 (zh) 多媒体信息播放方法及系统、标准化服务器、直播终端
JP2012075039A (ja) 制御装置、および制御方法
CN106453032B (zh) 信息推送方法及装置、系统
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
US10085050B2 (en) Method and apparatus for adjusting video quality based on network environment
CN109729438B (zh) 一种发送视频包、接收视频包的方法及装置
US11689690B2 (en) Method and device for audio and video synchronization
CN108111920A (zh) 视频信息处理方法及装置
EP3972259A1 (en) Video transcoding method and apparatus, and electronic device and storage medium
JP6029626B2 (ja) 制御装置、および制御方法
CN110213531B (zh) 监控录像处理方法及装置
CN112153404A (zh) 码率调整方法、检测方法、装置、设备及存储介质
CN104717516A (zh) 一种多媒体数据的传输方法及装置
CN114007101B (zh) 融合显示设备的处理方法、设备及存储介质
WO2023246711A1 (zh) 视频处理方法及相关设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170815

R150 Certificate of patent or registration of utility model

Ref document number: 6195674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250