JP2016535545A - ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体 - Google Patents
ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2016535545A JP2016535545A JP2016541813A JP2016541813A JP2016535545A JP 2016535545 A JP2016535545 A JP 2016535545A JP 2016541813 A JP2016541813 A JP 2016541813A JP 2016541813 A JP2016541813 A JP 2016541813A JP 2016535545 A JP2016535545 A JP 2016535545A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- frame number
- divided
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 167
- 230000005540 biological transmission Effects 0.000 claims description 31
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000004549 pulsed laser deposition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/752—Media network packet handling adapting media to network capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6583—Acknowledgement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- General Engineering & Computer Science (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
Description
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号と前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含む。
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含む。
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含む。
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールとを含む。
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されるネットワーク環境に基づく映像画質の調整装置を提供する。
単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第1の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第2の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させる。こうすることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面をスムーズに再生させるように保証することができる。
ステップS12において、予め設定された時間帯におけるタイムスタンプの対応するターゲットフレーム番号の数を特定する。
ステップS13において、ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、ターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示された実施例において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
ステップS22において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ステップS23において、前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整する。
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信する映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信する映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
他の開示された実施例において、調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
ステップS31において、取込まれた映像データを取得する。
ここで、本発明に係わる方法は画像取込装置に用いられ、該画像取込装置はカメラやビデオレコーダ等の装置であってもよい。画像取込装置は、映像データを取込まれた後、後続ステップでの使用のためにそれを取得しなければならない。
ここで、映像データが取得された後、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データを圧縮することによって、フレーム番号付き映像フレームを生成する必要がある。予め設定された映像符号化方法は、H.262、H.263又はH264等の符号化方法であってもよいが、既に提供された符号化方法に限らない。所定の画質パラメータは予め設定された映像符号化方法の1項の符号化パラメータであり、所定の画質パラメータが高いほど、符号化されてなる映像フレームの画像品質が高く、映像フレームの解像度も高い。一方、所定の画質パラメータが低いほど、符号化されてなる映像フレームの画像品質が低く、映像フレームの解像度も低い。所定の画質パラメータは映像符号化率や解像度などのパラメータであってもよい。それぞれの映像フレームはいずれも唯一のフレーム番号を有し、このフレーム番号に基づいて映像フレームを区別することができる。
ここで、画像取込装置は、フレーム番号付き映像フレームを生成してから端末に送信する。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを順次に送信する際、端末は一定の時間内に、ある映像フレームを受信しなかった場合、該映像フレームを紛失したと認める。端末は、紛失した映像フレームのターゲットフレーム番号を特定してから、画像取込装置に紛失した映像フレームのターゲットフレーム番号を送信することによって、画像取込装置に紛失した映像フレームのターゲットフレーム番号を通知する。画像取込装置は紛失した映像フレームのターゲットフレーム番号を受信してから、該ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを送信する過程において、端末は紛失したターゲットフレーム番号を画像取込装置に送信することもでき、且つ、画像取込装置はそれぞれのターゲットフレーム番号のためにタイムスタンプを別々に配備したので、画像取込装置はある時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定することができる。
ここで、画像取込装置はそれぞれ第1の閾値と第2の閾値との2つの閾値を予め設定する。ターゲットフレーム番号の数が第1の閾値より大きい場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味する。このため、所定の画質パラメータを低下させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的低い映像フレームを生成し、画像取込装置の送信速度を低下させる。これによって、比較的悪いネットワーク環境においても、端末において映像画面をスムーズに再生し、ネットワーク環境が良くないときも、映像画面の不連続現象が生じないことを保証することができる。
ここで、ターゲットフレーム番号の数が第2の閾値より小さい場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味する。このため、画質パラメータを向上させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的高い映像フレームを生成し、画像取込装置の送信速度を向上させる。これによって、ネットワーク環境が比較的良い場合、端末が解像度が比較的高い映像画面を再生し、ネットワーク環境が比較的良いときに、画像取込装置が端末に予め設定された画質の比較的悪い映像リソースを送信して、ネットワーク帯域リソースの浪費を回避することを保証することができる。
端末から送信される紛失された映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするための第1の受信モジュール61と、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュール62と、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が前記第1の閾値よりより小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュール63とを含む。
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールと、を含む。
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行するための再送制御モジュールを含む。
受信モジュール71は、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するために用いられる。
判定モジュール72は、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するために用いられる。
実行モジュール73は、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像採取装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、さらに、画像取込装置がターゲットフレーム番号の数が第1の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、画像取込装置がターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるために用いられる。
図8を参照して、装置800は、プロセス部材802、メモリ804、電源部材806、マルチメディア部材808、オーディオ部材810、入出力(I/O)インターフェイス812、センサ部材814、及び通信部材816のような一つ以上の部材を含んでよい。
例示的な実施例において、装置800は、一つ以上のASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、DSPD(Digital Signal Processing Device)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号と前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため第1の受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含む。
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含む。
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含む。
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールとを含む。
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されるネットワーク環境に基づく映像画質の調整装置を提供する。
本発明の実施例の第6の局面によれば、プロセッサに実行されることにより、前記ネットワーク環境に基づく映像画質の調整方法を実現する記録媒体に記録されたプログラムを提供する。
本発明の実施例の第7の局面によれば、前記プログラムが記録された記録媒体を提供する。
単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第1の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第2の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させる。こうすることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面をスムーズに再生させるように保証することができる。
ステップS12において、予め設定された時間帯におけるタイムスタンプの対応するターゲットフレーム番号の数を特定する。
ステップS13において、ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、ターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示された実施例において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
ステップS22において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ステップS23において、前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整する。
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信する映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信する映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
他の開示された実施例において、調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
ステップS31において、取込まれた映像データを取得する。
ここで、本発明に係わる方法は画像取込装置に用いられ、該画像取込装置はカメラやビデオレコーダ等の装置であってもよい。画像取込装置は、映像データを取込まれた後、後続ステップでの使用のためにそれを取得しなければならない。
ここで、映像データが取得された後、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データを圧縮することによって、フレーム番号付き映像フレームを生成する必要がある。予め設定された映像符号化方法は、H.262、H.263又はH264等の符号化方法であってもよいが、既に提供された符号化方法に限らない。所定の画質パラメータは予め設定された映像符号化方法の1項の符号化パラメータであり、所定の画質パラメータが高いほど、符号化されてなる映像フレームの画像品質が高く、映像フレームの解像度も高い。一方、所定の画質パラメータが低いほど、符号化されてなる映像フレームの画像品質が低く、映像フレームの解像度も低い。所定の画質パラメータは映像符号化率や解像度などのパラメータであってもよい。それぞれの映像フレームはいずれも唯一のフレーム番号を有し、このフレーム番号に基づいて映像フレームを区別することができる。
ここで、画像取込装置は、フレーム番号付き映像フレームを生成してから端末に送信する。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを順次に送信する際、端末は一定の時間内に、ある映像フレームを受信しなかった場合、該映像フレームを紛失したと認める。端末は、紛失した映像フレームのターゲットフレーム番号を特定してから、画像取込装置に紛失した映像フレームのターゲットフレーム番号を送信することによって、画像取込装置に紛失した映像フレームのターゲットフレーム番号を通知する。画像取込装置は紛失した映像フレームのターゲットフレーム番号を受信してから、該ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを送信する過程において、端末は紛失したターゲットフレーム番号を画像取込装置に送信することもでき、且つ、画像取込装置はそれぞれのターゲットフレーム番号のためにタイムスタンプを別々に配備したので、画像取込装置はある時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定することができる。
ここで、画像取込装置はそれぞれ第1の閾値と第2の閾値との2つの閾値を予め設定する。ターゲットフレーム番号の数が第1の閾値より大きい場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味する。このため、所定の画質パラメータを低下させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的低い映像フレームを生成し、画像取込装置の送信速度を低下させる。これによって、比較的悪いネットワーク環境においても、端末において映像画面をスムーズに再生し、ネットワーク環境が良くないときも、映像画面の不連続現象が生じないことを保証することができる。
ここで、ターゲットフレーム番号の数が第2の閾値より小さい場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味する。このため、画質パラメータを向上させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的高い映像フレームを生成し、画像取込装置の送信速度を向上させる。これによって、ネットワーク環境が比較的良い場合、端末が解像度が比較的高い映像画面を再生し、ネットワーク環境が比較的良いときに、画像取込装置が端末に予め設定された画質の比較的悪い映像リソースを送信して、ネットワーク帯域リソースの浪費を回避することを保証することができる。
端末から送信される紛失された映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするための第1の受信モジュール61と、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュール62と、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が前記第1の閾値よりより小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュール63とを含む。
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールと、を含む。
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行するための再送制御モジュールを含む。
受信モジュール71は、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するために用いられる。
判定モジュール72は、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するために用いられる。
実行モジュール73は、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像採取装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、さらに、画像取込装置がターゲットフレーム番号の数が第1の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、画像取込装置がターゲットフレーム番号の数が第1の閾値より小さい値である第2の閾値より小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるために用いられる。
図8を参照して、装置800は、プロセス部材802、メモリ804、電源部材806、マルチメディア部材808、オーディオ部材810、入出力(I/O)インターフェイス812、センサ部材814、及び通信部材816のような一つ以上の部材を含んでよい。
例示的な実施例において、装置800は、一つ以上のASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、DSPD(Digital Signal Processing Device)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
Claims (15)
- 端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。 - 前記調整方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項1に記載のネットワーク環境に基づく映像画質の調整方法。 - 端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号と分割フレームの分割フレーム番号と前記複数の分割フレームの総数とを含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項1または2に記載のネットワーク環境に基づく映像画質の調整方法。 - 前記調整方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含むことを特徴とする請求項1に記載のネットワーク環境に基づく映像画質の調整方法。 - 画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。 - 前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項5に記載のネットワーク環境に基づく映像画質の調整方法。 - 前記調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項5に記載のネットワーク環境に基づく映像画質の調整方法。 - 端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため第1の受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。 - 前記調整装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含むことを特徴とする請求項8に記載のネットワーク環境に基づく映像画質の調整装置。 - 前記調整装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含むことを特徴とする請求項8または9に記載のネットワーク環境に基づく映像画質の調整装置。 - 前記調整装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に1を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含むことを特徴とする請求項8に記載のネットワーク環境に基づく映像画質の調整装置。 - 画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。 - 前記判定モジュールは、
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した1つ前の映像フレームのフレーム番号と連続するか否かを判定するための第1の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した1つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した1つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第1の実行サブモジュールとを含むことを特徴とする請求項12に記載のネットワーク環境に基づく映像画質の調整方法。 - 前記方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第2の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第2の実行サブモジュールとを含むことを特徴とする請求項12に記載のネットワーク環境に基づく映像画質の調整方法。 - プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第1の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第1の閾値より小さい値である第2の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されることを特徴とするネットワーク環境に基づく映像画質の調整装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410404533.6A CN104202614B (zh) | 2014-08-15 | 2014-08-15 | 一种基于网络环境调整视频画质的方法及装置 |
CN201410404533.6 | 2014-08-15 | ||
PCT/CN2015/074610 WO2016023358A1 (zh) | 2014-08-15 | 2015-03-19 | 一种基于网络环境调整视频画质的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016535545A true JP2016535545A (ja) | 2016-11-10 |
JP6195674B2 JP6195674B2 (ja) | 2017-09-13 |
Family
ID=52087830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016541813A Active JP6195674B2 (ja) | 2014-08-15 | 2015-03-19 | ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体 |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP2986020B1 (ja) |
JP (1) | JP6195674B2 (ja) |
KR (1) | KR101650368B1 (ja) |
CN (1) | CN104202614B (ja) |
BR (1) | BR112015015813B1 (ja) |
MX (1) | MX358530B (ja) |
RU (1) | RU2624641C2 (ja) |
WO (1) | WO2016023358A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202614B (zh) * | 2014-08-15 | 2016-03-09 | 小米科技有限责任公司 | 一种基于网络环境调整视频画质的方法及装置 |
US10085050B2 (en) | 2014-08-15 | 2018-09-25 | Xiaomi Inc. | Method and apparatus for adjusting video quality based on network environment |
CN106540449A (zh) * | 2016-10-19 | 2017-03-29 | 天脉聚源(北京)科技有限公司 | 一种游戏赢率计算方法及装置 |
CN109753207B (zh) * | 2017-11-02 | 2021-12-10 | 腾讯科技(深圳)有限公司 | 一种信息处理方法及其装置、存储介质 |
CN108769450B (zh) * | 2018-06-21 | 2021-01-05 | 深圳市道通智能航空技术有限公司 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
CN109120933B (zh) * | 2018-10-11 | 2021-05-14 | 广州酷狗计算机科技有限公司 | 动态调整码率的方法、装置、设备及存储介质 |
CN109766282B (zh) * | 2019-01-31 | 2020-09-25 | Oppo广东移动通信有限公司 | 一种卡顿检测方法、卡顿检测装置及终端设备 |
CN110290402B (zh) * | 2019-07-31 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 一种视频码率调整方法、装置、服务器及存储介质 |
CN114363576A (zh) * | 2022-01-12 | 2022-04-15 | 厦门市思芯微科技有限公司 | 一种wifi可视类产品的图像动态传输方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03165193A (ja) * | 1989-11-24 | 1991-07-17 | Oki Electric Ind Co Ltd | カラー静止画像の伝送における誤り再送方式 |
JP2003258885A (ja) * | 2002-03-01 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | ストリーム配信方法,ストリーム配信装置,ストリーム品質管理装置,ストリーム配信用プログラムおよびストリーム品質管理用プログラム |
JP2012070113A (ja) * | 2010-09-22 | 2012-04-05 | Panasonic Corp | マルチキャスト配信システム、並びにそれに用いる送信機及び受信機 |
JP2014027613A (ja) * | 2012-07-30 | 2014-02-06 | Toshiba Corp | 映像送信装置、及び映像送信方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6519004B1 (en) * | 1998-10-09 | 2003-02-11 | Microsoft Corporation | Method for transmitting video information over a communication channel |
US7143353B2 (en) | 2001-03-30 | 2006-11-28 | Koninklijke Philips Electronics, N.V. | Streaming video bookmarks |
KR101178302B1 (ko) * | 2004-04-01 | 2012-09-07 | 구글 인코포레이티드 | 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐 |
US7969997B1 (en) * | 2005-11-04 | 2011-06-28 | The Board Of Trustees Of The Leland Stanford Junior University | Video communications in a peer-to-peer network |
EP3070922A1 (en) * | 2005-12-08 | 2016-09-21 | Vidyo, Inc. | Systems and methods for error resilience and random access in video communication systems |
US8462856B2 (en) * | 2007-01-09 | 2013-06-11 | Vidyo, Inc. | Systems and methods for error resilience in video communication systems |
US8767839B2 (en) * | 2007-01-22 | 2014-07-01 | Qualcomm Incorporated | Error filter to differentiate between reverse link and forward link video data errors |
KR20100082106A (ko) * | 2009-01-08 | 2010-07-16 | 삼성전자주식회사 | 와이 파이 멀티미디어 기반의 데이터 전송 방법 및 장치 |
GB2469281B (en) * | 2009-04-06 | 2011-08-10 | Motorola Inc | Method and apparatus for asynchronous video transmission over a communication network |
US8537699B2 (en) * | 2009-06-16 | 2013-09-17 | Qualcomm Incorporated | Managing video adaptation algorithms |
CN101697554B (zh) * | 2009-09-27 | 2012-05-09 | 华中科技大学 | 一种p2p流媒体视频数据传输调度方法 |
CN101753980B (zh) * | 2010-02-05 | 2012-04-18 | 上海悠络客电子科技有限公司 | 一种基于p2p技术实现准实时网络视频的方法 |
EP2400758A1 (en) * | 2010-06-24 | 2011-12-28 | Alcatel Lucent | Method to Determine The Global Quality of a Video Stream |
CN101964732B (zh) * | 2010-09-02 | 2012-08-15 | 海信集团有限公司 | 计算丢包率的方法及装置、控制网络传输的方法及装置 |
CN101931799A (zh) * | 2010-09-14 | 2010-12-29 | 中兴通讯股份有限公司 | 一种视频码流的平滑方法及装置 |
US8629913B2 (en) * | 2010-09-30 | 2014-01-14 | Apple Inc. | Overflow control techniques for image signal processing |
EP2756662A1 (en) * | 2011-10-11 | 2014-07-23 | Telefonaktiebolaget LM Ericsson (PUBL) | Scene change detection for perceptual quality evaluation in video sequences |
CN102547282B (zh) * | 2011-12-29 | 2013-04-03 | 中国科学技术大学 | 可伸缩视频编码错误隐藏方法、解码器和系统 |
CN103780971A (zh) * | 2012-10-23 | 2014-05-07 | 北京网动网络科技股份有限公司 | 一种互联网条件下基于rudp的实时视频传输方法 |
CN103916367B (zh) * | 2012-12-31 | 2017-04-26 | 北京新媒传信科技有限公司 | 一种传输多媒体数据的方法及装置 |
CN103702139B (zh) * | 2013-12-13 | 2017-02-01 | 华中科技大学 | 一种移动环境下基于可扩展编码的视频点播系统 |
CN104202614B (zh) * | 2014-08-15 | 2016-03-09 | 小米科技有限责任公司 | 一种基于网络环境调整视频画质的方法及装置 |
-
2014
- 2014-08-15 CN CN201410404533.6A patent/CN104202614B/zh active Active
-
2015
- 2015-03-19 MX MX2015007044A patent/MX358530B/es active IP Right Grant
- 2015-03-19 KR KR1020157012814A patent/KR101650368B1/ko active IP Right Grant
- 2015-03-19 BR BR112015015813-7A patent/BR112015015813B1/pt active IP Right Grant
- 2015-03-19 RU RU2015124150A patent/RU2624641C2/ru active
- 2015-03-19 WO PCT/CN2015/074610 patent/WO2016023358A1/zh active Application Filing
- 2015-03-19 JP JP2016541813A patent/JP6195674B2/ja active Active
- 2015-08-17 EP EP15181271.6A patent/EP2986020B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03165193A (ja) * | 1989-11-24 | 1991-07-17 | Oki Electric Ind Co Ltd | カラー静止画像の伝送における誤り再送方式 |
JP2003258885A (ja) * | 2002-03-01 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | ストリーム配信方法,ストリーム配信装置,ストリーム品質管理装置,ストリーム配信用プログラムおよびストリーム品質管理用プログラム |
JP2012070113A (ja) * | 2010-09-22 | 2012-04-05 | Panasonic Corp | マルチキャスト配信システム、並びにそれに用いる送信機及び受信機 |
JP2014027613A (ja) * | 2012-07-30 | 2014-02-06 | Toshiba Corp | 映像送信装置、及び映像送信方法 |
Also Published As
Publication number | Publication date |
---|---|
RU2624641C2 (ru) | 2017-07-05 |
EP2986020B1 (en) | 2018-10-10 |
KR20160030466A (ko) | 2016-03-18 |
BR112015015813B1 (pt) | 2022-07-26 |
MX2015007044A (es) | 2016-04-27 |
CN104202614A (zh) | 2014-12-10 |
WO2016023358A1 (zh) | 2016-02-18 |
EP2986020A1 (en) | 2016-02-17 |
MX358530B (es) | 2018-08-23 |
KR101650368B1 (ko) | 2016-08-23 |
JP6195674B2 (ja) | 2017-09-13 |
RU2015124150A (ru) | 2017-01-10 |
BR112015015813A2 (pt) | 2017-07-11 |
CN104202614B (zh) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6195674B2 (ja) | ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体 | |
EP3046309B1 (en) | Method, device and system for projection on screen | |
WO2017071067A1 (zh) | 音量调整方法、装置及终端 | |
CN112114765A (zh) | 投屏方法、装置及存储介质 | |
CN104636110B (zh) | 控制音量的方法及装置 | |
JP2023537249A (ja) | 投影データ処理方法および装置 | |
CN105120301B (zh) | 视频处理方法和装置、智能设备 | |
CN109327716A (zh) | 延迟控制方法、延迟控制装置和计算机可读存储介质 | |
CN111526387B (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
CN105407368A (zh) | 多媒体播放方法、装置及系统 | |
WO2018076358A1 (zh) | 多媒体信息播放方法及系统、标准化服务器、直播终端 | |
JP2012075039A (ja) | 制御装置、および制御方法 | |
CN106453032B (zh) | 信息推送方法及装置、系统 | |
US20230335081A1 (en) | Display Synchronization Method, Electronic Device, and Readable Storage Medium | |
US10085050B2 (en) | Method and apparatus for adjusting video quality based on network environment | |
CN109729438B (zh) | 一种发送视频包、接收视频包的方法及装置 | |
US11689690B2 (en) | Method and device for audio and video synchronization | |
CN108111920A (zh) | 视频信息处理方法及装置 | |
EP3972259A1 (en) | Video transcoding method and apparatus, and electronic device and storage medium | |
JP6029626B2 (ja) | 制御装置、および制御方法 | |
CN110213531B (zh) | 监控录像处理方法及装置 | |
CN112153404A (zh) | 码率调整方法、检测方法、装置、设备及存储介质 | |
CN104717516A (zh) | 一种多媒体数据的传输方法及装置 | |
CN114007101B (zh) | 融合显示设备的处理方法、设备及存储介质 | |
WO2023246711A1 (zh) | 视频处理方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6195674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |