JP2021522723A - 人工知能基盤解像度改善システム - Google Patents

人工知能基盤解像度改善システム Download PDF

Info

Publication number
JP2021522723A
JP2021522723A JP2020560196A JP2020560196A JP2021522723A JP 2021522723 A JP2021522723 A JP 2021522723A JP 2020560196 A JP2020560196 A JP 2020560196A JP 2020560196 A JP2020560196 A JP 2020560196A JP 2021522723 A JP2021522723 A JP 2021522723A
Authority
JP
Japan
Prior art keywords
neural network
resolution
data
unit
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020560196A
Other languages
English (en)
Other versions
JP7385286B2 (ja
Inventor
イク チャン，キョン
イク チャン，キョン
Original Assignee
ジーディーエフラボ カンパニー リミテッド
ジーディーエフラボ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーディーエフラボ カンパニー リミテッド, ジーディーエフラボ カンパニー リミテッド filed Critical ジーディーエフラボ カンパニー リミテッド
Priority claimed from PCT/KR2019/004890 external-priority patent/WO2019209005A1/ko
Publication of JP2021522723A publication Critical patent/JP2021522723A/ja
Application granted granted Critical
Publication of JP7385286B2 publication Critical patent/JP7385286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

本発明の実施例による解像度改善システムは、使用者器機側の要請に対応して、要請されたビデオデータを使用者器機に伝送するサービスを行い、保有したビデオデータに基づいてイメージ情報の解像度を改善するための人工神経網アルゴリズム動作に要求される汎用神経網ファイルを生成し、前記生成された汎用神経網ファイル及び解像度を既設定された水準以下に変更した低画質ビデオデータを前記使用者器機に伝送するサーバーと、前記サーバーから受信される低画質ビデオデータに前記受信された汎用神経網ファイルを適用した人工神経網アルゴリズムに基づいた演算動作を行い、前記演算動作によって前記低画質ビデオデータの解像度を改善し、前記解像度が改善されたビデオデータを再生する使用者器機と、を含んで構成されることができる。

Description

本発明は人工知能に基づいて解像度を改善するサービスを提供するシステムに関する。より詳しくは、本発明はイメージのサイズを縮小する際に発生される格子に対する情報を抽出し、これに対する情報に基づいて低画質イメージデータの格子を除去し、高画質イメージデータに解像度を復元するシステムに関する。
イメージデータの解像度を改善するために、今まで補間技法、マシンラーニング技法などの多様な方式での接近が行われてきた。最近にはディープラーニング技法を利用した研究が映像認識／分析などのパターン認識分野で活発に行われている。また、ディープラーニングを利用した技術が映像画質の改善分野の一つであるアップスケーリング技法でも学習基盤マシンラーニング技法より優れた性能を見せていることが証明された。
本発明はメモリー量をそれほど占めないながらリアルタイムで映像データを処理することを目的とする。
本発明はディープラーニング基盤汎用神経網ファイルを通じてコンテンツの種類にかかわらず手軽く解像度を改善するようにすることを目的とする。
本発明の実施例による解像度改善システムは、使用者器機側の要請に対応して、要請されたビデオデータを使用者器機に伝送するサービスを行い、保有したビデオデータに基づいてイメージ情報の解像度を改善するための人工神経網アルゴリズム動作に要求される汎用神経網ファイルを生成し、前記生成された汎用神経網ファイル及び解像度を既設定された水準以下に変更した低画質ビデオデータを前記使用者器機に伝送するサーバーと、前記サーバーから受信される低画質ビデオデータに前記受信された汎用神経網ファイルを適用した人工神経網アルゴリズムに基づいた演算動作を行い、前記演算動作によって前記低画質ビデオデータの解像度を改善し、前記解像度が改善されたビデオデータを再生する使用者器機と、を含んで構成されることができる。
本発明の実施例は映像データを提供する側で低画質データを伝送しても該映像を再生する時、神経網ファイルに基づいて解像度を改善することができることによって、高画質データの代わりに低画質データでデータの送受信が行われるようにする環境基盤を提供することができる。それによって、本発明は高容量の高画質映像データを伝送する場合に発生される伝送速度の低下問題を解決するという効果を奏する。
また、本発明は低画質映像のみを保有しても動画の実行当時に神経網ファイルを通じて高画質に変換することができるようにするので、比較的メモリー容量を少なく占めるようになるという効果を奏する。
本発明の実施例による解像度改善システムを示した図面である。 本発明の実施例による画質改善動作の例示を示した図面である。 本発明の実施例によるサーバーの構成を示したブロック図である。 本発明の実施例による資料加工部の構成を示した図面である。 本発明の実施例による神経網学習部の構成を示した図面である。 本発明の実施例によるサイズ変更部で行うサイズ変更動作の例示を示した図面である。 本発明の実施例によるディープラーニング学習動作の例示を説明するための図面である。 本発明の実施例による使用者器機の構成を示した図面である。 本発明の実施例による画質改善用神経網ファイルの生成及び伝送過程を示した図面である。
本発明の実施例による解像度改善システムは、使用者器機側の要請に対応して、要請されたビデオデータを使用者器機に伝送するサービスを行い、保有したビデオデータに基づいてイメージ情報の解像度を改善するための人工神経網アルゴリズム動作に要求される汎用神経網ファイルを生成し、前記生成された汎用神経網ファイル及び解像度を既設定された水準以下に変更した低画質ビデオデータを前記使用者器機に伝送するサーバーと、前記サーバーから受信される低画質ビデオデータに前記受信された汎用神経網ファイルを適用した人工神経網アルゴリズムに基づいた演算動作を行い、前記演算動作によって前記低画質ビデオデータの解像度を改善し、前記解像度が改善されたビデオデータを再生する使用者器機と、を含んで構成されることができる。
発明の実施のための形態
本発明は多様な変更を施すことができ、様々な実施例を有することができるが、特定実施例を図面に例示して詳細に説明する。
しかし、これは本発明を特定の実施形態に対して限定するのではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むことに理解するべきである。各図面を説明する際に、類似する構成要素に対して類似する参照符号を用いた。
ある構成要素が他の構成要素に「連結されて」いるか「接続されて」いると言及された場合、その他の構成要素に直接連結されているかまたは接続されている場合もあるが、中間に他の構成要素が存在することもあり得ることを理解すべきである。一方に、ある構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いると言及された場合には、中間に他の構成要素が存在しないことと理解すべきである。
本出願で用いた用語はただ特定の実施例を説明するために用いられたもので、本発明を限定する意図はない。単数の表現は文脈上明白に違うように意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」などの用語は明細書に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたのが存在することを指定するのであって、一つまたはその以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことに理解すべきである。
図１は本発明の実施例による解像度改善システムを示した図面である。
本発明の実施例による解像度改善システムは、図１で示したように、サーバー１００と使用者器機２００を含んで構成されることができる。
一実施例によって、前記サーバー１００は使用者器機２００にＶＯＤサービスを提供するサーバーを含むことができる。
前記サーバー１００は使用者器機２００にＶＯＤサービスを提供するためにビデオデータを伝送することができる。また、本発明の実施例によって、前記サーバー１００はビデオデータの画質を改善するために要求される神経網ファイルを算出し、これを使用者器機２００にともに伝送することができる。それによって、前記使用者器機２００はサーバー１００から提供されたビデオデータを受信した神経網ファイルに基づいて画質を改善させることができる。
また、前記使用者器機２００はサーバー２００に伝送してほしいビデオデータを選択して伝送を要請することができる。そして、前記使用者器機２００は自分のビデオデータの選択情報、再生情報に基づいて算出された使用者視聴パターン情報を算出してこれを前記サーバー２００に伝送することができる。
前記使用者器機２００で行われる画質改善動作について簡単に説明するために図２を参照する。
図２は本発明の実施例による画質改善動作の例示を示した図面である。
使用者器機２００は、図２で示したように、ビデオファイルを神経網ファイルを通じて解像度が改善されたビデオファイルを生成することができる。この時、本発明の実施例によって前記神経網ファイルはビデオファイルの種類にかかわらず使用可能な汎用ファイルであり、それによって前記神経網ファイルは使用者器機２００に伝送されたあるビデオファイルと結合して解像度を改善させることができる。
また、多様な実施例によって使用者器機２００は前記汎用神経網ファイルを埋込式ソフトウェアに搭載し、画質改善対象となるビデオファイルをサーバー１００（例えば、動画ストリーミングサーバー）から受信することもできる。
図３は本発明の実施例によるサーバーの構成を示したブロック図である。
本発明の実施例による前記サーバー１００は、図３で示したように、通信部１１０、保存部１２０、制御部１３０を含んで構成されることができる。そして前記制御部１３０は、資料加工部１３１、神経網学習部１３２、結果評価部１３３、使用パターン算出部１３４を含んで構成されることができる。
まず、前記通信部１１０は使用者デバイスとサーバーとの間のデータ送受信のために、ネットワークを利用することができ、前記ネットワークの種類は特に制限されない。前記ネットワークは、例えば、インターネットプロトコル（ＩＰ）を通じて大容量データの送受信サービスを提供するＩＰ（ＩＰ：Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網または互いに異なるＩＰ網を統合したＡｌｌ ＩＰ網であってもよい。また、前記ネットワークは、有線網、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）網、ＷＣＤＭＡ（登録商標）を含む移動通信網、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）網及びＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）網を含む移動通信網、ＬＴＥ ａｄｖａｎｃｅｄ（ＬＴＥ−Ａ）、５Ｇ（Ｆｉｖｅ Ｇｅｎｅｒａｔｉｏｎ）を含む移動通信網、衛星通信網及びＷｉ−Ｆｉ網の中の一つまたはこれらの中の少なくとも一つ以上を結合してなることができる。
本発明の実施例による前記通信部１１０は、外部ウェブサーバー及び多数の使用者器機などとのデータ通信を行うことができる。例えば、前記通信部１１０は他のウェブサーバーまたは使用者器機（管理者用器機を含む）からイメージが含まれるコンテンツデータ（写真及び動画）を受信することができる。そして前記サーバー１００はＶＯＤサービスを提供するサーバーを含むことによって、使用者の要請に対応するＶＯＤコンテンツを使用者器機２００に伝送することができる。
多様な実施例によって、前記通信部１１０はＶＯＤサービスのためにＶＯＤファイルの受信及び伝送を行うことができるが、これに限定されるのではなく、前記通信部１１０は解像度改善用神経網ファイルを生成するために要求される学習データを収集するための通信機能を行うことができる。
前記神経網ファイルは、人工神経網アルゴリズムを通じて損傷された映像データの解像度を原本データと類似するように復元させるために必要な情報を含むものであってもよく、人工神経網アルゴリズムの駆動時に選択すべき各種パラメーターに関する情報を含んでもよい。
前記保存部１２０は、例えば、内蔵メモリーまたは外装メモリーを含むことができる。内蔵メモリーは、例えば、揮発性メモリー（例えば：ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）、またはＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ）など）、非揮発性メモリー（ｎｏｎ−ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）（例えば：ＯＴＰＲＯＭ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ｍａｓｋ ＲＯＭ、ｆｌａｓｈ ＲＯＭ、フラッシュメモリー（例えば：ＮＡＮＤ ｆｌａｓｈまたはＮＯＲ ｆｌａｓｈなど）、ハードドライブ、またはソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ（ＳＳＤ））の中の少なくとも一つを含むことができる。
外装メモリーは、フラッシュドライブ（ｆｌａｓｈ ｄｒｉｖｅ）、例えば、ＣＦ（ｃｏｍｐａｃｔ ｆｌａｓｈ）、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）、Ｍｉｃｒｏ−ＳＤ（ｍｉｃｒｏ ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）、Ｍｉｎｉ−ＳＤ（ｍｉｎｉ ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）、ＸＤ（ｅｘｔｒｅｍｅ ｄｉｇｉｔａｌ）、ＭＭＣ（ｍｕｌｔｉ−ｍｅｄｉａ ｃａｒｄ）またはメモリースティック（ｍｅｍｏｒｙ ｓｔｉｃｋ）などをさらに含むことができる。外装メモリーは多様なインターフェースを通じて電子装置と機能的に及び／または物理的に連結されることができる。
本発明の実施例による前記保存部１２０は使用者器機（管理者器機）または他のウェブサーバーから受信されたイメージデータ（例えば、写真及びビデオデータ）を加工した加工データ（原本イメージデータを所定の比率で縮小したデータ、または縮小した後原本データサイズに拡大したデータ）と対応する原本データをマッチングして保存することができる。前記原本データと加工データはそれぞれ解像度の減少時に発生される格子現象に対する情報を抽出するのに用いられることができる。
また、前記保存部１２０は、格子現象に対する情報を抽出した後、人工知能アルゴリズム（例えば、ＳＲＣＮＮ）を通じて加工データに存在する格子を除去して、解像度を原本イメージ水準に復元するためのデータである神経網ファイルを保存することができる。
前記制御部１３０はプロセッサ（Ｐｒｏｃｅｓｓｏｒ）、コントローラー（ｃｏｎｔｒｏｌｌｅｒ）、マイクロコントローラー（ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、マイクロコンピューター（ｍｉｃｒｏｃｏｍｐｕｔｅｒ）などとも呼ぶことができる。一方、制御部はハードウェア（ｈａｒｄｗａｒｅ）またはファームウエア（ｆｉｒｍｗａｒｅ）、ソフトウェア、またはこれらの結合によって具現されることができる。
ファームウエアやソフトウェアによる具現の場合、本発明の一実施例は以上で説明された機能または動作を実行するモジュール、手続き、関数などの形態で具現されることができる。ソフトウェアコードはメモリーに保存されて制御部によって駆動されることができる。メモリーは前記使用者端末及びサーバー内部または外部に位置することができ、既に公知された多様な手段によって前記制御部とデータを取り交わすことができる。
本発明の実施例による前記制御部１３０は、イメージデータの解像度を人工神経網基盤の演算を通じて改善するために要求されるファイルである汎用神経網ファイルを生成することができる。
前記制御部１３０は、資料加工部１３１、神経網学習部１３２、結果評価部１３３、使用パターン算出部１３４を含んで構成されることができる。
まず、前記資料加工部１３１は、ビデオデータの画質の改善のために要求される汎用神経網ファイルを算出するために必要な学習用資料を収集及び加工することができる。前記資料加工部１３１は収集された資料の１次変更（縮小変更）及び２次変更（縮小されたイメージデータを再び拡大）を行うことができる。前記資料加工部１３１が実行する動作のより具体的な内容は図４を参照して記述する。
前記神経網学習部１３２は、前記資料加工部１３１で実行した資料の収集及び加工動作を経た後、算出された加工されたデータに基づいて人工知能に基づいた神経網学習動作を行うことができる。前記神経網学習部１３２は学習過程に要求されるパラメーター設定動作及び神経網ファイル算出動作を行うことができる。前記神経網学習部１３２に対するより詳しい説明は図５を参照して記述する。
前記結果評価部１３３は、神経網学習部１３２を通じて算出された汎用神経網ファイルを使用者器機２００で適用した結果値を評価する動作を行うことができる。
具体的に、前記結果評価部１３３は、使用者器機２００で神経網ファイルを適用した結果データの解像度の向上程度を判断することができる。また、前記結果評価部１３３は、神経網ファイルを適用した結果データと原本データとの誤差率を判断することができる。この時、結果データと原本データの比較単位は映像を構成する各フレームであってもよく、映像を伝送するために分割された切れ単位であってもよい。
または、多様な実施例によって各映像データはイメージ同一性に基づいて多数のフレーム束（例えば、一イメージが１００フレームにかけて表示される場合、前記１００フレームは一つのフレーム束に設定されることができ、このようなフレーム束も多数に設定されることができる）に分割されていることができる。それによって前記結果データと原本データの比較単位はイメージ同一性に基づいて分割された束単位になり得る。
さらに、前記結果評価部１３３は、前記結果データと前記原本データとの誤差率が基準値以上であると判断される場合、神経網ファイルを構成するＷｅｉｇｈｔ、ｂｉａｓ値などの修正を要請することができる。即ち、前記結果評価部１３３は、原本データと結果データの比較を通じて神経網ファイルを構成するパラメーターの修正可否を判断することができる。
一実施例によって前記結果評価部１３３は原本データから映像を理解するために要求されるイメージ客体別重要度を算出することができる。そして、前記原本データと前記結果データ（使用者器機２００で神経網ファイルを適用して解像度を改善したデータ）の１単位（例えば、１フレーム、１フレーム束など）誤差率が既設定された値以上であると同時に前記１単位に既設定された値以上のイメージ客体が含まれたことと判断された場合、神経網ファイルを構成するｗｅｉｇｈｔ、ｂｉａｓ値の修正を要請することができる。
前記イメージ客体別重要度は１フレーム内１イメージ客体が占めるサイズの比率、イメージ客体の繰り返し比率などに基づいてその値が算出されることができる。
多様な実施例によって、前記結果評価部１３３は多様な実施例によってビデオデータのコンテンツ特性に基づいたイメージ客体別重要度を算出することができる。前記結果評価部１３３は、まずビデオデータのコンテンツ特性を確認することができるが、この時、私益ビデオデータのコンテンツ特性は前記資料加工部１３１によって算出されることができる。例えば、前記ビデオデータのコンテンツ特性はビデオデータがサーバー１００にファイルがアップロードされた経路に対する情報（例えば、使用者または管理者が該ビデオファイルをサーバー１００にアップロードする当時に選択したフォルダ名）、使用者または管理者が該ビデオファイルをサーバー１００にアップロードする当時に入力したコンテンツジャンル、分野などに基づいて算出されることができる。そして算出されたビデオデータのコンテンツ特性は該ビデオデータのメタデータとして管理されることができる。
それによって、前記結果評価部１３３は、サーバー１００にアップロードされる当時に抽出され、保存された各ビデオデータのコンテンツ特性情報を確認することができ、それによってコンテンツ特性情報に基づいたイメージ客体別重要度を算出することができる。例えば、前記結果評価部１３３は、人物の顔面客体、テキスト客体（例えば、字幕）、事物客体などでイメージ客体の項目を分類することができ、コンテンツ特性情報とマッチングされる各客体項目（例えば、ドラマコンテンツに対応して人物の顔面客体をマッチングすることができる）を判断することができる。
前記使用パターン算出部１３４は、使用者のストリーミング要請記録、ダウンロード記録、使用者器機２００から算出されて伝送される使用者情報などに基づいて使用者のＶＯＤサービスに対する使用パターンを算出することができる。
使用パターン算出部１３４は、使用パターンとして使用者の選好ジャンル、選好コンテンツ特性、主要ストリーミング要請時間帯、主要視聴器機などのような項目を算出することができる。前記使用パターン算出部１３４は算出された使用者の使用パターン情報に基づいて使用者に適する画面モードを推薦することができる。多様な実施例によって画質改善のための神経網ファイルは汎用的に用いられることができるが、結果データの画面モード（例えば、映画サイズモード、字幕中心モード、特定色相（ＲＧＢ）強化モード、人物中心解像度改善モードなど）によって分けられたファイルに算出されることもできる。即ち、使用者は使用者器機２００にサーバー１００で提供可能な多数の画面モード別神経網ファイルの中で自分の使用パターンに適する一つの汎用神経網ファイルをダウンロードして解像度を改善することができる。このために、前記使用パターン算出部１３４は、使用者別使用パターンを算出し、それに対する情報を別途に管理することができる。その後、該使用者がストリーミング要請する場合、該使用者の使用パターンに適合するモードの神経網ファイルを生成してこれを提供することができる。
多様な実施例によって使用者の使用パターンに適合する汎用神経網ファイルは、サーバー１００の使用パターン算出部１３４で算出した使用者の使用パターン情報に基づいて自動的に設定されることもでき、使用者によって選択された画面モードに基づいて設定されることもできる。
図４は本発明の実施例による資料加工部の構成を示した図面である。
本発明の実施例による前記資料加工部１３１は、図４で示したように、サイズ変更部１３１ａ、映像分割部１３１ｂ、特徴領域抽出部１３１ｃを含んで構成されることができる。
ビデオデータの画質改善のための神経網ファイルを算出するためには、神経網学習部にインプットレイヤー に投入する入力資料乃至入力する資料の特徴値などが用意されるべきであるが、前記資料加工部１３１でインプットレイヤー に投入する資料及びデータを準備することができる。
まず、前記サイズ変更部１３１ａは、ビデオデータを構成するイメージのサイズを原本サイズから既設定された値だけ縮小させる１次変更動作と１次変更結果イメージを原本サイズに対応して拡大させる２次変更動作を行うことができる。前記サイズ変更部１３１ａで行うサイズ変更動作について説明するために図６を参考する。
図６は本発明の実施例によるサイズ変更部で行うサイズ変更動作の例示を示した図面である。
図６で示したように、サイズ変更部１３１ａは原本イメージ６０５を所定の比率で縮小する１次変更動作であるａ動作を行うことができ、ａ動作の結果算出された縮小イメージ６１０を原本イメージと同じサイズに拡大する２次変更動作であるｂ動作を行うことができる。加工動作（１次変更動作（ａ）及び２次変更動作（ｂ））後に生成されたイメージ６１５は原本イメージ６０５と違って解像度が低くなり、これはイメージを構成するピクセルが数値増加なしにサイズのみ拡大されたことに起因する。
イメージ６１５（イメージ６１０と同じ解像度）と原本イメージ６０５を比較すると、前記イメージ６１５はピクセルのサイズが増加され、それによってモザイク形態の格子が生成された姿が見えることが分かる。
本発明の実施例によるサーバー１００は、低画質のイメージ６１５から原本イメージ６０５に解像度水準を変換する加工イメージ６１５と原本イメージ６０５に基づいて神経網学習を行うことができる。このために、前記資料加工部１３１のサイズ変更部１３１ａは原本イメージのサイズを既設定された値だけ縮小する１次変更動作と１次変更動作によって生成された縮小イメージを原本イメージと同じサイズに拡大する２次変更動作を行うことができる。同時に、前記資料加工部１３１は原本イメージと、１次変更動作及び２次変更動作によって生成された加工イメージを学習用データとして抽出する動作を行うことができる。
多様な実施例によって神経網学習を行う前に、前記資料加工部１３１は加工イメージ（サイズ縮小後拡大したイメージ）に生成された格子のパターン情報（位置情報、色相情報など）を抽出してこれに対するデータを神経網学習のためのインプットデータとして活用することができる。
前記映像分割部１３１ｂは、サーバー１００で保有しているビデオデータを既設定された条件に基づいて分割する動作を行うことができる。この時、前記映像分割部１３１ｂはビデオデータをフレーム数に基づいて分割する動作を行うことができる。または前記映像分割部１３１ｂはビデオデータをイメージ客体の一致率に基づいて、一致率が既設定された以上のフレーム同士を束ねて束（Ｃｈｕｎｋ）で分割することができる。例えば、分割単位は同一人物が撮影されたまた前記映像分割部１３１ｂはサーバー１００から使用者器機２００にストリーミングサービスを提供する時、使用者器機２００に伝達される単位別にビデオデータを多数のチャンクで分割することができる。
前記映像分割部１３１ｂで分割されたチャンクは人工知能神経網学習及び解像度向上結果を評価する時に活用されることができる。
前記特徴領域抽出部１３１ｃは、ビデオデータの各フレームまたは分割単位を基準として特徴イメージが含まれた特徴領域を抽出する動作を行うことができる。前記特徴領域抽出部１３１ｃは、各フレームまたは分割単位で既設定された特徴領域要件を取り揃えるイメージ領域の存在有無を判断することができる。前記特徴領域要件は、例えば、重要度が既設定された値以上であると判断されるイメージ客体が存在する領域を含むことができる。例えば、前記特徴領域抽出部１３１ｃはドラマコンテンツで主人公の顔イメージに対してイメージ客体重要度を高く設定することができ、それによって特徴領域は主人公の顔イメージが表示される領域（例えば、ぬき領域；背景と区分される客体表示領域）に設定されることができる。
前記特徴領域抽出部１３１ｃは、イメージ内の特徴領域であるだけでなく、ビデオデータの全体フレーム乃至イメージの中で特定フレーム、または特定分割単位を抽出する動作を行うこともできる。
このような特徴領域抽出部１３１ｃで抽出する特徴領域に対しては学習繰り返し回数を増加させるように学習重要度加重値を設定することができる。
図５は本発明の実施例による神経網学習部の構成を示した図面である。
本発明の実施例による神経網学習部１３２は、図５で示したように、パラメーター設定部１３２ａ、神経網ファイル算出部１３２ｂを含んで構成されることができる。
そして、前記神経網学習部１３２は、人工神経網に基づいたディープラーニング学習過程を行うことができ、それによって解像度の低いビデオデータの画質改善のために要求されるファイルである神経網ファイルを生成することができる。
人工神経網に基づいたディープラーニング学習動作について簡略に説明するために図７を参照する。
図７は本発明の実施例によるディープラーニング学習動作の例示を説明するための図面である。
図７を説明すれば、インプットレイヤー、隠れレイヤー、アウトプットレイヤーを含む神経網モデルであるパーセプトロンが開示されている。一実施例によって本発明で開示される神経網学習は少なくとも一つの隠れレイヤーを含むように具現された多層パーセプトロンを利用して行われることができる。基本的に、パーセプトロンは多数の信号を入力（ｉｎｐｕｔ）してもらって一つの信号を出力（ｏｕｔｐｕｔ）することができる。
人工神経網モデルを利用した演算過程で要求されるｗｅｉｇｈｔとｂｉａｓは逆伝播技法を通じて適正値に算出されることができる。本発明の実施例による人工神経網学習過程はこのような逆伝播技法を通じて適正ｗｅｉｇｈｔデータとｂｉａｓデータを抽出することになる。本発明で解像度を改善するために人工神経網を通じて算出する神経網ファイルは抽出された適正ｗｅｉｇｈｔデータとｂｉａｓデータに関する情報などを含むことができる。
逆伝播技法を通じて行われる人工神経網を通じる学習方法及びパラメーター修正に関しては公知技術であるので詳しい説明は省略する。
好ましくは、本発明の実施例による神経網学習部１３２は、人工神経網モデルの中でＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルを利用して学習することができる。ＣＮＮの場合、各レイヤーの入出力データの形状を保持するという点、イメージの空間情報を保持しながら隣接イメージとの特徴を効果的に認識する点、複数のフィルターでイメージの特徴抽出及び学習する点等の特徴がある。
基本的なＣＮＮの動作方式は一つのイメージをフィルター（ｆｉｌｔｅｒ）を通じて一部分の領域を一つずつスキャンしてそれに対する値を捜しながら学習させる方法を利用することができる。この時、適切なＷｅｉｇｈｔ値を有するフィルターを捜すことがＣＮＮの目標になる。ＣＮＮでフィルターは一般的に（４，４）や（３，３）のような正方行列に定義されることができる。本発明の実施例によるＣＮＮ用フィルターの設定値は制限されない。前記フィルターはインプットデータを指定された間隔で巡回しながら合成積を計算することができる。
本発明の実施例によるパラメーター設定部１３２ａは、このようなＣＮＮを通じて映像データに対する学習過程を行うための初期パラメーター値を設定することができる。
多様な実施例によって前記パラメーター設定部１３２ａは、原本データのフレームサイズ、加工データの生成時に原本データに設定された縮小比率などを判断して、それに対応する初期パラメーターを設定することができる。
また、多様な実施例によって前記パラメーター設定部１３２ａは、人工神経網学習のために要求されるイメージデータの種類を特定し、該イメージデータを学習データに投入するように要請することができる。例えば、前記パラメーター設定部１３２ａはジャンル別学習重要度加重値が設定されたか否かを判断することができ、該学習動作が完了される前に学習重要度加重値が設定されたイメージを追加的に要請することができる。具体的に、前記パラメーター設定部１３２ａは、ドラマ、映画などの人物比重の高いコンテンツである場合、主要人物に対して繰り返し学習を行うために追加的に関連イメージ客体が含まれたフレーム情報を学習データとして要請することができる。
前記神経網ファイル算出部１３２ｂは、既設定された人工神経網モデルに資料加工部１３１によって加工された資料を投入して学習させる動作を行うことができる。この時、前記神経網ファイル算出部１３２ｂは、原本データと加工（既設定された比率で縮小）データをＣＮＮアルゴリズムに投入して原本データから加工データに変更される過程で生成された格子に対する情報（格子生成パターン情報）を抽出することができる。より具体的に、前記神経網ファイル算出部１３２ｂで算出する格子生成パターン情報は原本データと加工データの差異に基づいて算出されることができ、格子の位置、格子の色相変化に対するパターン情報などを含むことができる。
前記神経網ファイル算出部１３２ｂは、前記算出された格子生成パターン情報に基づいて加工データで格子を消去して原本データにイメージを復元させるのに要求される神経網ファイルを生成することができる。前記神経網ファイル算出部１３２ｂは低画質ビデオ（加工データ）データを人工神経網アルゴリズムにインプットデータとして入力して演算を行った結果、出力されるデータの解像度が原本データと既設定された値以上の一致率を見せる場合、１データの学習過程を終了することができる。これと類似する方法で、前記神経網ファイル算出部１３２ｂは、無数に多様な種類の加工データをインプットレイヤーに入力し、人工神経網演算結果、原本データとの一致率を判断する動作を繰り返し行うことができる。
多様な実施例によって前記神経網ファイル算出部１３２ｂは、多様な種類の原本データと加工データを投入して特定サイズのイメージを縮小する場合に発生される格子生成パターン情報を算出することができる。それによって、前記神経網ファイル算出部１３２ｂは特定イメージだけでなく、多様なイメージでイメージ縮小時に共通的に発生される格子生成パターン情報を算出することができる。
前記神経網ファイル算出部１３２ｂは加工データをインプットレイヤーに投入し、アウトプットデータと原本データとの一致率が既設定された値以上である場合、該人工神経網アルゴリズムに設定されたパラメーター（ｗｅｉｇｈｔ、ｂｉａｓ、学習速度（ｌｅａｒｎｉｎｇ ｒａｔｅ）など）及びレイヤー別活性化関数などの情報を含んで神経網ファイルを生成することができる。
即ち、前記神経網ファイル算出部１３２ｂで算出される神経網ファイルを使用者器機２００に伝達すれば、使用者器機２００はこれを受信して低画質のビデオデータを前記神経網ファイルに基づいた情報を土台として人工神経網テストを行うことができ、それによってビデオデータの解像度改善機能を行うことができる。
図８は本発明の実施例による使用者器機の構成を示した図面である。
本発明の実施例による使用者器機２００は、図８で示したように、通信部２１０、保存部２２０、入力部２３０、表示部２４０、カメラ部２５０及び制御部２６０を含んで構成されることができる。そして、前記制御部２６０はビデオ再生部２６１、解像度変換部２６２、使用者情報収集部２６３を含んで構成されることができる。
本発明の実施例による前記通信部２１０は、サーバー１００から神経網ファイル及びビデオデータを受信するための通信機能を行うことができる。さらに、前記通信部２１０は使用者器機２００で収集されたフィードバック情報をサーバー１００に伝送するための通信動作を行うことができる。
前記保存部２２０は本発明の実施例によって前記サーバー１００から受信された神経網ファイル及びビデオデータを保存することができる。多様な実施例によって前記保存部２２０は既設定された基準値以下の解像度を有する低画質データに神経網ファイルを適用して人工神経網アルゴリズム演算を駆動した結果値である結果データ（解像度が改善したデータ）を保存または一時保存することができる。
前記保存部２２０は生成されたフィードバック情報を保存することができる。または前記保存部２２０はフィードバック情報を算出するのに要求される情報を保存することができる。例えば、人工神経網アルゴリズムの演算結果として生成された結果データ（解像度が改善されたデータ）の中でフィードバック情報として提供するために一フレームを抽出する場合、前記抽出に対する基準情報（例えば、動画再生中に感知される使用者の顔面のしかめの有無及び顔面のしかめが感知される時点のフレームを抽出する内容など）を保存することができる。
前記入力部２３０はコンテンツジャンル、コンテンツ名称などに関する使用者選択情報を受けることができる。
前記表示部２４０はサーバー１００から受信されたビデオデータまたは前記ビデオデータの解像度の改善動作以後の結果データが再生される時該ビデオの再生画面を表示することができる。
前記カメラ部２５０は使用者の要請に対応して写真及び動画を撮影することができる。前記カメラ部２５０は撮影された写真及び動画などのイメージ情報は前記サーバー１００またはその他ウェブサーバーにアップロードすることができる。または前記カメラ部２５０を通じて撮影されたイメージ情報は他の使用者器機に伝送されることができる。
前記カメラ部２５０は写真または動画などのイメージ情報を撮影する場合、まず使用者の要請に基づいて解像度を決めることができる。一実施例によって、前記カメラ部２５０は画質の改善のための汎用神経網ファイルの搭載有無に基づいて、撮影される写真または動画等の解像度を既設定された水準以下に低減して保存するようにすることができる。
多様な実施例によって前記カメラ部２５０は解像度が改善された結果データを再生する間に、既設定された基準間隔によって定期的に使用者の顔面を撮影するカメラを動作させることができる。使用者の顔面表情乃至眉間のしかみを判断することができ、それに対応してフィードバック情報を抽出することができる。
前記制御部２６０はサーバー１００からダウンロードされるビデオファイルの解像度変換及び再生を行うことができる。前記制御部２６０は、具体的に、ビデオ再生部２６１、解像度変換部２６２、使用者情報収集部２６３を含んで構成されることができる。
まず、本発明の実施例による前記ビデオ再生部２６１は、ビデオファイルをプレーして前記表示部２４０に表示するように制御することができる。前記ビデオ再生部２６１は出力要請されたビデオデータの解像度を判断することができる。前記ビデオ再生部２６１は実行要請されたビデオデータの解像度が既設定された水準以下の解像度改善が要求される状態と判断される場合、解像度変換部２６２に解像度の改善を要請することができる。その後、前記ビデオ再生部２６１は前記解像度変換部２６２を通じて解像度が改善されたファイルを再生することができる。
前記解像度変換部２６２は、現在イメージデータ（写真及び動画）の解像度水準と使用者が要請する目標解像度の水準を判断することができる。この時、前記解像度変換部２６２は神経網ファイルの既保有有無を判断し、神経網ファイルが存在しない場合、サーバー１００に要請して前記サーバー１００から汎用神経網ファイルをダウンロードすることができる。その後、前記解像度変換部２６２は前記汎用神経網ファイルに基づいて人工神経網アルゴリズムを駆動して低画質データを所望の水準の解像度に変換する動作を行うことができる。
前記使用者情報収集部２６３はフィードバックのために使用者情報を収集することができる。前記使用者情報収集部２６３は人工神経網アルゴリズムに基づいて解像度が改善された後の結果データの中でフィードバック情報として活用するフレームを選定して保存することができる。例えば、前記使用者情報収集部２６３は使用者が解像度が改善されたビデオデータを再生する間に使用者の顔面情報を獲得することができ、使用者の眉間しかめなどのイベントが発生された場合、前記イベントが発生された時点に表示中のビデオフレーム情報を収集することができる。
また、前記使用者情報収集部２６３は基準値以上再生されるコンテンツの項目、ジャンルなどのコンテンツ情報を収集することができる。例えば、前記使用者情報収集部２６３はドキュメンタリー（写真イメージ基盤）対比アニメーションの再生頻度、字幕が存在するコンテンツ対比字幕のないコンテンツの再生頻度などを判断し、これに対する情報を収集することができる。前記使用者情報収集部２６３で収集された再生情報はサーバー１００に提供されることができ、サーバー１００ではこれに基づいて使用者の使用パターン情報を算出することができる。
図９は本発明の実施例による画質改善用神経網ファイルの生成及び伝送過程を示した図面である。
本発明の実施例によるサーバー１００は、図９で示したように、解像度を改善するための汎用神経網ファイルを生成して使用者器機２００に伝送することができる。
具体的に説明すれば、まず、前記サーバー１００は獲得されたビデオデータを加工する７０５動作を行うことができる。前記７０５動作は人工神経網アルゴリズムに学習させるためのデータを生成するための動作であり、学習用に適合するデータを生成するためにビデオデータのイメージサイズを縮小する加工を行うことができる。
一実施例によって前記７０５動作は、ビデオファイルを構成する各フレーム別加工動作（サイズ縮小）であり得る。または前記７０５動作はビデオファイルの分割単位別サンプリングを通じて人工神経網学習に投入されるフレームを選択した後、該フレームに対して加工（既設定された比率を掛けてサイズ縮小）する動作であり得る。例えば、全体フレーム数が２４００個のビデオファイルの場合、２４個のフレームが一つの単位であるチャンクが１００個で構成されていると仮定すれば、サーバー１００は該ビデオ分割単位当たり１フレームをサンプリングして総１００個のフレームを学習用データとして加工することができる。
７０５動作以後の前記サーバー１００は加工されたビデオデータ基盤格子生成パターン情報を獲得する７１０動作を行うことができる。前記加工されたビデオデータは原本データ（既設定された解像度水準以上のデータに限って学習用原本データと指定）を既設定された比率でサイズを縮小させたデータを意味することができる。
一イメージのサイズが縮小されると、同一領域内に表示されるピクセルの数が減少されながら自動的に解像度が減少される。それによってイメージサイズを縮小する場合、追後再び原本イメージサイズに拡大しても減少された解像度水準を保持することになるので、格子現象が発生される。
サーバー１００はこのような格子現象が発生された加工イメージと原本イメージを比較して格子が発生されるパターン情報を獲得することができる。獲得された格子発生パターン情報は追後格子現象が発生されたイメージで格子を除去して、解像度を復元するために用いられることができる。
格子生成パターン情報を獲得する７１０動作以後、前記サーバー１００は格子生成パターン情報に基づいて画質改善用神経網ファイルを生成する７１５動作を行うことができる。前記神経網ファイルはコンテンツの種類にかかわらず汎用的に適用可能に生成されることができる。このために多様な種類のイメージ及びコンテンツを活用して学習させることができる。そしてサーバー１００は格子が生成された低画質イメージデータで格子を除去して原本イメージに復元するのに要求される人工神経網アルゴリズム情報（レイヤー別適用された活性化関数、ｗｅｉｇｈｔ、ｂｉａｓなど）を算出して神経網ファイルを生成することができる。
結果値として提供されるｗｅｉｇｈｔ、ｂｉａｓなどの要素は最終算出された結果物（画質改善されたデータ）と原本イメージデータの一致率に基づいて決まることができる。前記サーバー１００は前記一致率が既設定された水準以上である場合、該人工神経網演算時に適用したｗｅｉｇｈｔとｂｉａｓ情報を汎用神経網ファイルに含ませる情報として確定することができる。
その後、前記サーバー１００は使用者器機２００からビデオデータに対するストリーミング要請（またはダウンロード要請）が受信されたことを確認する７２０動作を行うことができる。使用者の要請に対応して前記サーバー１００は使用者器機２００に生成された画質改善用神経網ファイルとともに要請されたビデオデータの低画質バージョンを伝送する７２５動作を行うことができる。それによって使用者器機２００はビデオの低画質バージョンを受信するので、比較的ネットワーク環境による制約なしに容易にコンテンツを受信することができ、同時に受信した汎用神経網ファイルを前記受信した低画質バージョンのビデオデータに適用することを通じて使用者が所望の水準の高画質映像を再生することができる。
前記図面に図示されなかったが、多様な実施例によって使用者器機２００は再生されたり変換が完了されたビデオデータの状態に対するフィードバック情報をサーバー１００に伝送することができる。それによって前記使用者器機２００は基準値以上の頻度で再生されるコンテンツジャンル、コンテンツ特徴、主要再生要請時間帯などの使用者別再生関連情報を算出することができ、これを前記サーバー１００に伝送することができる。
さらに、前記使用者器機２００は解像度改善動作が完了された結果データのフレームサンプルをサーバー１００に既設定された周期によって提供することができる。それによって前記サーバー１００は使用者器機２００から受信される解像度改善動作以後に算出された結果データフレームと同一コンテンツの原本データフレームを比べることができる。伝送されるフレーム情報にはコンテンツでの再生位置情報が一緒に含まれて伝送されることができ、それによって前記サーバー１００は原本データ内で比較するフレームイメージを検索することができる。
前記サーバー１００は使用者器機２００でフィードバック用として提供されるイメージフレームと該コンテンツの原本イメージフレームを比較して、一致率を判断することができる。そして一致率が既設定された基準値以下であると判断される場合、神経網ファイルをアップデートするための再学習動作を要請することができ、それによって再学習動作を行うことができる。
一方、本発明の多様な実施例によって生成される神経網ファイルは、必要によって圧縮されることができる。一実施例として、サーバー１００は使用者器機２００の性能を考慮して神経網ファイルを圧縮し、圧縮された神経網ファイルを使用者器機２００に伝送することができる。
神経網ファイルは、剪定（Ｐｒｕｎｉｎｇ）、量子化（Ｑｕａｎｔｉｚａｔｉｏｎ）、分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）及び知識の蒸留（Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ）の中の少なくとも一つを利用して圧縮されることができる。剪定は神経網ファイルのｗｅｉｇｈｔ、ｂｉａｓの中で意味がないか、出力値に大きな影響を与えないｗｅｉｇｈｔ及びｂｉａｓを削除する圧縮技法の中の一つである。量子化はそれぞれのｗｅｉｇｈｔを既設定されたビットで量子化する圧縮技法の中の一つである。分解はｗｅｉｇｈｔの集合である加重値行列またはテンソル（ｔｅｎｓｏｒ）を扇形分解（ａｐｐｒｏｘｉｍａｔｅｄ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）してｗｅｉｇｈｔの大きさを減小する圧縮技法の中の一つである。知識の蒸留は原本モデルをティーチャ（Ｔｅａｃｈｅｒ）モデルとして原本モデルより小さなスチューデントゥ（Ｓｔｕｄｅｎｔ）モデルを生成して学習させる圧縮技法の中の一つである。この時、スチューデントゥモデルは上述した剪定（Ｐｒｕｎｉｎｇ）、分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、量子化（Ｑｕａｎｔｉｚａｔｉｏｎ）を通じて生成されることができる。
この時、使用者器機２００の性能による圧縮程度は多様な方法を通じて決まることができる。一実施例で、神経網ファイルの圧縮程度は使用者器機２００の単純スペックに基づいて決まることができる。即ち、圧縮程度は使用者器機２００のプロセッサのスペック、メモリースペックによって一括的に決めることができる。
また他の実施例で、神経網ファイルの圧縮程度は使用者器機２００の使用状態に基づいて決まることができる。具体的に、サーバー１００は、使用者器機２００から使用状態情報を受信し、受信された使用状態情報による使用者器機２００の可溶リソース情報を獲得することができる。サーバー１００は使用者器機２００の可溶リソース情報に基づいて神経網ファイルの圧縮程度を決めることができる。この時、可溶リソース情報とは、使用者器機２００が実行中のアプリケーションに対する情報、実行中のアプリケーションによって決まるＣＰＵまたはＧＰＵ占有率、使用者器機２００に保存可能なメモリー容量に関する情報であり得る。
上述した例を参照して本発明について詳細に説明したが、当業者であれば本発明の範囲を逸脱しないながらも本例に対する改造、変更及び変形を加えることができる。要するに本発明が意図する効果を果たすために図面に示された全ての機能ブロックを別途に含むか図面に示された全ての順序を示した順序そのまま従わなければならないのではなく、そうではないとしてもいくらでも請求項に記載した本発明の技術的範囲に属することができることに留意すべきである。

Claims (7)

  1. 使用者器機側の要請に対応して、要請されたビデオデータを使用者器機に伝送するサービスを行い、保有したビデオデータに基づいてイメージ情報の解像度を改善するための人工神経網アルゴリズム動作に要求される汎用神経網ファイルを生成し、前記生成された汎用神経網ファイル及び解像度を既設定された水準以下に変更した低画質ビデオデータを前記使用者器機に伝送するサーバーと、
    前記サーバーから受信される低画質ビデオデータに前記受信された汎用神経網ファイルを適用した人工神経網アルゴリズムに基づいた演算動作を行い、前記演算動作によって前記低画質ビデオデータの解像度を改善し、前記解像度が改善されビデオデータを再生する使用者器機と、を含むことを特徴とする解像度改善システム。
  2. 前記サーバーは、イメージデータの解像度を人工神経網基盤の演算を通じて改善するために要求されるファイルである汎用神経網ファイルを生成する制御部を含むことを特徴とする請求項１に記載の解像度改善システム。
  3. 前記制御部は、ビデオデータの画質改善のために要求される汎用神経網ファイルを算出するために必要な学習用資料を収集及び加工する資料加工部を含み、
    前記資料加工部は、ビデオデータを構成するイメージのサイズを原本サイズから既設定された比率で縮小させて解像度の低下によって格子が発生された加工データを生成するサイズ変更部と、
    ビデオデータ内の複数のフレームをイメージ客体の一致率に基づいて分割する映像分割部と、
    ビデオデータの分割単位別特徴領域を抽出し、フレーム内に含まれたイメージ客体の重要度が既設定された値以上である場合、該イメージ客体が表示される領域を特徴領域として抽出する特徴領域抽出部と、を含むことを特徴とする請求項２に記載の解像度改善システム。
  4. 前記制御部は、神経網学習部を含み、
    前記神経網学習部は、人工神経網アルゴリズム演算に要求される初期パラメーターを設定するパラメーター設定部と、
    原本データと原本データのサイズを縮小して解像度を低めた加工データを比較して原本データのサイズの縮小過程で生成された格子の生成パターン情報を算出し、格子生成パターン情報に基づいて加工データ上の格子を除去するのに要求される人工神経網パラメーターを算出し、算出されたパラメーターを含む神経網ファイルを生成する神経網ファイル算出部と、を含むことを特徴とする請求項２に記載の解像度改善システム。
  5. 前記制御部は、使用者器機で神経網ファイルを適用した結果データの解像度の向上程度を判断し、前記結果データと既保有された原本データとの誤差率を基づいて神経網ファイルを構成するパラメーターの修正可否を判断する結果評価部を含むことを特徴とする請求項２に記載の解像度改善システム。
  6. 前記制御部は、使用者のストリーミング要請記録、ダウンロード記録に基づいて使用者のＶＯＤサービスに対する使用パターンを算出して保存する使用パターン算出部を含むことを特徴とする請求項２に記載の解像度改善システム。
  7. 前記使用者器機は、出力要請されたビデオデータの解像度を判断し、実行要請されたビデオデータの解像度が既設定された水準以下で、解像度の改善が要求される状態と判断される場合、解像度の変換を要請するビデオ再生部と、
    神経網ファイルの既保有有無を判断し、汎用神経網ファイルが存在しない場合、サーバーに要請して汎用神経網ファイルをダウンロードし、汎用神経網ファイルに基づいた人工神経網アルゴリズムを駆動して低画質データを要請された解像度に変換する解像度変換部と、を含むことを特徴とする請求項１に記載の解像度改善システム。
JP2020560196A 2018-04-24 2019-04-23 人工知能基盤解像度改善システム Active JP7385286B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2018-0047305 2018-04-24
KR20180047305 2018-04-24
KR1020190046953A KR102082815B1 (ko) 2018-04-24 2019-04-22 인공지능 기반 해상도 개선 시스템
KR10-2019-0046953 2019-04-22
PCT/KR2019/004890 WO2019209005A1 (ko) 2018-04-24 2019-04-23 인공지능 기반 해상도 개선 시스템

Publications (2)

Publication Number Publication Date
JP2021522723A true JP2021522723A (ja) 2021-08-30
JP7385286B2 JP7385286B2 (ja) 2023-11-22

Family

ID=68731071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020560196A Active JP7385286B2 (ja) 2018-04-24 2019-04-23 人工知能基盤解像度改善システム

Country Status (4)

Country Link
US (2) US20210160556A1 (ja)
EP (1) EP3787302A4 (ja)
JP (1) JP7385286B2 (ja)
KR (4) KR102082815B1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009490A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
JP2020524418A (ja) * 2018-05-21 2020-08-13 ジーディーエフラボ カンパニー リミテッド Ａｉ映像学習プラットフォームベースのｖｏｄサービスシステム
US20190392312A1 (en) * 2018-06-21 2019-12-26 Deep Force Ltd. Method for quantizing a histogram of an image, method for training a neural network and neural network training system
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
EP4060998A4 (en) * 2019-11-15 2023-11-15 Korea Advanced Institute of Science and Technology SYSTEM AND METHOD FOR LIVE VIDEO INGESTION
KR102524547B1 (ko) * 2019-11-28 2023-04-24 울산과학기술원 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR20210127412A (ko) * 2020-04-14 2021-10-22 삼성전자주식회사 Ai 다운스케일 장치 및 그 동작방법, 및 ai 업스케일 장치 및 그 동작방법
CN113556496B (zh) * 2020-04-23 2022-08-09 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
US11436703B2 (en) * 2020-06-12 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call
KR20220081648A (ko) * 2020-12-09 2022-06-16 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US11943271B2 (en) 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
KR102271371B1 (ko) * 2020-12-24 2021-06-30 전남대학교산학협력단 네트워크 트래픽 절감을 위한 모바일 엣지 컴퓨팅 기반 슈퍼-레졸루션 스트리밍 영상 전송 시스템
CN112802338B (zh) * 2020-12-31 2022-07-12 山东奥邦交通设施工程有限公司 一种基于深度学习的高速公路实时预警方法及系统
KR102537163B1 (ko) * 2021-06-16 2023-05-26 주식회사 엘지유플러스 단말기, 클라우드 서버 및 클라우드 증강현실(ar) 플랫폼의 영상 송수신 시스템 및 그 방법
WO2023286881A1 (ko) * 2021-07-12 2023-01-19 엘지전자 주식회사 영상표시장치 및 이를 포함하는 시스템
KR20230023460A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 어플리케이션에 따라 ai 기반으로 영상을 재생하는 전자 장치 및 이에 의한 영상 재생 방법
KR102634627B1 (ko) * 2021-12-14 2024-02-08 주식회사 카이 라이브 스트리밍 방법 및 장치
CN114845138A (zh) * 2022-04-26 2022-08-02 三星电子（中国）研发中心 自适应流媒体的超分辨率重建方法和装置及服务器
KR102596384B1 (ko) * 2023-02-22 2023-10-30 진병선 인공 지능 연산을 위한 신경망 처리 유닛이 구비된 카메라 장비
KR102647960B1 (ko) * 2023-10-11 2024-03-15 주식회사 지솔 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293454A (en) * 1989-03-08 1994-03-08 Sharp Kabushiki Kaisha Learning method of neural network
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
CA2461830C (en) * 2001-09-26 2009-09-22 Interact Devices System and method for communicating media signals
JP4784190B2 (ja) 2005-07-28 2011-10-05 カシオ計算機株式会社 コンテンツ再生装置、コンテンツ配信装置及びプログラム
CN101053249B (zh) 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
US9602814B2 (en) * 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
KR101344828B1 (ko) * 2012-02-27 2013-12-26 (주)티그레이프 디지털 콘텐츠 유통 방법 및 시스템
DE202016009107U1 (de) * 2015-02-19 2022-04-27 Magic Pony Technology Limited Visuelle Verarbeitung durch zeitliche und räumliche Interpolation
US9940539B2 (en) 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
KR102450971B1 (ko) 2015-05-08 2022-10-05 삼성전자주식회사 객체 인식 장치 및 방법
US9609307B1 (en) * 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
JP2017103744A (ja) 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
KR101803471B1 (ko) * 2016-02-15 2017-12-01 성균관대학교 산학협력단 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법
JP6689656B2 (ja) 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
US10432685B2 (en) * 2016-05-31 2019-10-01 Brightcove, Inc. Limiting key request rates for streaming media
KR101780057B1 (ko) 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치
CN106791927A (zh) 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
US10970819B2 (en) 2017-05-26 2021-04-06 Rakuten, Inc. Image processing device, image processing method, and image processing program

Also Published As

Publication number Publication date
JP7385286B2 (ja) 2023-11-22
KR20190130480A (ko) 2019-11-22
EP3787302A4 (en) 2022-04-20
KR20190130478A (ko) 2019-11-22
KR102082815B1 (ko) 2020-02-28
EP3787302A1 (en) 2021-03-03
US20210058653A1 (en) 2021-02-25
US20210160556A1 (en) 2021-05-27
KR102179436B1 (ko) 2020-11-16
KR20190140825A (ko) 2019-12-20
US11095925B2 (en) 2021-08-17
KR102082816B1 (ko) 2020-02-28
KR20190130479A (ko) 2019-11-22
KR102190483B1 (ko) 2020-12-11

Similar Documents

Publication Publication Date Title
JP7385286B2 (ja) 人工知能基盤解像度改善システム
EP3259913B1 (en) Enhancement of visual data
JP6590925B2 (ja) 動画像を作成するための方法
CN101287089B (zh) 摄像设备、图像处理设备及其控制方法
CN110933429A (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
KR102130076B1 (ko) 특징 영역의 학습 중요도를 바탕으로 스트리밍 파일의 해상도를 개선하는 방법
US11368758B2 (en) VOD service system based on AI video learning platform
KR20220070866A (ko) 딥러닝 기술이 적용된 영상 개선 방법, 장치 및 프로그램
KR20220021494A (ko) Ai 기반 해상도 개선 시스템
KR20220021495A (ko) Ai에 기반하여 스트리밍 파일의 해상도를 개선하는 방법
KR102130078B1 (ko) 해상도 향상도를 바탕으로 인공지능 파라미터를 변경하는 시스템
KR102130077B1 (ko) 격자 생성 패턴 정보를 바탕으로 해상도를 개선하는 시스템
KR101933696B1 (ko) Ai 영상학습 플랫폼 기반 vod 서비스 시스템
CN113542780B (zh) 一种网络直播视频的压缩伪影去除方法及装置
WO2019209005A1 (ko) 인공지능 기반 해상도 개선 시스템
KR101997909B1 (ko) 해상도 복원을 위한 ai 영상학습 파라미터 추출 프로그램 및 기록매체
WO2019209006A1 (ko) 스트리밍 파일의 해상도 개선 방법
CN114332470A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR20190140813A (ko) 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템
KR20190140815A (ko) 사용자 시청 취향 정보를 활용한 해상도 복원용 영상학습 지원 시스템
KR101933699B1 (ko) Ai 영상학습 기반 해상도 향상 방법
KR20220070868A (ko) 전자 장치의 제어 방법, 장치 및 프로그램
KR101933698B1 (ko) Ai 영상학습을 통한 가중치 추출 및 제공 장치
JP2024001436A (ja) 映像伝送システム、映像受信装置、映像伝送方法、及びコンピュータプログラム
KR20190140814A (ko) 열악한 네트워크 환경에서의 고화질 vod 제공 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R150 Certificate of patent or registration of utility model

Ref document number: 7385286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150