JP2020524418A - Ａｉ映像学習プラットフォームベースのｖｏｄサービスシステム - Google Patents

Ａｉ映像学習プラットフォームベースのｖｏｄサービスシステム Download PDF

Info

Publication number
JP2020524418A
JP2020524418A JP2018549564A JP2018549564A JP2020524418A JP 2020524418 A JP2020524418 A JP 2020524418A JP 2018549564 A JP2018549564 A JP 2018549564A JP 2018549564 A JP2018549564 A JP 2018549564A JP 2020524418 A JP2020524418 A JP 2020524418A
Authority
JP
Japan
Prior art keywords
vod
server
file
weight
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018549564A
Other languages
English (en)
Inventor
イク チャン、キョン
イク チャン、キョン
Original Assignee
ジーディーエフラボ カンパニー リミテッド
ジーディーエフラボ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180057910A external-priority patent/KR101933699B1/ko
Priority claimed from KR1020180057904A external-priority patent/KR101933696B1/ko
Priority claimed from KR1020180057915A external-priority patent/KR101997909B1/ko
Priority claimed from KR1020180057909A external-priority patent/KR101933698B1/ko
Application filed by ジーディーエフラボ カンパニー リミテッド, ジーディーエフラボ カンパニー リミテッド filed Critical ジーディーエフラボ カンパニー リミテッド
Publication of JP2020524418A publication Critical patent/JP2020524418A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本発明はＡＩ映像学習プラットフォームベースのＶＯＤサービスシステムに関するものである。より詳細には、本発明はＡＩベースのＳＲＣＮＮにより映像学習を行って、高画質のＶＯＤファイルから高画質映像の復元に必要なＷｅｉｇｈｔを算出し、今後当該ＶＯＤファイルに対応するＷｅｉｇｈｔを用いて低画質ＶＯＤファイルを高画質ＶＯＤファイルに復元できるようにするＶＯＤサービスシステムに関するものである。

Description

本発明はＡＩ映像学習プラットフォームベースのＶＯＤサービスシステムに関するものである。より詳細には、本発明はＡＩベースのＳＲＣＮＮにより映像学習を行って、高画質のＶＯＤファイルから高画質映像の復元に必要なＷｅｉｇｈｔを算出し、今後当該ＶＯＤファイルに対応するＷｅｉｇｈｔを用いて低画質ＶＯＤファイルを高画質ＶＯＤファイルに復元できるようにするＶＯＤサービスシステムに関するものである。
全世界的にスマート機器の普及率はますます増加している。特に、韓国におけるスマートフォンの普及率は９１％であって、グローバル５６カ国のうち１位を占める。モバイル機器を通じた動画視聴人口もやはり、継続的に増加することで、韓国の場合に２０１７年のモバイル映像トラフィックは２０１６年の５８％に比べて７４％以上増加した。
最近数年の間に人工知能技術をモバイル機器で活用する方法が活発に研究開発されている。特に、２０１５年を起点として人工知能技術の活用が可能なモバイル機器の性能が飛躍的に発展されるようになった。Ｇｏｏｇｌｅ、Ｆａｃｅｂｏｏｋ、Ａｐｐｌｅ、ＭＳなどのグローバル大企業が公開するＡＩ Ｏｐｅｎ Ｓｏｕｒｃｅでもモバイル機器をサポートし始めながら、モバイル機器で人工知能技術を活用することができるようになった。
一方、既存のＶＯＤサービスはユーザの環境に合わせて適応型（Ａｄａｐｔｉｖｅ）ストリーミングを提供するために、複数のＢｉｔｒａｔｅ別映像（２７０ｐ、３６０ｐ、４８０ｐ、７２０ｐ、１０８０ｐなど）と、端末及びブラウザー別に映像フォーマットを準備しなければならなかった。これによって、ＶＯＤサービスを提供するコンテンツプロバイダの立場ではエンコードコストとトラフィックコストが発生し、これはユーザの料金負担に繋がるようになる。
モバイルＶＯＤ視聴者の立場では、ますます大きくなる動画のサイズが通信料金の負担として作用して、視聴者に負担を与える。従って、高画質ＶＯＤサービスを提供するプロバイダの収益に繋がらない実情である。これによって、ユーザが体感する通信容量の負担を減らし、高画質ＶＯＤファイルで映像を提供するための方案が要求されている。
一方、動画の解像度向上に関連した従来技術としては、特許文献１（ブロック単位の映像整合を用いた超解像度映像復元方法及び装置）がある。
韓国特許公開第１０−２０１４−００８１４８１号公報
本発明は低解像度映像を高解像度映像に復元する人工知能学習アルゴリズムを用いて、低解像度映像ファイルだけでマルチプラットフォーム、マルチブラウザーで高解像度映像の再生を可能にする人工知能ＶＯＤプレイヤーを開発し、これをサポートするためのモバイルＶＯＤファイルＡＩ学習プラットフォームを開発することにその目的がある。
本発明の実施形態に係るＡＩ映像学習プラットフォームベースのＶＯＤサービスシステムは、ＶＯＤファイルを格納し、ユーザ機器からの要請によって前記ＶＯＤファイルの伝送サービスを提供する第１サーバと、前記第１サーバからＶＯＤファイルを受信して、個別ＶＯＤファイルのＡＩ映像学習を行い、前記ＡＩ映像学習の結果によって個別ＶＯＤファイルに対応するＷｅｉｇｈｔを算出し、ユーザ機器から発生したＶＯＤ伝送要請に対応して、要請されたＶＯＤファイルに対応するＷｅｉｇｈｔをユーザ機器に伝送する第２サーバと、前記第２サーバによって学習されたＶＯＤファイルのＩＤ及び前記ＶＯＤファイルのＡＩ映像学習の結果によって算出されたＷｅｉｇｈｔを格納するデータベース（ＤＢ）と、及び前記第１サーバに映像ファイルの伝送を要請し、前記第１サーバから映像ファイルを受信し、第２サーバから伝送要請した映像ファイルに対応するＷｅｉｇｈｔを受信して前記Ｗｅｉｇｈｔを適用した映像ファイルを実行させるユーザ機器と、を含むことができる。
本発明のＶＯＤサービスシステムはモバイルＶＯＤ視聴者が従来に比べて少ない通信コストで高解像度映像を楽しむことができるようになる効果がある。
また、比較的短い時間の間の通信だけで高解像度映像を再生することができるので、ネットワークインフラが劣悪な海外においても、高画質映像を再生することができるようになる。
また、本発明の実施形態に係るＡＩ学習プラットフォームと高解像度映像再生技術は様々なビジネスモデルに適用可能であり、これによってＩＰＴＶ、ＶＯＤ、ＣＣＴＶなどの映像に関連した様々な産業分野で高解像度映像を提供することができる。
更に、本発明は映像再生技術を高度化することで、予め学習した特定の領域に特化された人工知能映像処理サービスから全ての産業分野で使用可能なＡＩ学習プラットフォームを提供することができる。
本発明の実施形態に係るＶＯＤサービスシステムの構成を示す図である。 本発明の実施形態に係るＶＯＤサービスシステムの構成を示す図である。 本発明の実施形態に係る第２サーバの構成を示すブロック図である。 本発明の実施形態に係るＡＩ映像学習動作の手順を示すフローチャートである。 本発明の実施形態に係る第２サーバで解像度復元を行うための動作の手順を示すフローチャートである。
本発明は様々な変更を加えることができ、いくつかの実施形態を有することができる。特定の実施形態を図面に例示して詳細に説明する。
しかし、それは本発明を特定の開示形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むと理解すべきであろう。各図面を説明しながら同一または類似する構成要素については同一の参照符号を付した。
ある構成要素が異なる構成要素に「連結されて」あるとか「接続されて」あると言及された際には、その他の構成要素に直接的に連結されていたり、または接続することもできるが、その間に他の構成要素が存在することもできると理解すべきであろう。反面、ある構成要素が異なる構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された際には、その間に他の構成要素が存在しないと理解すべきであろう。
本出願において使用した用語は単に特定の実施形態を説明するために使われたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」等の用語は説示された特徴、数字、ステップ、動作、構成要素、部分品または、それらを組み合わせたものが存在することを指定しようとするものであって、一つまたは、それ以上の他の特徴や数字、ステップ、動作、構成要素、部分品または、それらを組み合わせたものなどの存在または、付加の可能性を予め排除しないことと理解されなければならない。
図１及び図２は本発明の実施形態に係るＶＯＤサービスシステムの構成を示す図である。
図１を参照して説明すると、本発明の実施形態に係るＶＯＤサービスシステムは第１サーバ１００、第２サーバ２００、第２サーバと連動されるＤＢ２２０を含んでなることができ、前記構成要素に基づいて、ＡＩ映像学習を行うことができる。この時、前記「ＡＩ映像学習」とは、ディープラーニング学習アルゴリズムであるＳＲＣＮＮベースの高解像度画像復元技術に基づいて、低解像度映像を高解像度映像に復元するに必要なＷｅｉｇｈｔ（加重値パラメータ）を算出する動作を意味することができる。
まず、第１サーバ１００は一般的なＶＯＤ提供サーバを意味することができる。第１サーバ１００は図１及び２に示さなかったが、ＶＯＤファイルを格納する別のＤＢを含むことができる。第１サーバ１００は当該ＤＢに格納されているＶＯＤファイルをユーザ機器側に伝送することができる。
前記第２サーバ２００は本発明の実施形態に従って、ＡＩ映像学習を行うサーバを意味することができる。この時、前記第２サーバ２００は第１サーバ１００に既にアップロードされているＶＯＤファイルに対してＡＩ映像学習を行うことができる。そして、前記第２サーバ２００はＡＩ映像学習を行った結果によって生成されたＷｅｉｇｈｔを第２サーバと連動されるＤＢ２２０に別途に格納することができる。この時、生成されたＷｅｉｇｈｔは当該ＶＯＤファイルに対するＩＤと共に格納することができる。これによって、今後第１サーバ１００は、特定のＶＯＤファイルを伝送（例、ストリーミング）するための要請を受けると、当該ＶＯＤのＩＤ情報を第２サーバ２００側に伝達し、第２サーバ２００は当該ＩＤに対応するＷｅｉｇｈｔを検出してユーザ機器側に提供することができるようになる。
この時、第２サーバ２００はＡＩ映像学習を行う際に、算出されるＷｅｉｇｈｔの容量が所定のサイズ以下（例えば、１０Ｍｂ以下）になるように設定することができる。
図１に示す第２サーバ２００の右側を参照すると、第２サーバ２００で行われるＡＩ映像学習動作の例が概略的に示されている。以下には、第２サーバ２００が行うＡＩ映像学習について簡単に説明する。
本発明の実施形態に係る第２サーバ２００が行うＡＩ映像学習は、ディープラーニングアルゴリズム（例えば、ＳＲＣＮＮ； Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を活用して低解像度映像を高解像度映像に復元することができるＷｅｉｇｈｔを算出する動作である。このように抽出したＷｅｉｇｈｔは、今後ユーザ機器３００で低解像度ＶＯＤファイルを人工知能テスト過程（第２サーバで学習過程を行って、ユーザ機器でテスト過程を行うことができる）を経て、高解像度ＶＯＤファイルに変換する際に使用する加重値パラメータであり得る。
基本的なＣＮＮの動作方式は、一つの画像をフィルタ（ｆｉｌｔｅｒ）を介して一部の領域を一つずつスキャンし、それについての値を探しながら学習させる方法を使用する。この時、適切なＷｅｉｇｈｔ値を有するフィルタを探すことがＣＮＮの目標になる。
前記ＤＢ２２０は個別ＶＯＤファイルの学習結果であるＷｅｉｇｈｔを当該ＶＯＤに対するＩＤ別に格納することができる。
前記ＤＢ２２０に格納されるＷｅｉｇｈｔは、例えば下記の表１に示すように、ＶＯＤのＩＤ別に指定することができる。表１のＷｅｉｇｈｔ 欄はユーザ機器の上で画像の解像度復元に必要なＷｅｉｇｈｔ（加重値パラメータ）と共に、映像の解像度向上の程度（例えば、４８０ｐから７２０ｐに向上）に関する情報を含むことができる。
様々な実施形態に従って、前記ＤＢ２２０に格納されるＶＯＤのＩＤはコンテンツ項目（例えば、映画、ミュージックビデオ、ドラマなど）、再生時間、プロット、登場人物、既再生回数などのコンテンツ関連情報に基づいて付与することができる。例えば、映画関連ＶＯＤはＡ、ドラマ関連ＶＯＤはＢからＩＤが始まるような方式でＩＤを付与することができる。
以上に、図１を参照して第２サーバ２００で行われるＡＩ映像学習動作について説明した。以下には、図２を参照してユーザ機器を通じて行う高画質ＶＯＤ提供動作について説明する。
図２を参照すると、ここには本発明の実施形態に係る基本的な構成である第１サーバ１００と、第２サーバ２００、及びＤＢ２２０が示されており、それと共に、ユーザ機器３００も併せて示されている。図１で説明したように、第１サーバ１００は従来の一般的な方式でＶＯＤを伝送（ストリーミング含む）するサーバを意味することができ、ユーザ機器３００から任意のＶＯＤを伝送するための要請を受けると、当該ＶＯＤファイルをユーザ機器３００側に無線通信を介して伝送することができる。この時、前記第１サーバ１００からユーザ機器３００側に伝送されるＶＯＤファイルは基準値以下の解像度を有するＶＯＤファイルであり得る。
第２サーバ２００は第１サーバ１００からユーザ機器３００側に伝送される特定のＶＯＤファイルに関する情報の伝達を受け、それに対応して前記特定のＶＯＤファイルに対応するＷｅｉｇｈｔ情報をＤＢ２２０から検索した後、ユーザ機器３００側に伝達するように制御することができる。または、前記第２サーバ２００は第１サーバ１００と共にユーザ機器３００から直接当該ＶＯＤファイルの要請信号を受信し、要請されたＶＯＤファイルに対応するＷｅｉｇｈｔ情報を検索してユーザ機器３００側に提供することができる。
即ち、第１サーバ１００ではＶＯＤファイル（以下、第１サーバで受信するＶＯＤを「第１ＶＯＤファイル」と称する）を、インターネットを介してユーザ機器３００側に伝送し、第２サーバ２００は連動したＤＢ２２０から検索されたＷｅｉｇｈｔ情報をインターネットを介してユーザ機器３００側に伝送することができる。
これによって、ユーザ機器３００は低解像度ＶＯＤファイルと、Ｗｅｉｇｈｔとの両方を受信することができるようになり、ユーザ機器３００内に格納されたＡＩ高解像度ＶＯＤ再生プログラム３０１を通じて高解像度ＶＯＤファイル（以下、ユーザ機器３００上で復元された高解像度ＶＯＤファイルを「第２ＶＯＤファイル」と称する）を再生することができるようになる。
ユーザ機器３００はＡＩ高解像度ＶＯＤ再生プログラム３０１を通じて第１サーバから受信した第１ＶＯＤファイルを再生する。この時、前記ＡＩ高解像度ＶＯＤ再生プログラム３０１はプログラムに対応するＷｅｉｇｈｔ情報がユーザ機器３００内に存在するか否か（または第２サーバ２００からストリーミングされるか否か）を判断し、対応Ｗｅｉｇｈｔが存在すると、ソースＶＯＤファイル及びＷｅｉｇｈｔを用いて復元過程を行って第２ＶＯＤファイル（高解像度ＶＯＤ）を生成することができる。ＡＩ高解像度ＶＯＤ再生プログラム３０１は例えば、ソースＶＯＤファイルがＳＤ映像である場合ＨＤ映像に、ＨＤ映像である場合はＦＨＤ映像に変換して再生することができる。更に、前記ＡＩ高解像度ＶＯＤ再生プログラム３０１はＷｅｉｇｈｔ情報の種類によってＳＤ映像をＦＨＤ映像に復元することもできる。この時、復元された第２ＶＯＤファイルの解像度（サイズ）はＷｅｉｇｈｔ情報に含まれたサイズ情報（例えば、表１の「Ｌｅａｒｎｉｎｇ Ｗｅｉｇｈｔ」欄に記載された事項）に基づいて決定することができる。
図３は本発明の実施形態に係る第２サーバの構成を示すブロック図である。
図３に示す第２サーバは通信部２１０、ＤＢ２２０、制御部２３０を含んでなることができる。前記制御部２３０は解像度判断部２３１、ＡＩ映像学習部２３２、オブジェクト画像抽出部２３３、コンテンツ情報収集部２３４、ユーザ視聴情報収集部２３５、ユーザ視聴嗜好情報算出部２３６を含んでなることができる。
前記通信部２１０はユーザ機器とサーバとの間でデータ送受信のために、ネットワークを用いることができる。前記ネットワークの種類は特に制限されない。前記ネットワークは例えば、インターネットプロトコル（ＩＰ）を介して大容量データの送受信サービスを提供するアイピー（ＩＰ：Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網、または相異なるＩＰ網を統合したオールアイピー（Ａｌｌ ＩＰ）網であり得る。また、前記ネットワークは有線網、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）網、ＷＣＤＭＡを含む移動通信網、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）網、及びＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）網を含む移動通信網、ＬＴＥ ａｄｖａｎｃｅｄ（ＬＴＥ−Ａ）、５Ｇ（Ｆｉｖｅ Ｇｅｎｅｒａｔｉｏｎ）を含む移動通信網、衛星通信網及び無線ＬＡＮ（Ｗｉ−Ｆｉ）網のうちいずれかであるか、またはこれらのうちの少なくとも一つ以上を組み合わせてなることもできる。
本発明の実施形態に係る前記通信部２１０はユーザ機器３００または第１サーバ１００から特定のＶＯＤファイルに対応するＷｅｉｇｈｔを検索し、これをユーザ機器３００側に伝送するための要請信号を受信することができる。また、前記通信部２１０は要請されたＶＯＤに対応するＷｅｉｇｈｔをユーザ機器３００側に伝送することができる。この他にも、前記通信部２１０はユーザの個人情報及びＶＯＤに関するコンテンツ情報などを第１サーバ、ユーザ機器、及びその他のウエブサーバから収集することができる。
前記ＤＢ２２０は前記第２サーバ２００と連動されて第２サーバ２００から算出されたＷｅｉｇｈｔ情報が格納される装置である。様々な実施形態に従って、前記ＤＢ２２０は第２サーバ２００とは別に構成され、第２サーバ２００から伝送されるＷｅｉｇｈｔ情報を有線または無線通信を介して受信して格納することができる。
前記ＤＢ２２０はＶＯＤファイル別にＷｅｉｇｈｔ情報を格納することができる。前記Ｗｅｉｇｈｔ情報は低画質映像をＡＩベースの画像処理動作によって高画質映像に変換するに必要とする加重値パラメータであるＷｅｉｇｈｔと共に、当該Ｗｅｉｇｈｔを適用する場合に算出される最終の解像度情報（例えば、ＨＤ−ＵＨＤ；ＨＤからＵＨＤに解像度が補正されることを意味する情報）を含んで格納することができる。
前述したように、前記制御部２３０は解像度判断部２３１、ＡＩ映像学習部２３２、オブジェクト画像抽出部２３３、コンテンツ情報収集部２３４、ユーザ視聴情報収集部２３５、ユーザ視聴嗜好情報算出部２３６を含んでなることができる。
前記制御部２３０は第１サーバ１００から取得した動画ファイルについてＳＲＣＮＮ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、以下、「ＳＲＣＮＮ」）と呼ばれるディープラーニングアルゴリズムを活用して低解像度映像を高解像度映像に復元できるようにする情報であるＷｅｉｇｈｔを算出することができる。また、前記制御部２３０はユーザの視聴情報及び第１サーバ１００から取得したＶＯＤ動画情報に関する情報を収集し、収集した情報を一定の基準に基づいて分類し、これによってユーザの特性に合わせたＶＯＤを提供する（例えば、ユーザの関心別にＶＯＤを推薦する）機能を行うことができる。
より詳細には、前記制御部２３０は前記解像度判断部２３１、ＡＩ映像学習部２３２、及びオブジェクト画像抽出部２３３を用いて低画質ファイルを高画質ファイルに復元するに必要とするＷｅｉｇｈｔ情報を算出することができ、コンテンツ情報収集部２３４、ユーザ視聴情報収集部２３５、及びユーザ視聴嗜好情報算出部２３６を通じてユーザの特性に合わせたＶＯＤサービスを提供することができる。
この時、前記解像度判断部２３１は第１サーバ１００から取得したＶＯＤファイルの解像度が所定のレベル以上の解像度であるか否かを判断することができる。解像度の判断結果によって、前記ＡＩ映像学習部２３２は取得した映像に対する映像学習方式を決定することができる。まず、前記解像度判断部２３１が第１ＶＯＤファイルの解像度を判断した結果、解像度が所定のレベル以上の高解像度であると判断した場合には、前記ＡＩ映像学習部２３２は第１ＶＯＤファイルに基づいて低解像度映像を抽出し、抽出した低解像度映像と高解像度映像のパッチ（Ｐａｔｃｈ）を用いて、ＡＩ映像学習（例えば、ＳＲＣＮＮ）を行うことができる。この時、前記ＡＩ映像学習部２３２は映像学習の結果によって低解像度映像から高解像度映像を実現するに必要とする情報であるＷｅｉｇｈｔ情報を算出するようになる。そして、前記ＡＩ映像学習部２３２は算出したＷｅｉｇｈｔ情報を当該ＶＯＤファイルのＩＤ情報と共にＤＢ２２０に別途に格納するように制御することができる。
次に、第１サーバ１００から取得した第１ＶＯＤファイルの解像度が所定の解像度未満の低画質映像である場合には、当該ＶＯＤファイルから抽出した複数の画像に基づいて学習を行ってＷｅｉｇｈｔを算出することができる。この時、第１ＶＯＤファイルから抽出した複数の画像は全て所定の解像度未満の低画質画像であり、ＡＩ映像学習部２３２は抽出した複数の低画質画像の自己類似性を用いて、第１ＶＯＤファイルの解像度を向上させるできるＷｅｉｇｈｔを算出することが可能である。この場合、前記ＡＩ映像学習部２３２は本発明の様々な実施形態に従って、ＳＲＣＮＮ以外の方式でＡＩ映像学習を行い、これに基づいてＷｅｉｇｈｔを算出することができる。
前記解像度判断部２３１で解像度を判断する動作は図示や説明を省略したが、一括して全てのＶＯＤファイルに対して同一の方式で映像学習を行うこともできる。
前記ＡＩ映像学習部２３２はＳＲＣＮＮ方式でＡＩ映像学習を行うことを特徴とするが、これに制限されるものではなく、様々な実施形態に従って、その他の方式（例えば、ＶＤＳＲ、ＤＲＣＮ）でＡＩ映像学習を行い、ＶＯＤファイル別にＷｅｉｇｈｔ情報を算出することができる。
前記オブジェクト画像抽出部２３３は第１ＶＯＤファイルからＷｅｉｇｈｔ抽出する際に、全体イメージのサイズが所定のレベル以上であるか、またはＷｅｉｇｈｔの容量が所定の容量レベル以上である場合には、第１ＶＯＤファイルの画像のうち一部の画像だけを選択的にサンプリングすることができる。前記オブジェクト画像抽出部２３３でサンプリングした一部の画像は例えば、角部分を除いた中心領域の画像に該当することができる。また、前記オブジェクト画像抽出部２３３は第１ＶＯＤファイルが含んでいる画像のうち、所定のオブジェクト（例えば、人物の顔）が検知される領域に対して別途にサンプリング（例えば、オブジェクト画像のサンプリング）を行うことができる。前記オブジェクト画像抽出部２３３で抽出したンプリング画像は、その後前記ＡＩ映像学習部２３２で行われるＡＩ映像学習を経てオブジェクト画像用のＷｅｉｇｈｔを算出することができるようになる。前記オブジェクト画像用のＷｅｉｇｈｔは、ユーザ機器３００からオブジェクト中心の解像度補正を要請する場合に、提供することができる。前記オブジェクト画像用のＷｅｉｇｈｔは全体ＶＯＤファイルの画像領域のうち所定の領域（オブジェクト画像でサンプリングした領域）の解像度だけを復元するに使用することができる。前記オブジェクト画像用のＷｅｉｇｈｔは画像全体ではなく一部の画像だけに対して適用する値である。従って、Ｗｅｉｇｈｔ容量のサイズを減少させて映像の解像度復元に必要なリソースと時間を節約できるようになる効果がある。
一実施形態において、前述した実施形態に従って、オブジェクト中心のＷｅｉｇｈｔを用いた解像度補正が提供される場合には、ユーザ機器３００はオブジェクトベースのＷｅｉｇｈｔ検索及び解像度補正を要請して行うことができる。
例えば、ユーザ機器３００が再生しようとする映像ファイルに関する情報がない場合は、ユーザ機器３００は当該映像ファイルに対するＷｅｉｇｈｔを取得することができず、従って、解像度補正を行うことが難しいことがある。例えば、映像ファイルはタイトル（またはＩＤ）がない動画プログラムであり得、または映画の一部シーンを編集したクリップ映像であり得る。
この場合、ユーザ機器３００は映像ファイルから一つ以上のオブジェクトを抽出し、抽出したオブジェクトを識別することができる。オブジェクトの識別には既存に学習したモデルを活用することができる。モデルの学習はユーザ機器３００または第１及び第２サーバのうちの少なくとも一つのサーバで予め行うことができる。例えば、ユーザ機器３００は映像ファイルに登場するキャラクター、俳優、建物や小道具などのような特定のオブジェクトを識別及び認識することができ、これに対応する映像の種類や当該映像のシーンを検索及び取得することができる。
ユーザ機器３００は取得した情報に基づいてユーザ機器３００または第２サーバ２００からＷｅｉｇｈｔを取得する。本発明の実施形態に従って、映像に対応するＷｅｉｇｈｔがない場合には、ユーザ機器３００は映像ファイルに対応する高画質映像をサーバから検索し、検索した高画質映像を用いてＷｅｉｇｈｔを取得するためのＡＩ映像学習を行うことができる。Ｗｅｉｇｈｔを取得するための学習には時間がかかる。従って、ユーザ機器３００はユーザのストリーミング対象プレイリストに格納されたり、ユーザ機器３００に格納された一つ以上の映像ファイルについてバックグラウンドで前述した動作を行い、ユーザが視聴する前に予めサーバを通じて学習を進行することができる。学習が完了すると、ユーザ機器３００はＷｅｉｇｈｔを取得して格納することができる。
他の例として、ユーザ機器３００が再生しようとする映像ファイルに対応するＷｅｉｇｈｔがユーザ機器３００または第２サーバ２００に格納されていない場合には、ユーザ機器３００は別の学習手続きなしオブジェクトベースの解像度復元を行うことができる。
例えば、ユーザ機器３００は前述した方法で映像ファイルから一つ以上のオブジェクトを抽出し、抽出したオブジェクトを識別することができる。例えば、ユーザ機器３００は映像ファイルに登場するキャラクター、俳優、建物や小道具などのような特定のオブジェクトを識別及び認識することができ、これに対応するオブジェクト画像用のＷｅｉｇｈｔをユーザ機器３００または第２サーバ２００から取得することができる。例えば、特定の映画に対するＷｅｉｇｈｔは格納されていなくても、当該映画に出演する俳優に対するＷｅｉｇｈｔは既に格納されていることがあり得る。この場合、ユーザ機器３００は当該俳優に対するＷｅｉｇｈｔを取得し、取得したＷｅｉｇｈｔに基づいて当該俳優の画像に対する解像度復元を行うことができる。
また、オブジェクトは特定されない一般的なオブジェクトを含むことができる。例えば、歩道ブロックや電柱、建物、自動車などのオブジェクトは特定されず、所定の基準に基づいて分類されたＷｅｉｇｈｔが予め格納されることができる。従って、ユーザ機器３００は映像に車道、建物、自動車などの一般的なオブジェクトがあると識別される場合には、これに対応するＷｅｉｇｈｔを取得した後、それぞれの一般的なオブジェクトに対する解像度復元を行うことで、映像の全体的な品質を向上させることができる。
前記コンテンツ情報収集部２３４は、第１サーバ１００から提供されてＡＩ映像学習を行った履歴があるＶＯＤファイル中心のコンテンツ情報を収集することができる。前記「コンテンツ情報」とは、ＶＯＤファイルを項目別に分類するために必要な情報をいう。例えば、コンテンツ情報はコンテンツの種類（例えば、映画、ドラマ、Ｍ／Ｖ、芸能、アニメなど）、タイトル（例えば、ギム課長（ドラマタイトル）、デッドプール（映画タイトル））、シーズンと回次、プロット、登場人物などの情報を含むことができる。
様々な実施形態に従って、前記コンテンツ情報収集部２３４は、今後ユーザが主に要請するコンテンツの属性を判断できるようにするために、ユーザからのＷｅｉｇｈｔが頻繁に要請されるコンテンツ（ヒット数が多いＶＯＤに関するコンテンツ情報）に関するコンテンツ情報を収集するように制御することができる。前記コンテンツ情報収集部２３４は第１ＶＯＤファイルに含まれるタイトル、回次などの内部コンテンツ情報を収集することができる。また、前記コンテンツ情報収集部２３４は前記第１ＶＯＤファイルに含まれる内部コンテンツ情報に基づいて、当該コンテンツのプロット、登場人物などの外部コンテンツ情報を更に収集することができる。
また、前記コンテンツ情報収集部２３４は様々な実施形態に従って、収集したコンテンツ情報に基づいて、ＡＩ映像学習部２３２の動作を制御することができる。例えば、「ドラマ／ギム課長／１回」に分類されるＶＯＤが２０個（例えば、合計１時間のコンテンツである場合には、５分ごとに分割された複数の映像クリップが存在することができる）が存在する場合、２０個のＶＯＤは一つの束に分類することができる。そして、前記ＡＩ映像学習部２３２は前記２０個のコンテンツのうち任意のコンテンツに対してＷｅｉｇｈｔを計算するためのＡＩ映像学習動作を行う途中、前記コンテンツ情報に基づいて同一の束に分類されたコンテンツの中から類似したサムネイル画像を保持するＶＯＤを更に参照して映像学習を行うことができる。
前記ユーザ視聴情報収集部２３５はユーザ機器３００から受信したＶＯＤ要請信号に基づいて情報を収集することができる。また、前記ユーザ視聴情報収集部２３５は第１サーバ１００からユーザの視聴情報（例えば、ヒット数情報）を収集することもできる。前記ユーザ視聴情報収集部２３５はユーザアカウントからユーザ情報（性別、年齢層、国家など）を収集することができる。また、前記ユーザ視聴情報収集部２３５はユーザアカウント別アクセス回数の関連情報（例えば、１ヶ月の平均アクセス回数）、市役所ＶＯＤのＩＤまたは分類項目の情報（例えば、ユーザ別視聴ＶＯＤリストの形態で記録することができる）などの視聴情報を収集することができる。様々な実施形態に従って、前記ユーザ視聴情報収集部２３５は同一ＶＯＤコンテンツの平均繰り返し再生回数、主解像度の選択情報などを更に収集することができる。
前記ユーザ視聴嗜好情報算出部２３６は前記コンテンツ情報収集部２３４及びユーザ視聴情報収集部２３５で収集した情報に基づいて、ユーザのＶＯＤの好みに関する情報を算出することができる。前記ユーザ視聴嗜好情報算出部２３６は例えば、任意ＶＯＤの視聴回数、または第１サーバ１００（ＶＯＤサービスのウェブページまたはアプリケーション）へのアクセス回数が所定の基準値（例えば、３回／１週間）以上であるユーザに対して視聴嗜好情報を算出することができる。または、前記ユーザ視聴嗜好情報算出部２３６は全てのユーザに対して視聴履歴があるＶＯＤファイルと当該ＶＯＤファイルに関したコンテンツ情報に基づいて、視聴嗜好情報を算出することができる。または、前記ユーザ視聴嗜好情報算出部２３６はユーザ情報に基づいて、特定の年齢層別、または性別視聴嗜好情報を算出することができる。
また、前記ユーザ視聴嗜好情報算出部２３６はユーザ別関心ＶＯＤを判断するために、ユーザ視聴情報収集部２３５から収集した視聴情報を活用することができる。前記ユーザ視聴嗜好情報算出部２３６は各ユーザ別視聴ＶＯＤファイルリストなどの視聴情報に基づいて、ユーザが好みのＶＯＤファイルの特徴を算出することができる。この時、前記ユーザ視聴嗜好情報算出部２３６はユーザの視聴ＶＯＤファイルの各情報をコンテンツ情報に基づいて分類した後、所定の回数（または割合）以上視聴した項目の情報をユーザが好むコンテンツの分類であると判断することができる。例えば、ユーザ視聴嗜好情報算出部２３６はユーザの視聴ＶＯＤリストそれぞれについて分類項目に対する識別値を付与することができる。
以後、前記ユーザ視聴嗜好情報算出部２３６は特定のユーザの視聴ＶＯＤリストに付与された識別値情報に基づいて、当該ユーザの好みＶＯＤ項目の情報を判断することができる。例えば、任意のユーザＡの視聴ＶＯＤリストに付与された識別値のうち、所定の割合以上がドラマ（種類）、推理物（ジャンル）に該当すると判断する場合には、前記ユーザ視聴嗜好情報算出部２３６はユーザの好みを（１）ドラマ、（２）推理物であると判断することができる。次に、ユーザ視聴嗜好情報算出部２３６は当該ユーザに推理物及びドラマに分類されるＶＯＤを推薦するように第１サーバ側に推薦情報を提供することができる。これによって、前記第１サーバは当該ユーザのアクセス時に、新たに更新されたＶＯＤファイルのうち推理物が存在する場合には、前記ユーザへのアクセスページ画面に当該ＶＯＤを推薦する画面を表示したり、ユーザ機器３００側に更新情報をプッシュ通知で伝達することができる。
また、前記ユーザ視聴嗜好情報算出部２３６は複数のユーザが好むと判断するＶＯＤ（例えば、シリーズ物）が第１サーバ１００に更新されると、当該ＶＯＤを優先して第２サーバで取得した後、ＡＩ映像学習を行うように制御することができる。即ち、前記制御部２３０は第１サーバ１００から取得する第１ＶＯＤのＡＩ映像学習の優先順位を判断する際に、前記ユーザ視聴嗜好情報算出部２３６で算出したユーザ視聴嗜好情報に基づいて順位を決定することができる。
様々な実施形態に従って、前記制御部２３０は第１サーバ１００から取得する第１ＶＯＤのＡＩ映像学習の優先順位を設定する際に、忠誠度の高いユーザが好む映像に優先順位を付与することができる。前記忠誠度はＶＯＤ提供サーバへのアクセス回数及び視聴回数に基づいて判断することができる。例えば、第１サーバ１００へのアクセス回数及び第１サーバ１００を通じたＶＯＤ視聴回数が所定のレベル以上であるユーザが好むＡドラマと、アクセス回数及び視聴回数が所定のレベル未満であるユーザが好むＢドラマうち、前記制御部はＡドラマを優先してＡＩ映像学習を行うように順位を指定することができる。
また、本発明の様々な実施形態に従って、前記制御部２３０はキーワードベースのＶＯＤ推薦部（図示せず）を更に含むことができる。前記キーワードベースのＶＯＤ推薦部は学習したＶＯＤファイルを対象に、ＶＯＤのプロットとユーザレビューを人工知能に学習させ、ウエブサーバなどで推薦したトレンドキーワードに関連したＶＯＤファイルを推薦する動作を行うことができる。例えば、前記キーワードベースのＶＯＤ推薦部はウェブサイトで頻繁に検索されるドラマのタイトル、俳優の名前に基づいて、当該タイトルのコンテンツまたはその俳優が出演したコンテンツを当該時点で人気のあるコンテンツとして判断し、これをユーザに推薦することができる。
図４は本発明の実施形態に係るＡＩ映像学習動作の手順を示すフローチャートである。
本発明の実施形態に係る第２サーバ２００は第１サーバからＶＯＤファイルを取得する動作（４０５）を行うことができる。以後、第２サーバ２００は取得したＶＯＤファイルに対するＡＩ映像学習を行い、高画質映像の復元に必要なＷｅｉｇｈｔを算出する動作（４１０）を行うことができる。この時、前記第２サーバ２００は制御部２３０を通じて取得したＶＯＤファイルの高画質映像の復元用Ｗｅｉｇｈｔを算出するようになる。
以後、第２サーバ２００の制御部２３０は算出したＷｅｉｇｈｔをコンテンツＩＤ別に分類してＤＢ２２０に格納する動作（４１５）を行うことができる。
前記手順によって第２サーバ２００は第１サーバ１００に保持されたＶＯＤファイルに対応する解像度復元用のＷｅｉｇｈｔを算出し、算出したＷｅｉｇｈｔを別のＤＢ２２０に保持することができるようになる。前記Ｗｅｉｇｈｔのパラメータサイズが大きいほど、復元率が高くなって高解像度が得られるが、ＶＯＤサービスの可用性が低下すると予想することができる。これによって、算出されるＷｅｉｇｈｔのサイズは一定の容量（例えば、１０ＭＢ未満）を維持するように指定することができる。
図５は本発明の実施形態に係る第２サーバで解像度復元を行うための動作の手順を示すフローチャートである。
前記第２サーバ２００の制御部２３０は特定のＶＯＤファイルに対する伝送要請信号を受信することができる。この時、前記第２サーバ２００は特定のＶＯＤファイルに対する伝送要請信号をユーザ機器３００から直接受信することができる。この場合、ユーザ機器３００はＶＯＤサービスを提供する第１サーバ１００側にアクセスする際に、自動的に第２サーバ２００側に関する情報を受信し、第１サーバ１００側にＶＯＤを要請する際に、同一の信号を第２サーバ２００側にも要請するように設定することができる。
または、前記第２サーバ２００は第１サーバからＶＯＤサーバにアクセスしたユーザ機器３００に関する情報の提供を受け、ユーザ機器から第１サーバ１００がＶＯＤ要請信号を受信すると、その信号を第１サーバ１００が第２サーバ２００側に伝達することができる。これによって、第２サーバ２００は伝送要請されたＶＯＤファイルに関する情報及びユーザ機器３００の情報を受信することができるようになる。
次に、第２サーバ２００の制御部２３０は要請されたＶＯＤファイルに対応するＷｅｉｇｈｔを検索する動作（５１０）を行うことができる。
前記制御部２３０はＤＢ内に当該ＶＯＤファイルに対応するＷｅｉｇｈｔが存在するか否かを判断する動作（５１５）を行うことができる。対応するＷｅｉｇｈｔが存在する場合、前記制御部２３０は当該Ｗｅｉｇｈｔをユーザ機器３００側に伝送するように通信部を制御する動作（５２０）を行うことができる。一方、選択されたＶＯＤに対応するＷｅｉｇｈｔが存在しないと判断する場合、前記制御部２３０は当該ＶＯＤファイルに対するＡＩ映像学習順に重要度の加重値を付与する動作（５２５）を行った後に、この動作を終了することができる。
本発明の実施形態に係る制御部２３０はＶＯＤファイルに対するＡＩ映像学習の優先順位を決定することができ、設定された順番情報に基づいてＶＯＤファイルのＡＩ映像学習動作を行うことができる。例えば、前記制御部２３０が行うＡＩ映像学習の手順決定はスコア算定方式で行うことができ、新たに更新されるＶＯＤ映像に対して既存のヒット数が所定の基準値以上であるコンテンツの後続作（作品名は同一であり、回次の情報が異なる他のＶＯＤファイルを同一コンテンツの後続作として判断できる）の場合には、以前ＶＯＤコンテンツのヒット数情報に基づいてスコアを付与することができる。そして、前記動作（５２５）で説明したように、ユーザの要請履歴がある場合には、前記制御部２３０はＡＩ映像学習の手順を決定するための評価スコアを算定する際に加重値を付与することができる。
この他にも様々な方式によって前記制御部２３０はユーザの関心度が高いＶＯＤコンテンツを判断することができ、それによって、ユーザの関心度が高いＶＯＤコンテンツに対して優先的にＡＩ映像学習を行うことができる。
本発明の様々な実施形態に従って、第２サーバ２００は１次的に学習した予備学習（ｐｒｅｔｒａｉｎｅｄ）モデルを再利用して追加学習を行うことができる（例えば、特定のＶＯＤファイルに対する伝送要請信号の受信に対応して追加学習を行うことができる）。これによって、本発明の実施形態に係るＡＩ映像学習動作は学習時間を短縮させることができる。
図面には示さなかったが、第２サーバ２００における前記動作以後、ユーザ機器３００側には受信した第１ＶＯＤファイル（低解像度映像）と当該ＶＯＤに対応するＷｅｉｇｈｔをＡＩ高解像度ＶＯＤ再生プログラム３０１で駆動して、復元された高解像度映像（第２ＶＯＤファイル）を生成し、これを再生させることができる。
従って、詳述した例を参照して本発明を詳しく説明したが、当業者であれば本発明の範囲を外れることなく、本例に対する改造、変更及び変形を加えることができる。つまり、本発明が意図する効果を達成するために、図面に図示された全ての機能を別途に含むか、図面に図示された全ての手順を図示された手順とおりに従うべきではなく、そうでなくてもいくらでも請求項に記載された本発明の技術的な範囲に属することができることに注意する。
本発明の実施形態に関連して説明した方法のアルゴリズムやステップはハードウェアで直接具現化するか、ハードウェアにより実行されるソフトウェアモジュールで具現化するか、またはそれらの組み合わせによって具現化することができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ、または本発明が属する技術分野でよく知られている任意の形態のコンピュータ読み取り可能な記録媒体に常駐することもできる。
本発明の構成要素はソフトウェアプログラミングまたはソフトウェア要素で実行することができ、これと同様に、実施形態はデータ構造、プロセス、ルーチンまたは他のプログラミング構成の組み合わせで具現化される様々なアルゴリズムを含んで、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブラ（ａｓｓｅｍｂｌｅｒ）などのようなプログラミングまたはスクリプト言語で具現化することができる。機能的な側面は一つ以上のプロセッサ上で実行されるアルゴリズムで具現化することができる。

Claims (8)

  1. ＶＯＤサービスを提供するシステムであって、
    ＶＯＤファイルを格納し、ユーザ機器からの要請によって前記ＶＯＤファイルの伝送サービスを提供する第１サーバと、
    前記第１サーバからＶＯＤファイルを受信して、個別ＶＯＤファイルのＡＩ映像学習を行い、前記ＡＩ映像学習の結果によって個別ＶＯＤファイルに対応するＷｅｉｇｈｔを算出し、ユーザ機器から発生したＶＯＤ伝送要請に対応して、要請されたＶＯＤファイルに対応するＷｅｉｇｈｔをユーザ機器に伝送する第２サーバと、
    前記第２サーバによって学習されたＶＯＤファイルのＩＤ及び前記ＶＯＤファイルのＡＩ映像学習の結果によって算出されたＷｅｉｇｈｔを格納するデータベース（ＤＢ）と、及び
    前記第１サーバに映像ファイルの伝送を要請し、前記第１サーバから映像ファイルを受信し、第２サーバから伝送要請した映像ファイルに対応するＷｅｉｇｈｔを受信して前記Ｗｅｉｇｈｔを適用した映像ファイルを実行させるユーザ機器と、を含むことを特徴とするＡＩ映像学習プラットフォームベースのＶＯＤサービスシステム。
  2. 前記ＡＩ映像学習は、ＳＲＣＮＮ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）技法による学習動作であることを特徴とする請求項１に記載のＡＩ映像学習プラットフォームベースのＶＯＤサービスシステム。
  3. 前記第２サーバは、前記Ｗｅｉｇｈｔの容量が１０ＭＢ以下に算出されるように設定されることを特徴とする請求項１に記載のＡＩ映像学習プラットフォームベースのＶＯＤサービスシステム。
  4. 前記第２サーバは、前記第１サーバから任意の映像ファイルを取得し、
    特定のオブジェクトが含まれた画像領域をサンプリングしてＡＩ映像学習を行い、前記特定のオブジェクトが含まれた画像領域から算出されたＷｅｉｇｈｔをオブジェクト画像用のＷｅｉｇｈｔに別途に指定して格納し、
    ユーザによってオブジェクト中心の解像度復元が選択された場合、前記オブジェクト画像用のＷｅｉｇｈｔをユーザ機器に提供することを特徴とする請求項１に記載のＡＩ映像学習プラットフォームベースのＶＯＤサービスシステム。
  5. 前記第２サーバは、ＶＯＤファイル別コンテンツの種類、タイトル、プロット、登場人物のうち少なくとも一つを含むコンテンツ情報を収集し、
    ユーザ視聴情報を収集して、ユーザの視聴割合が所定の基準値以上であれば、ユーザの視聴情報及び前記コンテンツ情報に基づいて、前記ユーザの視聴嗜好情報を算出し、前記算出した視聴嗜好情報に対応するＶＯＤコンテンツを更新する際に、ＶＯＤを前記ユーザに推薦することを特徴とする請求項１に記載のＡＩ映像学習プラットフォームベースのＶＯＤサービスシステム。
  6. 前記第２サーバは、複数のユーザの視聴嗜好情報に対応する新規ＶＯＤファイルを優先してＡＩ映像学習を行うように選定することを特徴とする請求項５に記載のＡＩ映像学習プラットフォームベースのＶＯＤサービスシステム。
  7. ＶＯＤファイルを保持した第１サーバからＶＯＤファイルを受信してＶＯＤファイルのＡＩ映像学習を行い、前記ＡＩ映像学習の結果によって前記ＶＯＤファイルに対応するＷｅｉｇｈｔを生成し、ユーザ機器から発生したＶＯＤファイル伝送要請を受信することによって、要請されたＶＯＤに対応するＷｅｉｇｈｔを抽出して前記ユーザ機器に提供することを特徴とするＡＩ映像学習プラットフォームベースのＶＯＤサービス装置。
  8. ＶＯＤサービスシステムのＶＯＤサービスの提供方法において、
    第２サーバが、第１サーバからＶＯＤファイルを受信して、個別ＶＯＤファイルのＡＩ映像学習を行い、前記ＡＩ映像学習の結果によって個別ＶＯＤファイルに対応するＷｅｉｇｈｔを生成して格納するステップと、
    第１サーバが、ユーザ機器から任意のＶＯＤファイルの伝送要請を受信し、前記ＶＯＤファイルをユーザ機器に伝送するステップと、
    第２サーバが、第１サーバから前記ＶＯＤファイルの伝送要請を受けるステップと、
    第２サーバで前記ＶＯＤファイルに対応する既に格納されたＷｅｉｇｈｔを検索して前記ユーザ機器に伝送するステップと、及び
    ユーザ機器が、前記第１サーバから伝送されたＶＯＤファイルと第２サーバから伝送されたＷｅｉｇｈｔを受信し、前記ＶＯＤファイルと前記Ｗｅｉｇｈｔをユーザ機器内のＡＩ高解像度ＶＯＤ再生プログラムで駆動して、前記ＶＯＤファイルの解像度を向上させるステップと、を含むことを特徴とするＡＩ映像学習プラットフォームベースのＶＯＤサービス方法。
JP2018549564A 2018-05-21 2018-06-01 Ａｉ映像学習プラットフォームベースのｖｏｄサービスシステム Pending JP2020524418A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR10-2018-0057915 2018-05-21
KR10-2018-0057909 2018-05-21
KR1020180057910A KR101933699B1 (ko) 2018-05-21 2018-05-21 Ai 영상학습 기반 해상도 향상 방법
KR1020180057904A KR101933696B1 (ko) 2018-05-21 2018-05-21 Ai 영상학습 플랫폼 기반 vod 서비스 시스템
KR10-2018-0057910 2018-05-21
KR10-2018-0057904 2018-05-21
KR1020180057915A KR101997909B1 (ko) 2018-05-21 2018-05-21 해상도 복원을 위한 ai 영상학습 파라미터 추출 프로그램 및 기록매체
KR1020180057909A KR101933698B1 (ko) 2018-05-21 2018-05-21 Ai 영상학습을 통한 가중치 추출 및 제공 장치
PCT/KR2018/006330 WO2019225793A1 (ko) 2018-05-21 2018-06-01 Ai 영상학습 플랫폼 기반 vod 서비스 시스템

Publications (1)

Publication Number Publication Date
JP2020524418A true JP2020524418A (ja) 2020-08-13

Family

ID=68615781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018549564A Pending JP2020524418A (ja) 2018-05-21 2018-06-01 Ａｉ映像学習プラットフォームベースのｖｏｄサービスシステム

Country Status (4)

Country Link
US (1) US11368758B2 (ja)
JP (1) JP2020524418A (ja)
CN (1) CN110754093A (ja)
WO (1) WO2019225793A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800185B2 (en) 2018-12-28 2023-10-24 Dwango Co., Ltd. Image transmission and reception system, data transmission and reception system, transmission and reception method, computer program, image transmission system, image reception device, transmission system, reception device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024875A4 (en) * 2019-08-30 2022-10-26 Sony Group Corporation RECEIVING DEVICE, RECEIVING METHOD AND TRANSMISSION DEVICE AND TRANSMISSION METHOD
JP6908756B1 (ja) * 2020-04-30 2021-07-28 株式会社ドワンゴ 配信者端末、コンテンツ配信システム、コンテンツ生成方法、コンテンツ生成プログラム、および、記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055609A1 (en) * 2015-09-30 2017-04-06 Piksel, Inc Improved video stream delivery via adaptive quality enhancement using error correction models
JP2017195429A (ja) * 2016-04-18 2017-10-26 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
JP2019067078A (ja) * 2017-09-29 2019-04-25 国立大学法人 筑波大学 画像処理方法、及び画像処理プログラム
JP2019110120A (ja) * 2017-12-18 2019-07-04 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム
JP2019129328A (ja) * 2018-01-22 2019-08-01 西日本電信電話株式会社 高精細動画生成装置、高精細動画生成方法、およびプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002334720B8 (en) 2001-09-26 2006-08-10 Interact Devices, Inc. System and method for communicating media signals
KR20070024918A (ko) 2005-08-31 2007-03-08 김유신 가상 공간에서 화상 커뮤니케이션 서비스 제공 장치 및방법
NZ567815A (en) * 2005-11-15 2011-08-26 Bernadette Garner Training neural networks including selecting an output to be trained and connecting an output neuron to input neurons
US20080222120A1 (en) * 2007-03-08 2008-09-11 Nikolaos Georgis System and method for video recommendation based on video frame features
JP2010041336A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
KR101111121B1 (ko) 2009-06-29 2012-02-13 주식회사 모임 인공지능에 기반한 개인별 맞춤형 컨텐츠 제공 장치 및 방법, 그 기록 매체
KR101003045B1 (ko) 2009-06-29 2010-12-22 주식회사 모임 인공지능에 기반한 개인별 맞춤형 광고 제공 장치 및 방법,그 기록 매체
KR101175349B1 (ko) * 2009-08-27 2012-08-20 주식회사 케이티 매칭 정보를 제공하는 통합 프로그램 가이드 제공 시스템 및 방법
KR101632917B1 (ko) 2010-02-08 2016-07-04 삼성전자주식회사 고화질 영상 획득을 위한 학습 기반 고해상도 향상 장치 및 방법
CN103167284B (zh) * 2011-12-19 2017-08-11 中国电信股份有限公司 一种基于画面超分辨率的视频流传输方法及系统
KR101538313B1 (ko) 2012-12-21 2015-07-22 서울시립대학교 산학협력단 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
KR20160008011A (ko) * 2014-07-11 2016-01-21 전자부품연구원 초고해상도 영상 처리를 위한 장치
CN105205782B (zh) * 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
KR101803471B1 (ko) * 2016-02-15 2017-12-01 성균관대학교 산학협력단 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법
WO2017223530A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
KR101838271B1 (ko) * 2016-07-22 2018-03-13 오제호 휴대용 영상 콘텐츠 재생 장치 및 그 동작 방법
KR101780057B1 (ko) 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치
KR101791573B1 (ko) 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
EP3322189B1 (en) * 2016-11-10 2019-12-25 Alcatel Lucent Method and system for controlling video transcoding
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN106845478B (zh) * 2016-12-30 2019-09-10 同观科技（深圳）有限公司 一种字符置信度的二次车牌识别方法及装置
US10271008B2 (en) * 2017-04-11 2019-04-23 Advanced Micro Devices, Inc. Enhanced resolution video and security via machine learning
US10915407B2 (en) * 2017-08-07 2021-02-09 Datto, Inc. Source volume backup with adaptive finalization apparatuses, methods and systems
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
CN107944379B (zh) * 2017-11-20 2020-05-15 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
CN110087084B (zh) * 2018-01-25 2022-03-18 联咏科技股份有限公司 视频处理装置及视频处理方法
US20200374573A1 (en) * 2018-03-01 2020-11-26 Telefonaktiebolaget Lm Ericsson (Publ) Artificial intelligence (ai) based enhanced resolution content delivery
KR102082816B1 (ko) * 2018-04-24 2020-02-28 주식회사 지디에프랩 스트리밍 파일의 해상도 개선 방법
US11741342B2 (en) * 2018-05-18 2023-08-29 Baidu Usa Llc Resource-efficient neural architects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055609A1 (en) * 2015-09-30 2017-04-06 Piksel, Inc Improved video stream delivery via adaptive quality enhancement using error correction models
JP2017195429A (ja) * 2016-04-18 2017-10-26 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
JP2019067078A (ja) * 2017-09-29 2019-04-25 国立大学法人 筑波大学 画像処理方法、及び画像処理プログラム
JP2019110120A (ja) * 2017-12-18 2019-07-04 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム
JP2019129328A (ja) * 2018-01-22 2019-08-01 西日本電信電話株式会社 高精細動画生成装置、高精細動画生成方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHAO DONG ET AL.: "Image Super-Resolution Using Deep Convolutional Networks", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. Volume:38, Issue:2, JPN6020026004, 1 June 2015 (2015-06-01), pages 295 - 307, ISSN: 0004467612 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800185B2 (en) 2018-12-28 2023-10-24 Dwango Co., Ltd. Image transmission and reception system, data transmission and reception system, transmission and reception method, computer program, image transmission system, image reception device, transmission system, reception device

Also Published As

Publication number Publication date
US11368758B2 (en) 2022-06-21
US20210204029A1 (en) 2021-07-01
WO2019225793A1 (ko) 2019-11-28
CN110754093A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
KR102082816B1 (ko) 스트리밍 파일의 해상도 개선 방법
US10333767B2 (en) Methods, systems, and media for media transmission and management
JP6364424B2 (ja) メディアアセットに関するコンテクスト上関係する情報を表示するための方法およびシステム
US20240073477A1 (en) Systems and methods for pre-caching media content
US20150020106A1 (en) Personalized video content from media sources
US8700650B2 (en) Search results comparison methods and systems
RU2641663C1 (ru) Способ рекомендации телевизионной программы и сервер
US11368758B2 (en) VOD service system based on AI video learning platform
US20210006948A1 (en) Providing a summary of media content to a communication device
KR101933696B1 (ko) Ai 영상학습 플랫폼 기반 vod 서비스 시스템
KR102130075B1 (ko) 사용자 시청 취향 정보를 활용한 해상도 복원용 영상학습 지원 시스템
KR102130073B1 (ko) 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템
KR101997909B1 (ko) 해상도 복원을 위한 ai 영상학습 파라미터 추출 프로그램 및 기록매체
KR102130076B1 (ko) 특징 영역의 학습 중요도를 바탕으로 스트리밍 파일의 해상도를 개선하는 방법
WO2015051611A1 (zh) 一种内容匹配方法、装置及系统
KR102130074B1 (ko) 열악한 네트워크 환경에서의 고화질 vod 제공 시스템
KR101933698B1 (ko) Ai 영상학습을 통한 가중치 추출 및 제공 장치
KR101933699B1 (ko) Ai 영상학습 기반 해상도 향상 방법
US20210011943A1 (en) Systems and methods for recommending media assets based on objects captured in visual assets
CN103533009A (zh) 一种基于Web技术实现音视频推荐的方法和系统
KR20220021495A (ko) Ai에 기반하여 스트리밍 파일의 해상도를 개선하는 방법
KR101452414B1 (ko) 메타 정보를 활용한 컨텐츠 제공 방법
US10637842B2 (en) Method and system for sharing of real-time, dynamic, adaptive and non-linearly assembled videos on publisher platforms
US20180324472A1 (en) Video streaming management system for enhanced user engagement in a subscribed network
JP5213747B2 (ja) 映像コンテンツ保管視聴システムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210323