JP2023015166A - 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

端末機、その動作方法およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2023015166A
JP2023015166A JP2022173296A JP2022173296A JP2023015166A JP 2023015166 A JP2023015166 A JP 2023015166A JP 2022173296 A JP2022173296 A JP 2022173296A JP 2022173296 A JP2022173296 A JP 2022173296A JP 2023015166 A JP2023015166 A JP 2023015166A
Authority
JP
Japan
Prior art keywords
data
terminal
data set
validity
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022173296A
Other languages
English (en)
Inventor
アン サンギル
Sangil Ahn
リ ヨンジェ
Yongje Lee
ハ ソンジュ
Sungjoo Ha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyperconnect LLC
Original Assignee
Hyperconnect LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyperconnect LLC filed Critical Hyperconnect LLC
Publication of JP2023015166A publication Critical patent/JP2023015166A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors

Abstract

【課題】端末機、その動作方法およびコンピュータ読み取り可能な記録媒体が開示される。【解決手段】本発明の一実施形態による端末機の動作方法は、第１端末機と第２端末機との間にビデオ通話セッションを樹立する段階と、前記第１端末機で獲得されたデータを前記第２端末機で受信する段階と、前記第２端末機で、前記第１端末機から受信した前記データをあらかじめ設定された大きさのバッファーに順次に保存する段階と、前記第２端末機で、前記バッファーに保存された前記データに対する有効性検査を行う段階と、前記有効性検査の結果に対応して、前記第２端末機で前記データを処理する段階と、を含む。【選択図】図２

Description

本発明は、端末機、その動作方法およびコンピュータ読み取り可能な記録媒体に関し、より具体的には、ビデオ通話のユーザを不快な環境に露出させない端末機、その動作方法およびコンピュータ読み取り可能な記録媒体に関する。
通信技術が発展し、電子装置が小型化されるに伴い、個人用端末が一般消費者に広く普及されている。特に最近ではスマートフォンまたはスマートタブレットのような携帯用個人端末が広く普及されている。前記端末の大部分は、通信機能を含んでいる。ユーザは、端末を用いてインターネットで検索を行ったり他のユーザとメッセージを交換することができる。
また、小型カメラ技術、小型マイク技術、小型ディスプレイ技術および小型スピーカー技術の発展に伴い、スマートフォンのような大部分の端末には、カメラ、マイク、ディスプレイおよびスピーカーが含まれている。ユーザは、端末を用いて音声を録音したり音声が含まれた動画を撮影することができる。ユーザは、端末に含まれたスピーカーを介して前記録音された音声を確認したりディスプレイを介して前記撮影された動画を確認することができる。
また、ユーザは、端末の通信機能を用いて前記録音された音声または前記撮影された動画を他のユーザと共有することができる。ユーザは、以前に録音された音声または以前に撮影された動画を他のユーザに伝送することができる。また、ユーザは、端末により現在録音されている音声または現在撮影されている動画をリアルタイムで他のユーザに伝送することができる。
また、同時に、前記他のユーザは、自分の端末により現在録音されている音声または現在撮影されている動画をリアルタイムで前記ユーザに伝送することができる。ユーザの端末に含まれたディスプレイは、ユーザの端末により現在撮影されている動画および他のユーザの端末により現在撮影されている動画を同時に表示することができる。また、ユーザの端末に含まれたスピーカーは、ユーザの端末により現在録音されている音声および他のユーザの端末により現在録音されている音声を同時に再生することができる。言い換えれば、ユーザおよび他のユーザは、各自の端末を用いて互いにビデオ通話（ｖｉｄｅｏ ｃａｌｌ）をすることができる。
ユーザが相手と互いにビデオ通話をする途中に、ユーザは、相手からの不適切な映像または音の露出にさらされることがある。特に、ユーザが互いに知らない関係にある相手とビデオ通話をする途中に、ユーザが相手からの淫らな映像の露出にさらされる可能性が高いことがある。
ビデオ通話のユーザを有害な環境から保護するために、多様な方法が考案されているが、リアルタイムでデータが送受信される過程で低いレイテンシ（ｌａｔｅｎｃｙ）を維持しつつ、有害な要素を確実に遮断する方法が必要である。
本発明は、ビデオ通話のユーザが有害な環境の露出にさらされないようにする端末機、その動作方法およびコンピュータ読み取り可能な記録媒体を提供することを目的とする。
本発明の一実施形態による端末機の動作方法は、第１端末機と第２端末機との間にビデオ通話セッションを樹立する段階と、前記第１端末機で獲得されたデータを前記第２端末機で受信する段階と、前記第２端末機で、前記第１端末機から受信した前記データをあらかじめ設定された大きさのバッファーに順次に保存する段階と、前記第２端末機で、前記バッファーに保存された前記データに対する有効性検査を行う段階と、前記有効性検査の結果に対応して、前記第２端末機で前記データを処理する段階と、を含む。
また、前記方法は、前記第２端末機で、前記データをデコーディング（ｄｅｃｏｄｉｎｇ）する段階をさらに含み、前記デコーディングする段階は、前記有効性検査を行う段階で有効性検査が完了したデータをデコーディングすることができる。または、前記第２端末機で、前記データをデコーディングする段階をさらに含み、前記有効性検査を行う段階は、前記バッファーに保存された前記データをデコーディンする段階を通じてデコーディングされたデータに対して有効性検査を行うことができる。
また、前記有効性検査を行う段階は、前記データに不良な要素が含まれているか否かを判断するための機械学習モデルを用いることができる。
また、前記データを処理する段階は、前記有効性検査の結果、不良な要素を含んでいるデータを再生しないように決定することができる。
また、前記データを処理する段階は、不良な要素を含んでいるデータに対応する時間の間に代替データを再生するように決定することができる。
また、前記データは、映像データ、音声データおよびテキストデータのうち少なくともいずれか1つを含むことができる。
また、前記有効性検査を行う段階は、前記バッファーに保存された第１データセットに対する有効性検査を行う段階と、前記バッファーに保存された第２データセットに対する有効性検査を行う段階と、前記バッファーに保存された第３データセットに対する有効性検査を行う段階と、を含み、前記第１～第３データセットは、前記バッファーに順次に保存されたデータセットでありうる。
また、前記有効性検査を行った結果、前記第１データセットおよび前記第３データセットは、不良な要素を含まず、前記第２データセットは、不良な要素を含むものと判断された場合、前記データを処理する段階は、前記第１データセットおよび前記第３データセットを再生するように決定し、前記第２データセットは再生しないように決定することができる。
また、前記データを処理する段階は、前記第２データセットに含まれた映像データにブラー（ｂｌｕｒ）またはモザイク処理をし、前記第２データセットに含まれた音声データは、ミュート（ｍｕｔｅ）処理をし、前記第２データセットに含まれたテキストデータは表示しなくてもよい。
一方、本発明による端末機の動作方法を行うためのフログラムが記録されたコンピュータ読み取り可能な記録媒体が提供され得る。
本発明の一実施形態による端末機は、前記端末機と他の端末機との間にビデオ通話セッションを樹立し、互いにデータを送受信するための通信インターフェースと、前記ビデオ通話セッションを介して前記他の端末機から受信したデータを受信された時間によって順次に保存するデータ保存部と、前記データ保存部に保存された前記データに対する有効性検査を行う有効性検査部と、前記有効性検査の結果に対応して前記データを処理する制御部と、を含む。
また、前記端末機は、前記データをデコーディング（ｄｅｃｏｄｉｎｇ）するデコーダーをさらに含み、前記デコーダーは、前記有効性検査部で有効性検査が完了したデータに対してデコーディングを行うことができる。
また、前記有効性検査部は、前記データに不良な要素が含まれているか否かを判断するための機械学習モデルを用いることができる。
また、前記制御部は、前記有効性検査の結果、不良な要素を含んでいるデータを再生しないように決定することができる。
また、前記制御部は、前記不良な要素を含んでいるデータに対応する時間の間に代替データを再生するように決定することができる。
また、前記データは、映像データ、音声データおよびテキストデータのうち少なくともいずれか1つを含むことができる。
また、前記有効性検査部は、前記データ保存部に保存された第１データセット、第２データセットおよび第３データセットに対する有効性検査を行い、前記第１～第３データセットは、前記データ保存部に順次に保存されたデータセットでありうる。
また、前記有効性検査を行った結果、前記第１データセットおよび前記第３データセットは、不良な要素を含まず、前記第２データセットは、不良な要素を含むものと判断された場合、前記制御部は、前記第１データセットおよび前記第３データセットを再生するように決定し、前記第２データセットは再生しないように決定することができる。
また、前記制御部は、前記第２データセットに含まれた映像データにブラー（ｂｌｕｒ）またはモザイク処理をし、前記第２データセットに含まれた音声データは、ミュート（ｍｕｔｅ）処理をし、前記第２データセットに含まれたテキストデータは表示しなくてもよい。
本発明は、ビデオ通話のユーザが有害な環境の露出にさらされないようにする端末機、その動作方法およびコンピュータ読み取り可能な記録媒体を提供することができる。
本発明による端末機が動作する環境を概略的に示す図である。 本発明の一実施形態による端末機の動作方法を概略的に示すフローチャートである。 本発明の一実施形態によってデータがバッファーに保存される動作を概略的に示す図である。 本発明の他の実施形態による端末機の動作方法を概略的に示すフローチャートである。 従来技術による端末機の動作方法を概略的に示す図である。 本発明の一実施形態による端末機の構造を概略的に示す図である。
本発明の利点および特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すると明確になる。しかしながら、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で具現され、ただ本実施形態は、本発明の開示が完全になるようにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇により定義されるだけである。明細書全般において、同一の参照符号は、同一の構成要素を指す。
たとえ「第１」または「第２」等が多様な構成要素を記述するために使用されていても、このような構成要素は、上記のような用語により制限されない。上記のような用語は、ただ1つの構成要素を他の構成要素と区別するために使用され得る。したがって、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素であってもよい。
本明細書において使用された用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は、文言で特に言及しない限り、複数型も含む。明細書において使用される「含む（ｃｏｍｐｒｉｓｅｓ）」または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素または段階が1つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
他の定義がない場合、本明細書において使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者に共通的に理解され得る意味で解釈され得る。また、一般的に使用される辞書に定義されている用語は、明白に特に定義されていない限り、理想的にまたは過度に解釈されない。
図１は、本発明による端末機が動作する環境を概略的に示す図である。図１を参照すると、第１端末機１０および第２端末機２０が動作する環境は、サーバー１００と、サーバー１００と互いに連結された第１端末機１０および第２端末機２０とを含むことができる。本発明による端末機に関する説明は、図１に示される第１端末機１０および第２端末機２０に関する説明で代替され得る。説明の便宜のために、図１には、２つの端末機、すなわち第１端末機１０および第２端末機２０のみを示しているが、２つよりさらに多い数の端末機が含まれ得る。追加され得る端末機について、特に言及される説明を除いて、第１端末機１０および第２端末機２０に関する説明が適用され得る。
サーバー１００は、通信網に連結され得る。サーバー１００は、前記通信網を介して外部の他の装置と互いに連結され得る。サーバー１００は、互いに連結された他の装置にデータを伝送したり前記他の装置からデータを受信することができる。
サーバー１００と連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は、３Ｇ、ＬＴＥ、またはＬＴＥ－Ａ等のような移動通信網を含むことができる。通信網は、ワイファイ（Ｗｉ－Ｆｉ）、ＵＭＴＳ／ＧＰＲＳ、またはイーサネット（Ｅｔｈｅｒｎｅｔ）等のような有線または無線通信網を含むことができる。通信網は、磁気セキュア伝送（ＭＳＴ，Ｍａｇｎｅｔｉｃ Ｓｅｃｕｒｅ Ｔｒａｎｓｍｉｓｓｉｏｎ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ジグビー（ＺｉｇＢｅｅ）、Ｚ－Ｗａｖｅ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、低電力ブルートゥース（ＢＬＥ，Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、または赤外線通信（ＩＲ，ＩｎｆｒａＲｅｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）等のような近距離通信網を含むことができる。通信網は、ローカルエリアネットワーク（ＬＡＮ，Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、メトロポリタンエリアネットワーク（ＭＡＮ，Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、またはワイドエリアネットワーク（ＷＡＮ，Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含むことができる。
サーバー１００は、第１端末機１０および第２端末機２０のうち少なくとも1つからデータを受信することができる。サーバー１００は、第１端末機１０および第２端末機２０のうち少なくとも1つから受信されたデータを用いて演算を行うことができる。サーバー１００は、前記演算結果を第１端末機１０および第２端末機２０のうち少なくとも1つに伝送することができる。
サーバー１００は、第１端末機１０および第２端末機２０のうち少なくとも1つの端末機から仲介要請を受信することができる。サーバー１００は、仲介要請を伝送した端末を選択することができる。例えば、サーバー１００は、第１端末機１０および第２端末機２０を選択することができる。
サーバー１００は、前記選択された第１端末機１０および第２端末機２０の間の通信連結を仲介することができる。例えば、サーバー１００は、第１端末機１０および第２端末機２０の間のビデオ通話接続を仲介したり、テキスト送受信連結を仲介することができる。サーバー１００は、第１端末機１０に関する連結情報を第２端末機２０に伝送することができ、第２端末機２０に関する連結情報を第１端末機１０に伝送することができる。
第１端末機１０に関する連結情報は、例えば、第１端末機１０のアイピー（ＩＰ）アドレスおよびポート（ｐｏｒｔ）番号を含むことができる。第２端末機２０に関する連結情報を受信した第１端末機１０は、前記受信された連結情報を用いて第２端末機２０への連結を試みることができる。
第１端末機１０の第２端末機２０への連結試みまたは第２端末機２０の第１端末機１０への連結試みが成功することによって、第１端末機１０および第２端末機２０の間のビデオ通話セッションが樹立され得る。前記ビデオ通話セッションを介して第１端末機１０は、第２端末機２０に映像または音を伝送することができる。第１端末機１０は、映像または音をデジタル信号にエンコーディングし、前記エンコーディングされた結果物を第２端末機２０に伝送することができる。
また、前記ビデオ通話セッションを介して第１端末機１０は、第２端末機２０から映像または音を受信することができる。第１端末機１０は、デジタル信号にエンコーディングされた映像または音を受信し、前記受信された映像または音をデコーディングすることができる。
前記ビデオ通話セッションを介して第２端末機２０は、第１端末機１０に映像または音を伝送することができる。また、前記ビデオ通話セッションを介して第２端末機２０は、第１端末機１０から映像または音を受信することができる。これにより、第１端末機１０のユーザおよび第２端末機２０のユーザは、互いにビデオ通話をすることができる。
第１端末機１０および第２端末機２０は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、または携帯用電子機器等でありうる。第１端末機１０および第２端末機２０は、プログラムまたはアプリケーションを実行することができる。第１端末機１０および第２端末機２０それぞれは、互いに同じ種類の装置であってもよく、互いに異なる種類の装置であってもよい。
図２は、本発明の一実施形態による端末機の動作方法を概略的に示すフローチャートである。
図２を参照すると、本発明の一実施形態による端末機の動作方法は、第１端末機と第２端末機との間にビデオ通話セッションを樹立する段階Ｓ１１０と、第２端末機にデータを伝送する段階Ｓ１２０と、受信したデータをバッファーに保存する段階Ｓ１３０と、データ有効性を検査する段階Ｓ１４０と、データを処理する段階Ｓ１５０と、を含む。
段階Ｓ１１０では、２つの端末機、すなわち第１端末機１０と第２端末機２０との間にビデオ通話セッションを樹立する。前記ビデオ通話セッションは、図１を参照として説明したサーバー１００により樹立されたり、第１端末機１０および第２端末機２０により能動的に樹立され得る。
段階Ｓ１２０では、第１端末機１０で獲得されたデータを第２端末機２０に伝送する。前記ビデオ通話セッションを介して第１端末機１０と第２端末機２０は、互いにデータを交換することができる。前記データは、映像、音声、およびテキストのうち少なくともいずれか1つを含むことができる。第１端末機１０で生成されたデータが第２端末機２０に伝送される場合、第１端末機１０で生成されたデータは、エンコーディング（ｅｎｃｏｄｉｎｇ）されて第２端末機２０に伝送され、エンコーディングされたデータは、第２端末機２０でデコーディング（ｄｅｃｏｄｉｎｇ）され得る。第２端末機２０で生成されたデータが第１端末機１０に伝送される場合には、第２端末機２０でエンコーディングされたデータが第１端末機１０でデコーディングされ得る。
段階Ｓ１３０では、第２端末機２０で、第１端末機１０から受信したデータをあらかじめ設定された大きさのバッファーに順次に保存する。例えば、前記バッファーの大きさがｎバイト（ｂｙｔｅｓ）にあらかじめ設定されている場合、第１端末機１０から受信されるデータは、第２端末機２０のバッファーにｎバイト単位で保存され得る。特定の時間区間の間に第１端末機１０から１０×ｎバイトのデータが第２端末機２０に伝送される場合、前記データは、第１端末機１０から伝送される順序によってｎバイト単位で前記バッファーに順次に保存され得る。一方、ここで、前記バッファーの大きさは、全体バッファーの大きさを意味することができるが、受信したデータを保存する単位バッファーの大きさを意味することもできる。
一方、前記単位バッファーの大きさは、一定の時間に対応して決定され得る。例えば、前記単位バッファーの大きさは、１ｍｓに対応するデータの大きさに決定され得る。この際、前記単位バッファーには、１ｍｓに対応するデータが受信された順に全体バッファーに順次に保存され得る。
段階Ｓ１４０では、第２端末機２０で、前記バッファーに保存されたデータに対する有効性検査を行う。前記有効性検査は、第１端末機１０から受信されたデータが有効（ｖａｌｉｄ）であるか否かを検査することであり、データ自体の有効性と共に、前記データに不良な要素が含まれているか否かを検査することを含む。
例えば、前記データは、映像データ（ｉｍａｇｅ ｄａｔａ）、音声データ（ａｕｄｉｏ ｄａｔａ）、およびテキストデータ（ｔｅｘｔ ｄａｔａ）のうち少なくともいずれか1つを含むことができる。段階Ｓ１４０では、前記映像データ、音声データたはテキストデータに不良な要素が含まれているか否かを検査することができる。
一実施形態において、段階Ｓ１４０では、前記データに含まれた映像データが、悪口ジェスチャー、侮辱ジェスチャー、人種差別ジェスチャー、性的コンテンツ、裸体露出（ｎｕｄｉｔｙ）、性器、性行為、非衛生的コンテンツ、排泄物、排泄行為、反社会的コンテンツ、反倫理的コンテンツ、不法行為、犯罪行為、憎悪犯罪（ｈａｔｅ ｃｒｉｍｅ）、暴力行為、虐待行為、自害行為、武器、麻薬、反社会的シンボル、嫌悪性（ｈａｔｅｆｕｌ）コンテンツ、威嚇性コンテンツ、恐怖症誘発（ｐｈｏｂｉａ－ｉｎｄｕｃｉｎｇ）コンテンツ、または血液のうち少なくとも1つ以上に対応する不良な要素を含んでいるか否かを検査することができる。
また、段階Ｓ１４０では、前記データに含まれた音声データまたはテキストデータが、悪口、脅迫性（ｉｎｔｉｍｉｄａｔｏｒｙ）発言、嫌悪性発言、反社会的発言、反倫理的発言、性的な発言、犯罪性（ｃｒｉｍｉｎａｌｉｔｙ）発言または侮辱的な発言のうち少なくともいずれか1つに対応する不良な要素を含んでいるか否かを検査することができる。または、前記データに含まれた音声データが、うめき、あえぐような声（ｇａｓｐｉｎｇ ｓｏｕｎｄ）、悲鳴または叫び声のうち少なくとも1つ以上の不良な要素を含んでいるか否かを検査することができる。他の例として、前記データに含まれた音声データが、轟音、銃声、嘔吐の音（ｖｏｍｉｔ ｓｏｕｎｄ）、打撃の音（ｈｉｔ ｓｏｕｎｄ）、むち打ちの音（ｗｈｉｐ ｓｏｕｎｄ）、刃物の音（ｋｎｉｆｅ ｓｏｕｎｄ）、スイングの音（ｓｗｉｎｇ ｓｏｕｎｄ）、刺す音（ｓｔａｂ ｓｏｕｎｄ）、のこぎりの音（ｓａｗ ｓｏｕｎｄ）、きしみ音（ｇｒａｔｉｎｇ ｓｏｕｎｄ）、キーキーいう音（ｃｒｅａｋｉｎｇ ｓｏｕｎｄ）、特定の臨界値以上のピッチ（ｐｉｔｃｈ）を有する音、または特定の臨界値以上の大きさ（ｌｏｕｄｎｅｓｓ）を有する音のうち少なくとも1つ以上の不良な要素を含んでいるか否かを検査することができる。
一方、他の実施形態において、段階Ｓ１４０では、前記データに不良な要素が含まれているか否かを判断するための機械学習モデルを用いることができる。前記機械学習モデルは、少なくとも２つ以上のレイヤー（ｌａｙｅｒ）を含むニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）でありうる。前記機械学習モデルは、入力レイヤー（ｉｎｐｕｔ ｌａｙｅｒ）および出力レイヤー（ｏｕｔｐｕｔ ｌａｙｅｒ）を含むことができる。前記機械学習モデルは、少なくとも1つ以上の隠れレイヤー（ｈｉｄｄｅｎ ｌａｙｅｒ）をさらに含むことができる。
前記機械学習モデルは、少なくとも1つ以上の映像、音声またはテキスト、および前記少なくとも1つ以上の映像、音声またはテキストが不良な要素を含むか否かに関する情報を用いて学習（ｔｒａｉｎ）された分類モデル（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ）でありうる。前記機械学習モデルは、任意の映像、音声またはテキストに含まれた少なくとも1つ以上の特徴点を入力値として用いることができる。前記機械学習モデルは、前記少なくとも1つ以上の特徴点が不良な要素に対応するか否かを予測（ｐｒｅｄｉｃｔ）することができる。
前記機械学習モデルは、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）アルゴリズムを用いて学習され得る。前記機械学習モデルは、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、制限ボルツマンマシン（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ，ＲＢＭ）、ディープビリーフネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ，ＤＢＮ）、またはディープキューネットワーク（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋｓ）のうち少なくとも1つ以上を含むことができる。
前記機械学習モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）でありうる。前記機械学習モデルは、ＡｌｅｘＮｅｔ、ＺＦＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ｖ２、Ｉｎｃｅｐｔｉｏｎ－ｖ３、またはＩｎｃｅｐｔｉｏｎ－ｖ４を含むことができる。
一実施形態によれば、これらの機械学習モデルを用いて受信したデータに不良な要素が含まれているか否かを判断する主体は、サーバー１００であってもよく、データを受信した第１端末機１０または第２端末機２０であってもよい。つまり、受信端末機で機械学習モデルを用いて前記データに不良な要素が含まれているか否かを判断することができる。
一方、本発明の他の実施形態において、段階Ｓ１４０は、前記バッファーに保存された第１データセット（ｄａｔａ ｓｅｔ）に対する有効性検査を行う段階と、前記バッファーに保存された第２データセットに対する有効性検査を行う段階と、前記バッファーに保存された第３データセットに対する有効性検査を行う段階と、を含むことができ、ここで、前記第１～第３データセットは、前記バッファーに順次に保存されたデータセットでありうる。
したがって、段階Ｓ１１０で前記ビデオ通話セッションが樹立された後に、段階Ｓ１２０～段階Ｓ１５０は、前記単位バッファーに保存されたデータセットに対して繰り返し行われるものと理解することができる。
前記ビデオ通話セッションが樹立されて第１端末機１０と第２端末機２０との間でデータ伝送がリアルタイムで連続的に起こる場合、前記バッファーに順次的に保存されたデータセットに対して連続的な有効性検査が行われ得る。有効性検査が完了したデータセットは、段階Ｓ１５０に伝達され、当該データセット以後に保存されたデータセットに対する有効性検査が行われ得る。
段階Ｓ１５０では、前記有効性検査結果に対応して前記データを処理する。一実施形態において、段階Ｓ１５０では、段階Ｓ１４０での有効性検査の結果、前記データに不良な要素が含まれていると判断された場合、第２端末機２０で当該データを再生しないように決定することができる。
例えば、順次にバッファーに保存されたデータセットを受信された順序によって検査し、不良な要素を含んでいるデータは再生しないように決定することができる。映像データに不良な要素が含まれている場合、当該データは、第２端末機２０のディスプレイを介して再生しなくてもよい。音声データに不良な要素が含まれている場合、当該データは、第２端末機２０のスピーカーを介して再生しなくてもよい。
ｎ番目に保存されたデータ（第ｎデータ）に不良な要素が含まれている場合、前記第ｎデータは再生しなくてもよく、ｎ＋１番目に保存されたデータ（第ｎ＋１データ）に対する有効性検査が行われ得る。前記第ｎ＋１データに不良な要素が含まれていないものと判断される場合、前記第ｎ＋１データは、第２端末機２０で正常に再生され、ｎ＋２番目に保存されたデータ（第ｎ＋２データ）に対する有効性検査が行われ得る。前記第ｎ＋２データの再生可否は、段階Ｓ１４０での有効性検査の結果によって段階Ｓ１５０で決定され得る。
一方、段階Ｓ１５０では、前記不良な要素を含んでいるデータに対応する時間の間に代替データを再生するように決定することができる。例えば、映像データに不良な要素が含まれている場合には、以前のデータセット（ｄａｔａ ｓｅｔ）に含まれた映像データを再生したり、前記不良な要素が含まれている映像データをブラー（ｂｌｕｒ）またはモザイク（ｍｏｓａｉｃ）処理した映像を代替映像として再生するように決定することができる。音声データに不良な要素が含まれている場合には、以前のデータセットに含まれた音声データを再生したり、前記不良な要素が含まれている音声データをミュート（ｍｕｔｅ）処理することができる。または、テキストデータに不良な要素が含まれている場合には、当該テキストデータを表示しないか、不良な要素が含まれていることを知らせるメッセージを表示するように決定することができる。
図３は、本発明の一実施形態によってデータがバッファーに保存される動作を概略的に示す図である。
図３を参照すると、ビデオ通話セッションを介して連結された相手の端末機から伝送されるデータは、大きさｍのバッファーに順次に保存され得る。この際、前記バッファーの大きさｍは、あらかじめ決定された大きさのバイト（ｂｙｔｅｓ）に対応したり、あらかじめ決定された時間に対応することができる。
図３で、第ｎ－１データセット（ｄａｔａ ｓｅｔ ｎ－１）、第ｎデータセット（ｄａｔａ ｓｅｔ ｎ）、および第ｎ＋１データセット（ｄａｔａ ｓｅｔ ｎ＋１）は、前記相手の端末機から順次に伝送されたものと理解することができる。
前記バッファーに保存された前記第ｎ－１データセット（ｄａｔａ ｓｅｔ ｎ－１）～前記第ｎ＋１データセット（ｄａｔａ ｓｅｔ ｎ＋１）に対して順次に有効性検査が行われ得る。前記有効性検査は、図２を参照して説明した段階Ｓ１４０に対応し、前記有効性検査が完了したデータセットは、段階Ｓ１５０に対応するデータ処理段階を経ることになる。
図３に示されるバッファーが図１および図２を参照して説明した第２端末機２０に含まれる構成要素である場合、前記第ｎ－１データセット（ｄａｔａ ｓｅｔ ｎ－１）～前記第ｎ＋１データセット（ｄａｔａ ｓｅｔ ｎ＋１）は、第１端末機１０から順次的に伝送されたものと理解することができる。
前記第ｎ－１データセット（ｄａｔａ ｓｅｔ ｎ－１）～前記第ｎ＋１データセット（ｄａｔａ ｓｅｔ ｎ＋１）の大きさは、互いに同じものと理解することができる。または、前記第ｎ－１データセット（ｄａｔａ ｓｅｔ ｎ－１）～前記第ｎ＋１データセット（ｄａｔａ ｓｅｔ ｎ＋１）の再生時間も、互いに同じものと理解することができる。
すなわち、前記第ｎ－１データセット（ｄａｔａ ｓｅｔ ｎ－１）～前記第ｎ＋１データセット（ｄａｔａ ｓｅｔ ｎ＋１）が保存される空間は、前記バッファーに含まれるそれぞれの単位バッファーで定義され得、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式で順次的なデータ処理が行われ得る。前記バッファーに保存されたデータ（またはデータセット）に対して順次に有効性検査および前記有効性検査の結果による処理が行われ得る。
図４は、本発明の他の実施形態による端末機の動作方法を概略的に示すフローチャートである。
図４を参照すると、本発明の他の実施形態による端末機の動作方法は、第１端末機と第２端末機との間にビデオ通話セッションを樹立する段階Ｓ２１０と、第２端末機にデータを伝送する段階Ｓ２２０と、受信したデータをバッファーに保存する段階Ｓ２３０と、データ有効性検査を行う段階Ｓ２４０と、データをデコーディング（ｄｅｃｏｄｉｎｇ）する段階Ｓ２５０と、データを処理する段階Ｓ２６０と、を含む。第１端末機と第２端末機との間にビデオ通話セッションを樹立する段階Ｓ２１０と、第２端末機にデータを伝送する段階Ｓ２２０と、受信したデータをバッファーに保存する段階Ｓ２３０と、データ有効性検査を行う段階Ｓ２４０と、データを処理する段階Ｓ２６０では、図２を参照して説明した段階Ｓ１１０～段階Ｓ１５０と実質的に同じ動作が行われるので、重複する内容に限って具体的な説明は省略することとする。
第１端末機１０から伝送されるデータは、デジタル（ｄｉｇｉｔａｌ）データにエンコーディング（ｅｎｃｏｄｉｎｇ）されて圧縮された形態で第２端末機２０に伝送され、段階Ｓ２５０では、エンコーディングされたデータをデコーディング（ｄｅｃｏｄｉｎｇ）する動作が行われる。段階Ｓ２５０では、有効性検査が完了したデータに対してデータデコーディングを行い、前記有効性検査の結果に対応して段階Ｓ２６０でデータ処理が行われる。段階Ｓ２４０で前記有効性検査を通過しないデータ、すなわち不良な要素を含んでいるデータは、段階Ｓ２５０でデコーディングされなくてもよい。
他の実施形態によると、段階Ｓ２４０での有効性検査は、データをデコーディングした後に行うことができる。これによると、第２端末機２０に伝送されたエンコーディングされたデータは、デコーディングされた後、有効性検査が行われ得る。そして、有効性検査が完了したデータは、有効性検査の結果に対応して段階Ｓ２６０でデータ処理が行われる。デコーディングされた後、段階Ｓ２４０で前記有効性検査を通過しないデータ、すなわち不良要素を含んでいるデータは、段階Ｓ２６０で再生しないように決定されるか、データに対応する時間の間に代替データを再生するように決定されるなど、ユーザーに不良な要素が遮断されるようにデータ処理が施され得る。
実施形態の第２端末機２０は、第１端末機１０から受信した映像データセットをバッファーに順次に保存し、保存された順序に応じて各データセットに対する有効性検査を行うことができる。一方、実施形態において、第２端末機２０は、受信した映像データセットをデコーディングしてバッファーに順次に保存することもできる。ただし、デコーディング後に直ちに再生可否を決定せず、有効性検査の結果によって再生可否を決定することによって、不適切なデータが再生されることを防止することができる。第２端末機２０は、有効性検査の結果によってデータセットに対する再生可否を決定することができる。このように各端末機内で学習モデルを用いて受信したデータセットに対する不適切な要素を検査する有効性検査を行うことによって、サーバーの介入なしにさらに高いユーザ便宜性を提供することができる。
図３のバッファー構造と同様に、段階Ｓ２５０でのデータデコーディングは、前記バッファーに保存された順序によって行われ、1つのデータ（またはデータセット）に対してデコーディングが完了すると、当該データ以後に前記バッファーに保存されたデータ（またはデータセット）に対してデコーディングが行われる。
図５は、従来技術による端末機の動作方法を概略的に示す図である。
図５を参照すると、従来技術による端末機は、受信されたデータに対してデコーディング（ｄｅｃｏｄｉｎｇ）と有効性検査を同時に行う。同じデータに対してデコーディングと有効性検査が同時に行われるので、不良な要素を含んでいるデータが発見されても、デコーディングされたデータが入出力インターフェースに伝達されて、端末機のユーザに表示され得る。したがって、不良な要素を含んでいるデータの再生を中断しても、当該データの一部は、ユーザに露出されるしかない問題を有することになる。
従来技術による端末機は、デコーディングと有効性検査を同時に行うことによって、データ通信に伴う遅延（ｌａｔｅｎｃｙ）を低減することができるが、Ｕｓｅｒ Ｈｅａｌｔｈの観点から好ましくない。
これに対し、本発明の一実施形態による端末機の動作方法によれば、有効性検査を通過しないデータに対してはデコーディングが行われず、前記入出力インターフェースに伝達されても、ユーザには正常に表示され得ない。したがって、ユーザの経験に害を及ぼすおそれがある不良な要素を基本的に遮断する効果を期待することができる。
図６は、本発明の一実施形態による端末機の構造を概略的に示す図である。
図６を参照すると、本発明の一実施形態による端末機３０は、通信インターフェース３１、データ保存部３２、有効性検査部３３、および制御部３４を含む。図１の第１端末機１０および第２端末機２０は、図６に示される端末機３０と実質的に同じ構成要素を含むことができる。
通信インターフェース３１は、端末機３０と他の端末機との間にビデオ通話セッションを樹立し、前記他の端末機と互いにデータを送受信することができるようにする。端末機３０には、ビデオ通話を実行するアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）が設置されており、これと同じアプリケーションが設置されている他の端末機とビデオ通話を行うことができる。通信インターフェース３１は、端末機３０からのビデオ通話要請を相手の端末機に伝送したり、相手の端末機からビデオ通話要請を受信することができる。そして、端末機３０の情報を相手の端末機に伝送したり相手の端末機の情報を受信することができ、端末機情報を用いてビデオ通話セッションを樹立することができる。
前記ビデオ通話セッションが樹立されると、通信インターフェース３１は、端末機３０で獲得されたデータを前記他の端末機に伝送することができる。前記データは、映像、音声、およびテキストのうち少なくともいずれか1つを含むことができる。端末機３０で生成されたデータが前記他の端末機に伝送される場合、端末機３０で生成されたデータは、エンコーディング（ｅｎｃｏｄｉｎｇ）されて前記他の端末機に伝送され、エンコーディングされたデータは、前記他の端末機でデコーディング（ｄｅｃｏｄｉｎｇ）され得る。前記他の端末機で生成されたデータが端末機３０に伝送される場合には、前記他の端末機でエンコーディングされたデータが端末機３０でデコーディングされ得る。したがって、端末機３０は、エンコーディングされたデータをデコーディングするデコーダー（ｄｅｃｏｄｅｒ）をさらに含むことができる。そして、前記デコーダーは、有効性検査部３３で有効性検査が完了したデータに対してデコーディングを行うことができる。または、前記デコーダーは、デコーディングされたデータを有効性検査部３３に伝達してデコーディングされたデータに不良な要素が含まれているか否かを判断するようにすることができる。
データ保存部３２は、他の端末機から受信したデータをあらかじめ設定された大きさのバッファーに順次に保存する。例えば、前記バッファーの大きさがｎバイトにあらかじめ設定されている場合、前記他の端末機から受信されるデータは、データ保存部３２のバッファーにｎバイト単位で保存され得る。特定の時間区間の間に前記他の端末機から１０×ｎバイトのデータが端末機３０に伝送される場合、前記データは、前記他の端末機から伝送される順序によってｎバイト単位で前記バッファーに順次に保存され得る。一方、ここで、前記バッファーの大きさは、全体バッファーの大きさを意味することができるが、受信したデータを保存する単位バッファーの大きさを意味することもできる。
一方、前記単位バッファーの大きさは、一定の時間に対応して決定され得る。例えば、前記単位バッファーの大きさは、１ｍｓに対応するデータの大きさに決定され得る。この際、前記単位バッファーには、１ｍｓに対応するデータが受信された順に全体バッファーに順次に保存され得る。
有効性検査部３３は、データ保存部３２に保存されたデータに対する有効性検査を行う。前記有効性検査は、前記他の端末機から受信されたデータが有効（ｖａｌｉｄ）であるか否かを検査することであり、データ自体の有効性と共に、前記データに不良な要素が含まれているか否かを検査することを含む。
例えば、前記データは、映像データ（ｉｍａｇｅ ｄａｔａ）、音声データ（ａｕｄｉｏ ｄａｔａ）、およびテキストデータ（ｔｅｘｔ ｄａｔａ）のうち少なくともいずれか1つを含むことができ、有効性検査部３３は、前記映像データ、音声データまたはテキストデータに不良な要素が含まれているか否かを検査することができる。
一実施形態において、有効性検査部３３は、前記データに含まれた映像データが、悪口ジェスチャー、侮辱ジェスチャー、人種差別ジェスチャー、性的コンテンツ、裸体露出（ｎｕｄｉｔｙ）、性器、性行為、非衛生的コンテンツ、排泄物、排泄行為、反社会的コンテンツ、反倫理的コンテンツ、不法行為、犯罪行為、憎悪犯罪（ｈａｔｅ ｃｒｉｍｅ）、暴力行為、虐待行為、自害行為、武器、麻薬、反社会的シンボル、嫌悪性（ｈａｔｅｆｕｌ）コンテンツ、威嚇性コンテンツ、恐怖症誘発（ｐｈｏｂｉａ－ｉｎｄｕｃｉｎｇ）コンテンツ、または血液のうち少なくとも1つ以上に対応する不良な要素を含んでいるか否かを検査することができる。
また、有効性検査部３３は、前記データに含まれた音声データまたはテキストデータが、悪口、脅迫性（ｉｎｔｉｍｉｄａｔｏｒｙ）発言、嫌悪性発言、反社会的発言、反倫理的発言、性的な発言、犯罪性（ｃｒｉｍｉｎａｌｉｔｙ）発言または侮辱的な発言のうち少なくともいずれか1つに対応する不良な要素を含んでいるか否かを検査することができる。または、前記データに含まれた音声データが、うめき、あえぐような声（ｇａｓｐｉｎｇ ｓｏｕｎｄ）、悲鳴または叫び声のうち少なくとも1つ以上の不良な要素を含んでいるか否かを検査することができる。他の例として、前記データに含まれた音声データが、轟音、銃声、嘔吐の音（ｖｏｍｉｔ ｓｏｕｎｄ）、打撃の音（ｈｉｔ ｓｏｕｎｄ）、むち打ちの音（ｗｈｉｐ ｓｏｕｎｄ）、刃物の音（ｋｎｉｆｅ ｓｏｕｎｄ）、スイングの音（ｓｗｉｎｇ ｓｏｕｎｄ）、刺す音（ｓｔａｂ ｓｏｕｎｄ）、のこぎりの音（ｓａｗ ｓｏｕｎｄ）、きしみ音（ｇｒａｔｉｎｇ ｓｏｕｎｄ）、キーキーいう音（ｃｒｅａｋｉｎｇ ｓｏｕｎｄ）、特定の臨界値以上のピッチ（ｐｉｔｃｈ）を有する音、または特定の臨界値以上の大きさ（ｌｏｕｄｎｅｓｓ）を有する音のうち少なくとも1つ以上の不良な要素を含んでいるか否かを検査することができる。
一方、他の実施形態において、有効性検査部３３は、前記データに不良な要素が含まれているか否かを判断するための機械学習モデルを用いることができる。前記機械学習モデルは、少なくとも２つ以上のレイヤー（ｌａｙｅｒ）を含むニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）でありうる。前記機械学習モデルは、入力レイヤー（ｉｎｐｕｔ ｌａｙｅｒ）および出力レイヤー（ｏｕｔｐｕｔ ｌａｙｅｒ）を含むことができる。前記機械学習モデルは、少なくとも1つ以上の隠れレイヤー（ｈｉｄｄｅｎ ｌａｙｅｒ）をさらに含むことができる。
前記機械学習モデルは、少なくとも1つ以上の映像、音声またはテキスト、および前記少なくとも1つ以上の映像、音声またはテキストが不良な要素を含むか否かに関する情報を用いて学習（ｔｒａｉｎ）された分類モデル（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ）でありうる。前記機械学習モデルは、任意の映像、音声またはテキストに含まれた少なくとも1つ以上の特徴点を入力値として用いることができる。前記機械学習モデルは、前記少なくとも1つ以上の特徴点が不良な要素に対応するか否かを予測（ｐｒｅｄｉｃｔ）することができる。
前記機械学習モデルは、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）アルゴリズムを用いて学習され得る。前記機械学習モデルは、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、制限ボルツマンマシン（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ，ＲＢＭ）、ディープビリーフネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ，ＤＢＮ）、またはディープキューネットワーク（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋｓ）のうち少なくとも1つ以上を含むことができる。
前記機械学習モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）でありうる。前記機械学習モデルは、ＡｌｅｘＮｅｔ、ＺＦＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ｖ２、Ｉｎｃｅｐｔｉｏｎ－ｖ３、またはＩｎｃｅｐｔｉｏｎ－ｖ４を含むことができる。
このように、端末機３０が受信したデータを有効性検査部３３を介して機械学習することによって、サーバーでなく、端末機３０で自体的にデータの不良な要素の包含有無を判断することができる。データを受信する端末機３０で有効性検査を行うので、端末機３０別に機械学習結果が異なり得、これは、ユーザーカスタマイズ結果を提供するのに有利になり得る。
一方、本発明の他の実施形態において、有効性検査部３３は、データ保存部３２に保存された第１データセット（ｄａｔａ ｓｅｔ）～第３データセットに対する有効性検査を行うことができ、この際、前記第１～第３データセットは、データ保存部３２に順次に保存されたデータセットを意味する。
したがって、前記ビデオ通話セッションが樹立された後にデータ保存部３２に時間的に最初に保存されたデータセットに対して保存された順序によって有効性検査が行われ、その後に保存されたデータセットに対する有効性検査が行われる。
前記ビデオ通話セッションが樹立されて端末機３０と前記他の端末機との間でデータ伝送がリアルタイムで連続的に起こる場合、データ保存部３２に順次に保存されたデータセットに対して連続的な有効性検査が行われ得る。有効性検査が完了したデータセットは、データ処理過程を経ることになり、当該データセット以後に保存されたデータセットに対する有効性検査が行われ得る。
一実施形態によれば、有効性検査部３３は、デコーディングされたデータに対して有効性を検査することができる。例えば、データ保存部３２は、他の端末機から受信したエンコーディングされたデータを順次に保存することができ、保存されたデータがデコーダーを介して順次にデコードされて、有効性検査部３３で有効性検査が施され得る。または、データ保存部３２は、デコーディングされたデータを順次に保存することができ、有効性検査部３３は、データ保存部３２に順次に保存されたデコーティングされたデータに対して有効性検査を行うこともできる。
制御部３４は、前記有効性検査の結果に対応して前記データを処理する。一実施形態において、制御部３４は、有効性検査部３３における有効性検査の結果、データに不良な要素が含まれていると判断された場合、端末機３０で当該データを再生しないように決定することができる。
例えば、順次にデータ保存部３２に保存されたデータセットを受信された順序によって検査し、不良な要素を含んでいるデータは再生しないように決定することができる。映像データに不良な要素が含まれている場合、当該データは、端末機３０のディスプレイを介して再生しなくてもよい。音声データに不良な要素が含まれている場合、当該データは、端末機３０のスピーカーを介して再生しなくてもよい。前記ディスプレイおよびスピーカーは、端末機３０に含まれた入出力インターフェース（不図示）を構成することができる。
ｎ番目に保存されたデータ（第ｎデータ）に不良な要素が含まれている場合、前記第ｎデータは再生しなくてもよく、ｎ＋１番目に保存されたデータ（第ｎ＋１データ）に対する有効性検査が行われ得る。前記第ｎ＋１データに不良な要素が含まれていないものと判断される場合、前記第ｎ＋１データは、端末機３０で正常に再生され、ｎ＋２番目に保存されたデータ（第ｎ＋２データ）に対する有効性検査が行われ得る。前記第ｎ＋２データの再生可否は、有効性検査の結果によって制御部３４で決定され得る。
一方、制御部３４は、前記不良な要素を含んでいるデータに対応する時間の間に代替データを再生するように決定することができる。例えば、映像データに不良な要素が含まれている場合には、以前のデータセット（ｄａｔａ ｓｅｔ）に含まれた映像データを再生したり前記不良な要素が含まれている映像データをブラー（ｂｌｕｒ）またはモザイク（ｍｏｓａｉｃ）処理した映像を代替映像として再生するように決定することができる。音声データに不良な要素が含まれている場合には、以前のデータセットに含まれた音声データを再生したり前記不良な要素が含まれている音声データをミュート（ｍｕｔｅ）処理することができる。または、テキストデータに不良な要素が含まれている場合には、当該テキストデータを表示しないか、不良な要素が含まれていることを知らせるメッセージを表示するように決定することができる。
以上で説明された実施形態は、コンピュータにより実行されるプログラムモジュールのようなコンピュータにより実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読み取り可能な媒体は、コンピュータによりアクセスされ得る任意の可用媒体であり得、揮発性および非揮発性媒体、分離型および非分離型媒体を全部含むことができる。
また、コンピュータ読み取り可能な媒体は、コンピュータ保存媒体を含むことができる。コンピュータ保存媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他データのような情報の保存のための任意の方法または技術で具現された揮発性および非揮発性、分離型および非分離型媒体を全部含むことができる。
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることを理解することができる。したがって、以上で記述した実施形態は、すべての面において例示的なものであり、限定的でないものと理解しなければならない。
１００ サーバー
１０ 第１端末機
２０ 第２端末機
３０ 端末機
３１ 通信インターフェース
３２ データ保存部
３３ 有効性検査部
３４ 制御部

Claims (20)

  1. 第１端末機と第２端末機との間にビデオ通話セッションを樹立する段階と；
    前記第１端末機で獲得されたデータを前記第２端末機で受信する段階と；
    前記第２端末機で、前記第１端末機から受信した前記データをあらかじめ設定された大きさのバッファーに順次に保存する段階と；
    前記第２端末機で、前記バッファーに保存された前記データに対する有効性検査を行う段階と；
    前記有効性検査の結果に対応して、前記第２端末機で前記データを処理する段階と；を含む端末機の動作方法。
  2. 前記有効性検査を行う段階は、
    前記バッファーに保存された前記データをデコーディングして有効性検査を行う段階を含む、請求項１に記載の端末機の動作方法。
  3. 前記バッファーに順次に保存する段階は、
    前記第１端末機から受信した前記データをデコーディグして前記バッファーに順次に保存する段階を含む、請求項１に記載の端末機の動作方法。
  4. 前記有効性検査を行う段階は、前記データに不良な要素が含まれているか否かを判断するための機械学習モデルを用いる、請求項１に記載の端末機の動作方法。
  5. 前記データを処理する段階は、前記有効性検査の結果、不良な要素を含んでいるデータを再生しないように決定する、請求項１に記載の端末機の動作方法。
  6. 前記データを処理する段階は、不良な要素を含んでいるデータに対応する時間の間に代替データを再生するように決定する、請求項１に記載の端末機の動作方法。
  7. 前記データは、映像データ、音声データおよびテキストデータのうち少なくともいずれか1つを含む、請求項１に記載の端末機の動作方法。
  8. 前記有効性検査を行う段階は、
    前記バッファーに保存された第１データセットに対する有効性検査を行う段階と；
    前記バッファーに保存された第２データセットに対する有効性検査を行う段階と；
    前記バッファーに保存された第３データセットに対する有効性検査を行う段階と；を含み、
    前記第１～第３データセットは、前記バッファーに順次に保存されたデータセットである、請求項１に記載の端末機の動作方法。
  9. 前記有効性検査を行った結果、前記第１データセットおよび前記第３データセットは、不良な要素を含まず、前記第２データセットは、不良な要素を含むものと判断された場合、
    前記データを処理する段階は、前記第１データセットおよび前記第３データセットを再生するように決定し、前記第２データセットは再生しないように決定する、請求項８に記載の端末機の動作方法。
  10. 前記データを処理する段階は、
    前記第２データセットに含まれた映像データにブラー（ｂｌｕｒ）またはモザイク処理をし、前記第２データセットに含まれた音声データは、ミュート（ｍｕｔｅ）処理をし、前記第２データセットに含まれたテキストデータは表示しない、請求項９に記載の端末機の動作方法。
  11. 請求項１～１０のいずれか1項に記載の方法を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  12. 端末機であって、
    前記端末機と他の端末機との間にビデオ通話セッションを樹立し、互いにデータを送受信するための通信インターフェースと；
    前記ビデオ通話セッションを介して前記他の端末機から受信したデータを受信された時間によって順次に保存するデータ保存部と；
    前記データ保存部に保存された前記データに対する有効性検査を行う有効性検査部と；
    前記有効性検査の結果に対応して前記データを処理する制御部と；を含む端末機。
  13. 前記データをデコーディング（ｄｅｃｏｄｉｎｇ）するデコーダー；をさらに含み、
    前記デコーダーは、前記有効性検査部で有効性検査が完了したデータに対してデコーディングを行う、請求項１２に記載の端末機。
  14. 前記有効性検査部は、前記データに不良な要素が含まれているか否かを判断するための機械学習モデルを用いる、請求項１２に記載の端末機。
  15. 前記制御部は、前記有効性検査の結果、不良な要素を含んでいるデータを再生しないように決定する、請求項１２に記載の端末機。
  16. 前記制御部は、前記不良な要素を含んでいるデータに対応する時間の間に代替データを再生するように決定する、請求項１５に記載の端末機。
  17. 前記データは、映像データ、音声データおよびテキストデータのうち少なくともいずれか1つを含む、請求項１２に記載の端末機。
  18. 前記有効性検査部は、
    前記データ保存部に保存された第１データセット、第２データセットおよび第３データセットに対する有効性検査を行い、
    前記第１～第３データセットは、前記データ保存部に順次に保存されたデータセットである、請求項１２に記載の端末機。
  19. 前記有効性検査を行った結果、前記第１データセットおよび前記第３データセットは、不良な要素を含まず、前記第２データセットは、不良な要素を含むものと判断された場合、
    前記制御部は、前記第１データセットおよび前記第３データセットを再生するように決定し、前記第２データセットは再生しないように決定する、請求項１８に記載の端末機。
  20. 前記制御部は、
    前記第２データセットに含まれた映像データにブラー（ｂｌｕｒ）またはモザイク処理をし、前記第２データセットに含まれた音声データは、ミュート（ｍｕｔｅ）処理をし、前記第２データセットに含まれたテキストデータは表示しない、請求項１９に記載の端末機。
JP2022173296A 2020-01-31 2022-10-28 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体 Pending JP2023015166A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0012270 2020-01-31
KR1020200012270A KR102287704B1 (ko) 2020-01-31 2020-01-31 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체
JP2021013354A JP2021125881A (ja) 2020-01-31 2021-01-29 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021013354A Division JP2021125881A (ja) 2020-01-31 2021-01-29 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
JP2023015166A true JP2023015166A (ja) 2023-01-31

Family

ID=74418219

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021013354A Pending JP2021125881A (ja) 2020-01-31 2021-01-29 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体
JP2022173296A Pending JP2023015166A (ja) 2020-01-31 2022-10-28 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021013354A Pending JP2021125881A (ja) 2020-01-31 2021-01-29 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (2) US11496709B2 (ja)
EP (1) EP3860135A1 (ja)
JP (2) JP2021125881A (ja)
KR (1) KR102287704B1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
US11622147B2 (en) * 2021-07-22 2023-04-04 Popio Mobile Video Cloud, Llc Blurring digital video streams upon initiating digital video communications

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690279A (ja) * 1992-09-08 1994-03-29 Fujitsu General Ltd イタズラ電話撃退装置
US20030028875A1 (en) * 2001-05-02 2003-02-06 Koninklijke Philips Electronics N.V. Television access control system
GB0709574D0 (en) 2007-05-18 2007-06-27 Aurix Ltd Speech Screening
US20090041311A1 (en) * 2007-08-09 2009-02-12 Jon Hundley Facial recognition based content blocking system
JP2008159034A (ja) * 2007-11-07 2008-07-10 Fujitsu Ltd サーバおよび音声信号収集配信方法
US20090288131A1 (en) * 2008-05-13 2009-11-19 Porto Technology, Llc Providing advance content alerts to a mobile device during playback of a media item
US8441356B1 (en) 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
JP2011082694A (ja) 2009-10-05 2011-04-21 Sharp Corp 通信会議システム及び通信装置
JP2011205243A (ja) 2010-03-24 2011-10-13 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
US8826322B2 (en) * 2010-05-17 2014-09-02 Amazon Technologies, Inc. Selective content presentation engine
CN103238311A (zh) 2011-01-13 2013-08-07 株式会社尼康 电子设备及电子设备的控制程序
JP5771998B2 (ja) 2011-01-13 2015-09-02 株式会社ニコン 電子機器および電子機器の制御プログラム
US20160023116A1 (en) * 2014-07-03 2016-01-28 Spitfire Technologies, Llc Electronically mediated reaction game
JP6492638B2 (ja) 2014-12-25 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2016189350A1 (en) 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
WO2017004241A1 (en) * 2015-07-02 2017-01-05 Krush Technologies, Llc Facial gesture recognition and video analysis tool
KR20170059201A (ko) 2015-11-20 2017-05-30 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐츠 출력 방법
US10104025B2 (en) 2016-05-23 2018-10-16 Oath Inc. Virtual chat rooms
KR20180039402A (ko) 2016-10-10 2018-04-18 주식회사 하이퍼커넥트 영상 표시 장치 및 영상 표시 방법
US10349126B2 (en) 2016-12-19 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for filtering video
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR101967658B1 (ko) * 2017-05-27 2019-04-29 주식회사 하이퍼커넥트 영상 통화 장치 및 영상 통화 방법
KR102283972B1 (ko) * 2017-07-14 2021-08-02 주식회사 하이퍼커넥트 통신 장치, 서버 및 동작 방법
KR102056806B1 (ko) * 2017-12-15 2019-12-18 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말과 서버
WO2019217251A1 (en) 2018-05-05 2019-11-14 Tangosquared Llc Novel decency filtration tools and their use in interfacing systems
JP2020010158A (ja) 2018-07-06 2020-01-16 本田技研工業株式会社 周辺画像の提供方法、及び通信端末用プログラム
US10440324B1 (en) * 2018-09-06 2019-10-08 Amazon Technologies, Inc. Altering undesirable communication data for communication sessions
KR102266888B1 (ko) 2018-12-31 2021-06-21 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말기 및 서버
US20200335089A1 (en) 2019-04-16 2020-10-22 International Business Machines Corporation Protecting chat with artificial intelligence
US20220229488A1 (en) 2019-06-14 2022-07-21 Semiconductor Energy Laboratory Co., Ltd. Data Processing Device Executing Operation Based on User's Emotion
US11330313B2 (en) 2019-08-02 2022-05-10 Dell Products L.P. Crowd rating media content based on micro-expressions of viewers
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법

Also Published As

Publication number Publication date
JP2021125881A (ja) 2021-08-30
US20230094732A1 (en) 2023-03-30
EP3860135A1 (en) 2021-08-04
US20210243408A1 (en) 2021-08-05
KR102287704B1 (ko) 2021-08-10
US11496709B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP2023015166A (ja) 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体
US10965907B2 (en) Video communication device, video communication method, and video communication mediating method
US8489696B2 (en) Instant messaging exchange incorporating user-generated multimedia content
US10542090B2 (en) Concurrently uploading multimedia objects and associating metadata with the multimedia objects
US10049543B1 (en) Covert infrared monitoring and recording of images and video in controlled-environment facilities
CN101667188A (zh) 一种在博客上实现音频视频留言和评论的方法和系统
KR102282963B1 (ko) 단말기, 서버 및 그것의 동작 방법
CN111783756A (zh) 文本识别方法及装置、电子设备和存储介质
US10404941B1 (en) Overt and covert capture of images of controlled-environment facility residents using intelligent controlled-environment facility resident communications and/or media devices
CN110931028B (zh) 一种语音处理方法、装置和电子设备
KR20220024339A (ko) 신고 평가 장치 및 그것의 동작 방법
TW202114407A (zh) 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體
US10848530B2 (en) Conference system and method for interworking between audio conference and web conference
US20220246133A1 (en) Systems and methods of handling speech audio stream interruptions
CN105306501A (zh) 用于对多媒体数据进行交互式更新的方法和系统
US10893232B1 (en) Controlled-environment facility video communications monitoring system
US9350943B2 (en) Video picker
CN114449341B (zh) 音频处理方法、装置、可读介质及电子设备
US11810588B2 (en) Audio source separation for audio devices
CN115118919A (zh) 音频处理方法、装置、设备、存储介质和程序产品
CN116229938A (zh) 音频播放方法、音频转换方法及装置
KR20160058464A (ko) 음성기반의 동영상메시지 전송시스템 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231221