JP2021072625A - 新しい人を紹介するビデオ通話の通話時間による課金を公平に行う方法およびシステム - Google Patents

新しい人を紹介するビデオ通話の通話時間による課金を公平に行う方法およびシステム Download PDF

Info

Publication number
JP2021072625A
JP2021072625A JP2020180499A JP2020180499A JP2021072625A JP 2021072625 A JP2021072625 A JP 2021072625A JP 2020180499 A JP2020180499 A JP 2020180499A JP 2020180499 A JP2020180499 A JP 2020180499A JP 2021072625 A JP2021072625 A JP 2021072625A
Authority
JP
Japan
Prior art keywords
video call
billing
terminal
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020180499A
Other languages
English (en)
Inventor
ジソン チェー
Ji Seon Choi
ジソン チェー
ドングン ユ
Donggun Yoo
ドングン ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Plus Corp
Original Assignee
Line Plus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Plus Corp filed Critical Line Plus Corp
Publication of JP2021072625A publication Critical patent/JP2021072625A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/82—Criteria or parameters used for performing billing operations
    • H04M15/8207—Time based data metric aspects, e.g. VoIP or circuit switched packet data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/24—Accounting or billing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/41—Billing record details, i.e. parameters, identifiers, structure of call data record [CDR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/56—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP for VoIP communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/59—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP based on real time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/66—Policy and charging system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/70—Administration or customization aspects; Counter-checking correct charges
    • H04M15/72—Administration or customization aspects; Counter-checking correct charges by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/70—Administration or customization aspects; Counter-checking correct charges
    • H04M15/72—Administration or customization aspects; Counter-checking correct charges by the user
    • H04M15/721—Administration or customization aspects; Counter-checking correct charges by the user using the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/70—Administration or customization aspects; Counter-checking correct charges
    • H04M15/745—Customizing according to wishes of subscriber, e.g. friends or family
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/80—Rating or billing plans; Tariff determination aspects
    • H04M15/8066—According to the number of recipients
    • H04M15/8072—Group, conference or multi-party call
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/82—Criteria or parameters used for performing billing operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/82—Criteria or parameters used for performing billing operations
    • H04M15/8278—Event based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/83—Notification aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2215/00—Metering arrangements; Time controlling arrangements; Time indicating arrangements
    • H04M2215/01—Details of billing arrangements
    • H04M2215/0168—On line or real-time flexible customization or negotiation according to wishes of subscriber
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2215/00—Metering arrangements; Time controlling arrangements; Time indicating arrangements
    • H04M2215/01—Details of billing arrangements
    • H04M2215/018—On-line real-time billing, able to see billing information while in communication, e.g. via the internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2215/00—Metering arrangements; Time controlling arrangements; Time indicating arrangements
    • H04M2215/01—Details of billing arrangements
    • H04M2215/0188—Network monitoring; statistics on usage on called/calling number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2215/00—Metering arrangements; Time controlling arrangements; Time indicating arrangements
    • H04M2215/14—Billing aspects relating to the actual charge
    • H04M2215/143—Non communication time, i.e. billing the user for the actual time used by the service, not for the time awaiting responses due to network problems; Billing the user when there is a satisfied QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2215/00—Metering arrangements; Time controlling arrangements; Time indicating arrangements
    • H04M2215/74—Rating aspects, e.g. rating parameters or tariff determination apects
    • H04M2215/7478—According to the number of recipients
    • H04M2215/7485—Group call; Conference call; Multi Party Call
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2215/00—Metering arrangements; Time controlling arrangements; Time indicating arrangements
    • H04M2215/78—Metric aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Meter Arrangements (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 本発明は、ビデオ通話の通話時間に応じて課金を行う技術を提供する。【解決手段】 一実施形態に係るコンピュータによって実現される課金方法は、ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示する段階、前記ビデオ通話画面に表示された相手端末と関連する映像データから前記相手端末に入力される反応情報を認識する段階、予め設定された課金政策に基づき、前記認識された相手端末の反応情報に対する課金データを生成する段階を含む。【選択図】 図７

Description

以下の説明は、ビデオ通話の通話時間に応じて課金を行う技術に関する。
通信技術の発達にともない、携帯電話などのようなモバイル通信機器はもちろん、ＴＶのような大型電子機器でもビデオ通話サービスを提供するようになった。ビデオ通話サービスは、発信端末がビデオ通話を発呼すると、基地局／基地局制御装置を経て交換装置に発呼メッセージが送信され、交換装置がホーム位置登録装置から着信端末へのルーティング情報を取得することで、着信側の交換装置を経て着信端末とのセッション設定を実行するようになる。このような過程により、発信端末と着信端末は、オーディオや映像を送受信することができ、互いに相手の顔を見ながらビデオ通話を実行することができる。
オンライン上で出会いを提供するアプリケーションを通じて新たな出会いを求めるユーザが増加している。オンライン上で新しい人に出会うためにビデオ通話を行うときには、通話時間に応じて課金されるのが一般的である。しかし、ビデオ通話中に相手から反応が得られない場合にも、同じように通話時間に応じて課金がなされるため、課金の不公平を訴えるユーザが存在していた。
新しい人を紹介するビデオ通話の通話時間による課金を公平に行う方法およびシステムを提供する。
コンピュータによって実現される課金方法は、ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示する段階、前記ビデオ通話画面に表示された相手端末と関連する映像データから、前記相手端末に入力される反応情報を認識する段階、予め設定された課金政策に基づき、前記認識された相手端末の反応情報に対する課金データを生成する段階を含んでよい。
コンピュータによって実現される課金システムは、ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示するビデオ通話表示部、前記ビデオ通話画面に表示された相手端末と関連する映像データから、前記相手端末に入力される反応情報を認識する反応認識部、予め設定された課金政策に基づき、前記認識された相手端末の反応情報に対する課金データを生成する課金生成部を備えてよい。
ビデオ通話画面に表示される相手端末と関連する映像データから相手端末の反応情報を認識することで、ビデオ通話が実際に発生した時間に応じて公平に課金を行うことができる。
一実施形態における、ネットワーク環境の例を示した図である。 一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 一実施形態における、電子機器のプロセッサが含むことのできる構成要素を説明するためのブロック図である。 一実施形態における、電子機器が実行することのできる課金方法を説明するためのフローチャートである。 一実施形態における、電子機器間でビデオ通話が実行されることを説明するための例示図である。 一実施形態における、電子機器でアイテムが使用されることを説明するための例示図である。 一実施形態における、電子機器で相手端末の反応情報を認識することを説明するための例示図である。 一実施形態における、相手端末の反応情報に基づいて電子機器で課金データを生成することを説明するためのフローチャートである。
＜発明の概要＞
コンピュータによって実現される課金方法は、ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示する段階、前記ビデオ通話画面に表示された相手端末と関連する映像データから、前記相手端末に入力される反応情報を認識する段階、予め設定された課金政策に基づき、前記認識された相手端末の反応情報に対する課金データを生成する段階を含んでよい。
前記課金データを生成する段階は、相手端末の反応情報に応じて課金データを生成するための課金政策を設定する段階を含んでよい。
前記課金データを生成する段階は、前記相手端末から入力される反応情報が不在であるか予め設定された時間未満と認識される場合、前記設定された課金政策に基づく課金データの生成を中断する段階を含んでよい。
前記課金データを生成する段階は、前記相手端末の反応情報が認識された時間情報をカウントし、前記設定された課金政策に基づき、前記カウントされた時間情報に対する課金データを生成または中断する段階を含んでよい。
前記認識する段階は、前記ビデオ通話画面に表示される相手端末と関連する映像データから、前記映像データで認識される相手ユーザの顔情報、相手ユーザの音声データ、または相手ユーザのテキストデータのうちのいずれか１つに基づいて相手端末の反応情報に対する認識を判断する段階を含んでよい。
前記認識する段階は、前記相手ユーザの顔情報が予め設定された時間以上にわたり顔認識が感知されない場合には、前記相手ユーザの音声データに対する音声認識を実行し、前記相手ユーザの音声データが予め設定された時間以上にわたり音声認識が感知されない場合には、前記相手ユーザのテキストデータに対するテキスト入力認識を実行し、前記相手ユーザのテキストデータが予め設定された時間以上にわたりテキスト入力認識が感知されない場合には、前記相手ユーザの反応情報を不在として判断する段階を含んでよい。
前記認識する段階は、前記相手ユーザの顔情報を構成する構成要素を含む領域情報の割合情報に基づき、相手ユーザの顔情報に対する反応情報を認識したと判断する段階を含んでよい。
前記認識する段階は、前記ビデオ通話中に発生する音声データから相手ユーザの音声データを区分することで、相手ユーザの音声データに対する反応情報が入力されたと認識する段階を含んでよい。
前記認識する段階は、メッセージを入力するユーザインタフェースを前記ビデオ通話画面に提供し、前記ユーザインタフェースを利用して入力されるメッセージに基づき、相手ユーザのテキストデータが入力されたと認識する段階を含んでよい。
前記課金データを生成する段階は、前記ビデオ通話画面に表示された端末のユーザの反応情報は認識されるが、前記ビデオ通話画面に表示された相手端末の反応情報は認識されない場合、前記相手端末の反応情報が認識されないと判断し、課金データの生成を中断する段階を含んでよい。
前記表示する段階は、前記ビデオ通話の接続要請にしたがって探索された相手端末とのビデオ通話の接続により、前記ビデオ通話が接続された相手端末と関連する映像データを一定の時間にわたり前記ビデオ通話画面に表示する段階を含んでよい。
前記表示する段階は、前記ビデオ通話が接続された相手端末の相手ユーザが確認されることにより、前記ビデオ通話中にアイテムを利用して前記相手端末とのビデオ通話の時間を制御する段階を含んでよい。
前記生成する段階は、前記ビデオ通話中に使用されたアイテムに設定されたビデオ通話の時間情報に基づき、前記相手端末の反応情報の認識を実行した結果情報によって相手端末とのビデオ通話の接続時間をカウントする段階を含んでよい。
前記表示する段階は、前記相手端末とのビデオ通話の接続によってビデオ通話モードを動作させ、前記動作するビデオ通話モードに基づき、前記相手端末と関連する映像データをビデオ通話画面に表示する段階を含んでよい。
前記生成する段階は、前記相手端末とのビデオ通話の接続によって動作するビデオ通話モードがボイスモードに切り替わる場合、前記ビデオ通話画面を終了させ、前記ボイスモードに切り替わった時間情報に基づいて前記課金データの生成を中断する段階を含んでよい。
課金方法を前記コンピュータシステムに実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを含んでよい。
コンピュータによって実現される課金システムは、ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示するビデオ通話表示部、前記ビデオ通話画面に表示された相手端末と関連する映像データから、前記相手端末に入力される反応情報を認識する反応認識部、予め設定された課金政策に基づき、前記認識された相手端末の反応情報に対する課金データを生成する課金生成部を備えてよい。
前記課金生成部は、相手端末の反応情報に応じて課金データを生成するための課金政策を設定し、前記相手端末から入力される反応情報が不在であるか予め設定された時間未満と認識される場合、前記設定された課金政策に基づく課金データの生成を中断してよい。
前記反応認識部は、前記ビデオ通話画面に表示される相手端末と関連する映像データから、前記映像データで認識される相手ユーザの顔情報、相手ユーザの音声データ、または相手ユーザのテキストデータのうちのいずれか１つに基づいて相手端末の反応情報に対する認識を判断してよい。
前記ビデオ通話表示部は、前記ビデオ通話が接続された相手端末の相手ユーザが確認されることにより、前記ビデオ通話中にアイテムを利用して前記相手端末とのビデオ通話時間を制御することを含み、前記課金生成部は、前記ビデオ通話中に使用されたアイテムに設定されたビデオ通話時間情報に基づき、前記相手端末の反応情報の認識を実行した結果情報によって相手端末とのビデオ通話の接続時間をカウントしてよい。＜発明の詳細＞
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。
図１は、一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。
通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、メッセージングサービスなど）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。
図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１１０の内部構成、およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１１０またはサーバ１５０と同一または類似の内部構成を有してよい。
電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、非一時的なコンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ２１１、２２１とは区分される別の永続的記録装置として電子機器１１０やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１１０においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器１１０にインストールされるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。
プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１１０および／またはサーバ１５０が他の電子機器（一例として、電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１１０のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１１０の通信モジュール２１３を通じて電子機器１１０に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１１０がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１１０と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。
また、他の実施形態において、電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１１０にさらに含まれるように実現されてよい。
実施形態において、電子機器１１０には、コンピュータによって実現された課金システムが構成されてよい。一例として、課金システムは、独立的に動作するプログラム形態で実現されても、特定のアプリケーションのイン−アプリ（ｉｎ−ａｐｐ）形態で構成され、前記特定のアプリケーション上で動作可能なように実現されてもよく、場合によっては、サーバ１５０との連動によって課金データが生成されてもよい。
図３は、一実施形態における、電子機器のプロセッサが含むことのできる構成要素を説明するためのブロック図であり、図４は、一実施形態における、電子機器が実行することのできる課金方法を説明するためのフローチャートである。
電子機器のプロセッサ２１２は、ビデオ通話表示部３１０、反応認識部３２０および課金生成部３３０を備えてよい。このようなプロセッサ２１２の構成要素は、電子機器に記録されたプログラムコードが提供する制御命令にしたがってプロセッサ２１２によって実行される互いに異なる機能の表現であってよい。プロセッサ２１２およびプロセッサ２１２の構成要素は、図４の課金方法に含まれる段階４１０〜４３０を実行するように電子機器を制御してよい。このとき、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリが含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令を実行するように実現されてよい。
プロセッサ２１２は、課金方法のためのプログラムのファイルに記録されたプログラムコードをメモリにロードしてよい。例えば、電子機器でプログラムが実行されれば、プロセッサは、オペレーティングシステムの制御にしたがい、プログラムのファイルからプログラムコードをメモリにロードするように電子機器を制御してよい。このとき、プロセッサ２１２およびプロセッサ２１２が含むビデオ通話表示部３１０、反応認識部３２０、および課金生成部３３０それぞれは、メモリにロードされたプログラムコードのうちの対応する部分の命令を実行して以後の段階４１０〜４３０を実行するためのプロセッサ２１２の互いに異なる機能の表現であってよい。
段階４１０で、ビデオ通話表示部３１０は、ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示してよい。ビデオ通話表示部３１０は、ビデオ通話の接続要請にしたがって探索された相手端末とビデオ通話が接続されることにより、ビデオ通話が接続された相手端末と関連する映像データを一定の時間にわたりビデオ通話画面に表示してよい。このとき、ビデオ通話の接続時間が設定されていてよい。例えば、ビデオ通話表示部３１０は、ビデオ通話の接続要請にしたがって探索された相手端末とビデオ通話を接続するかを問うメッセージを表示してよい。ユーザによって相手端末とのビデオ通話の接続に対する応答が入力されることにより、相手端末とのビデオ通話が接続あるいは非接続されてよい。相手端末とのビデオ通話を接続しないという応答にしたがい、さらに他の相手端末が探索されてビデオ通話が接続されてよい。同じように、相手端末によっても相手ユーザから端末とのビデオ通話の接続に対する応答が入力されることにより、端末とのビデオ通話が接続あるいは非接続されてよい。言い換えれば、端末および相手端末からビデオ通話を接続すると応答されることにより、端末間には一定の時間にわたりビデオ通話が接続されてよい。または、ビデオ通話表示部３１０は、相手端末とビデオ通話が接続されることによってビデオ通話モードを動作させ、動作するビデオ通話モードに基づき、相手端末と関連する映像データをビデオ通話画面に表示してよい。例えば、それぞれの端末には、インカメラを実行させる前方カメラモードおよびアウトカメラを実行させるアウトカメラモードが提供されてよい。それぞれの端末でビデオ通話が接続されることによってビデオ通話モードに切り替わるようになり、インカメラモードが実行されてよい。ビデオ通話表示部３１０は、ビデオ通話が接続された相手端末の相手ユーザが確認されることにより、ビデオ通話中にアイテムを利用して相手端末とのビデオ通話時間を制御してよい。
段階４２０で、反応認識部３２０は、ビデオ通話画面に表示された相手端末と関連する映像データから、相手端末によって入力される反応情報を認識してよい。反応認識部３２０は、ビデオ通話画面に表示される相手端末と関連する映像データから、映像データで認識される相手ユーザの顔情報、相手ユーザの音声データ、または相手ユーザのテキストデータのうちのいずれか１つを含む相手端末の反応情報が存在するか判断してよい。例えば、反応認識部３２０は、相手ユーザの顔情報が予め設定された時間以上にわたり顔認識が感知されない場合には、相手ユーザの音声データに対する音声認識を実行し、相手ユーザの音声データが予め設定された時間以上にわたり音声認識が感知されない場合には、相手ユーザのテキストデータに対するテキスト入力認識を実行し、相手ユーザのテキストデータが予め設定された時間以上にわたりテキスト入力の認識が感知されない場合には、相手ユーザの反応情報を不在として判断してよい。
一例として、反応認識部３２０は、ビデオ通話画面に表示された端末のユーザの反応情報は認識されるが、ビデオ通話画面に表示された相手端末の反応情報は認識されない場合、相手端末の反応情報が認識されないと判断してよい。または、反応認識部３２０は、ビデオ通話画面に表示された端末のユーザの反応情報は認識されないが、ビデオ通話画面に表示された相手端末の反応情報は認識される場合、相手端末の反応情報が認識されたと判断してよい。この他にも、相手端末の反応情報の認識を判断する方法は多様に存在してよい。
また、反応認識部３２０は、相手端末の相手ユーザの顔が、人形や他のユーザなどに差し替えられたものが認識される場合、相手ユーザの反応情報が認識されないと判断してよい。反応認識部３２０は、相手ユーザの音声データではなく他の音声データが判断される場合、相手ユーザの反応情報が認識されないと判断してよい。例えば、相手ユーザの顔情報を事前に記録しておき、記録された顔情報とビデオ通話画面に入力された顔情報とを比較することにより、相手ユーザの反応情報を認識してよい。同じように、相手ユーザの音声情報を事前に記録しておき、記録された音声情報とビデオ通話中に入力された音声データとを比較することにより、相手ユーザの反応情報を認識してよい。
段階４３０で、課金生成部３３０は、予め設定された課金政策に基づき、認識された相手端末の反応情報に対する課金データを生成してよい。課金生成部３３０は、相手端末から入力される反応情報が不在であるか予め設定された時間未満と認識される場合、設定された課金政策に基づく課金データの生成を中断してよい。課金生成部３３０は、相手端末の反応情報に応じて課金データを生成するための課金政策を設定し、認識された相手端末の反応情報を設定された課金政策に基づいてカウントしてよい。このとき、課金政策とは、簡単なものとしては、相手端末の反応情報が認識されたかを判断するための政策を意味してよく、より詳細なものとしては、相手端末の反応情報が認識されてビデオ通話が実行された時間だけ課金データを生成するために設定された政策を意味してよい。課金生成部３３０は、相手端末の反応情報が認識された時間情報をカウントし、カウントされた時間情報を設定された課金政策に基づいて課金データを生成してよい。一例として、課金生成部３３０は、ビデオ通話中に使用されたアイテムに設定されたビデオ通話の時間情報に基づき、相手端末の反応情報の認識を実行した結果情報によって相手端末とのビデオ通話接続時間をカウントしてよく、カウントされたビデオ通話接続時間に基づいて課金データを生成してよい。他の例として、課金生成部３３０は、ビデオ通話画面に表示された端末のユーザの反応情報は認識されるが、ビデオ通話画面に表示された相手端末の反応情報は認識されない場合、相手端末の反応情報が認識されないと判断して課金データの生成を中断してよい。または、課金生成部３３０は、ビデオ通話画面に表示された端末のユーザの反応情報は認識されないが、ビデオ通話画面に表示された相手端末の反応情報は認識される場合、相手端末の反応情報が認識されたと判断して課金データを生成してよい。
図５は、一実施形態における、電子機器間でビデオ通話が実行されることを説明するための例示図である。
電子機器１１０ａ、１１０ｂ間でビデオ通話が実行されることについて説明する。このとき、電子機器１１０ａ、１１０ｂは、第１電子機器（例えば、発信端末）１１０ａと第２電子機器（例えば、受信端末）１１０ｂとに区分して説明する。電子機器１１０ａ、１１０ｂにはビデオ通話サービスを提供する機能が含まれていてよく、別途のアプリケーションをインストールすることによってビデオ通話サービスが利用可能となる。実施形態では、別途のアプリケーションをインストールしてビデオ通話サービスを利用する例について説明する。ここで、電子機器１１０ａ、１１０ｂにインストールされるアプリケーションは、ビデオ通話サービスはもちろん、他の多様なサービスをともに提供してよい。一例として、ユーザとユーザが知らない相手ユーザとをマッチングし、ユーザと相手ユーザとの間にビデオ通話を接続することによってオンライン上の出会いを提供する交流親睦サービスを仮定して説明する。このような交流親睦サービスは、相手ユーザとの出会いを繋げるために、ビデオ通話機能、メッセージング機能、カメラ機能などのような多様な機能を提供してよい。
例えば、それぞれのユーザが電子機器１１０ａ、１１０ｂを利用して交流親睦サービスに登録するとき、別のＳＮＳサービスや検索サービスなどを選択してユーザ情報を連動させることによって交流親睦サービスに登録してもよいし、会員登録によってユーザ識別情報を入力することでサービスに登録してもよい。このとき、別のサービスに記録されている性別情報が連動されてもよく、交流親睦サービスで性別を選択することで性別情報が登録されてもよい。また、それぞれのユーザが、出会いたい相手ユーザの性別、地域情報（国際または国内）、関心事項などを含む条件情報を選択できるようにしてもよい。
電子機器１１０ａ、１１０ｂが交流親睦サービスを実行し、第１電子機器１１０ａがビデオ通話を要請したとする。第１電子機器１１０ａがビデオ通話の接続を要請することにより、サーバは、第１電子機器１１０ａで選択された条件情報に基づき、交流親睦サービスに登録されたユーザアカウントから相手ユーザを探索してよい。第１電子機器１１０ａにサーバが探索した相手ユーザである第２電子機器１１０ｂとのビデオ通話が接続され、第１電子機器１１０ａと第２電子機器１１０ｂとがビデオ通話を実行したとする。このとき、第１電子機器１１０ａと第２電子機器１１０ｂとのビデオ通話の接続時間は設定されていてよい。第１電子機器１１０ａと第２電子機器１１０ｂに設定された時間に基づいてビデオ通話が接続された後、前記時間が経過すれば、それぞれの電子機器には他の相手とのビデオ通話が接続されてよい。
第１電子機器１１０ａのビデオ通話画面５１０に第２電子機器１１０ｂの相手ユーザが表示されてよく、第２電子機器１１０ｂのビデオ通話画面５２０に第１電子機器１１０ａのユーザが表示されてよい。このように、第１電子機器１１０ａと第２電子機器１１０ｂとが互いに顔を見合わせながら、音声データ、テキストデータのうちのいずれか１つ以上を利用して会話することができる。また、第１電子機器１１０ａのビデオ通話画面５１０には、第２電子機器１１０ａの相手ユーザの顔だけでなく第１電子機器１１０ａのユーザの顔がともに表示されてよく、第２電子機器１１０ｂのビデオ通話画面にも、第１電子機器１１０ａのユーザの顔だけでなく第２電子機器１１０ｂのユーザの顔がともに表示されてよい。例えば、それぞれのビデオ通話画面５１０、５２０には、相手の顔を表示する領域と自分の顔を表示する領域とが含まれてよい。このとき、相手の顔を表示する領域はメイン領域とし、自分の顔を表示する領域はサブ領域として設定されてよく、メイン領域がサブ領域よりも大きく表示されるように設定されてよい。
図６は、一実施形態における、電子機器でアイテムを使用することを説明するための例示図である。
第１電子機器１１０ａのユーザは、第２電子機器１１０ｂに対する相手ユーザを確認することにより、相手の電子機器との接続時間以上に長い時間にわたりビデオ通話を希望する場合がある。第１電子機器１１０ａは、第２電子機器１１０ｂの相手ユーザとのビデオ通話中にアイテム６１０を使用することで、第２電子機器１１０ｂとのビデオ通話時間を制御してよい。例えば、第１電子機器１１０ａは、アイテム６１０を事前に購入しておくか、ビデオ通話画面に表示されるアイテム情報からアイテム６１０を購入してよい。ビデオ通話時間を制御するアイテム６１０とは、交流親睦サービスで設定されたユーザ間のビデオ通話の実行時間に加え、相手ユーザとのビデオ通話を追加で実行することのできるアイテムを意味してよい。このとき、アイテム６１０は、ビデオ通話を可能にする時間に応じて金額が異なってよい。第１電子機器１１０ａのユーザがアイテム６１０を使用する場合、第２電子機器１１０ｂの相手ユーザはビデオ通話を中断することができなくなり、ユーザのアイテム６１０に設定されたビデオ通話時間中はビデオ通話を追加で実行しなければならない。言い換えれば、第２電子機器１１０ｂのビデオ通話画面はロック状態に切り替わり、第１電子機器１１０ａが使用したアイテムに設定された時間中は、第１電子機器１１０ａが第２電子機器１１０ｂとのビデオ通話時間を制御することができる。
第１電子機器１１０ａは、ビデオ通話中に使用されたアイテムに設定されたビデオ通話の時間情報に基づき、第２電子機器１１０ｂの反応情報の認識を実行してよい。第１電子機器１１０ａは、ビデオ通話画面に表示される第２電子機器１１０ｂと関連する映像データから、映像データで認識される相手ユーザの顔情報、相手ユーザの音声データ、または相手ユーザのテキストデータのうちのいずれか１つに基づいて第２電子機器１１０ｂの反応情報に対する認識を判断してよい。第１電子機器１１０ａは、第２電子機器１１０ｂの反応情報の認識を実行することによって取得した結果情報に基づき、第２電子機器１１０ｂとのビデオ通話の接続時間をカウントしてよい。例えば、第１電子機器１１０ａで第２電子機器１１０ｂとのビデオ通話中に５秒のアイテムが使用されることにより、ビデオ通話として与えられた時間に加え、５秒間のビデオ通話が追加で実行されてよい。このとき、第２電子機器１１０ｂの相手ユーザは、第１電子機器１１０ａのユーザとのビデオ通話を中断することができないため、ビデオ通話画面に反応しない場合も発生し得る。このような場合、第１電子機器１１０ａは、せっかく購入したアイテムの効果を感じることができないまま、アイテムに設定された時間が終了してしまうことがある。第１電子機器１１０ａは、第１電子機器１１０ａでアイテムが使用された時間中に第２電子機器１１０ｂの相手ユーザからの反応情報が認識されない場合、第２電子機器１１０ｂの相手ユーザの反応情報が認識されなかった時間をカウントしてよい。第１電子機器１１０ａは、カウントされた時間情報に対する課金データの生成を中断してよい。例えば、第１電子機器１１０ａは、第２電子機器１１０ｂの相手ユーザからの反応情報が認識されない時間情報だけ、アイテムに設定された時間を復帰させるか、追加時間を付与してよい。または、第１電子機器１１０ａは、ビデオ通話時間に応じて生成される課金データに対し、第２電子機器１１０ｂの相手ユーザからの反応情報が認識されなかった時間情報に対する課金データの生成を中断し、第１電子機器１１０ａに課金される料金を減免してよい。
図７は、一実施形態における、電子機器で相手端末の反応情報を認識することを説明するための例示図である。
第１電子機器１１０ａと第２電子機器１１０ｂは、ビデオ通話中にそれぞれのビデオ通話画面５１０に表示された互いの顔を見ながら会話を実行する。第１電子機器１１０ａは、ビデオ通話画面５１０に表示された第２電子機器１１０ｂと関連する映像データから、第２電子機器１１０ｂによって入力される反応情報を認識してよい。このとき、反応情報とは、ビデオ通話中にユーザ間の相互作用が実行されることを認識するための情報を意味してよい。電子機器１１０ａは、ビデオ通話画面５１０に表示される相手端末と関連する映像データから、映像データで認識される相手ユーザの顔情報、相手ユーザの音声データ、または相手ユーザのテキストデータうちのいずれか１つを含む相手端末の反応情報を判断してよい。
図７ａを参照すると、第１電子機器１１０ａは、第１電子機器１１０ｂのビデオ通話画面５１０に表示された第２電子機器１１０ｂの相手ユーザ７１０を確認することにより、相手ユーザが存在するか判断してよい。例えば、第１電子機器１１０ａは、第１電子機器１１０ｂのビデオ通話画面から第２電子機器１１０ｂの相手ユーザ７１０の顔を認識してよい。このとき、第１電子機器１１０ａは、第２電子機器１１０ｂの相手ユーザ７１０の顔情報を構成する構成要素（例えば、目、鼻、口など）を含む領域情報の割合情報により、相手ユーザ７１０の顔情報に対する反応情報の認識を判断してよい。例えば、第１電子機器１１０ａは、ビデオ通話画面５１０において相手ユーザ７１０の顔情報を構成する構成要素を含む領域情報の割合が顔の５０％を占めると判断されることにより、相手ユーザ７１０の顔情報が存在すると認識してよい。これにより、相手ユーザの反応情報が入力されたと認識してよい。または、第１電子機器１１０ａは、ビデオ通話画面５１０に相手ユーザ７１０の顔情報を構成する構成要素のうちの少なくとも１つ以上の構成要素（例えば、目、鼻、口など）が存在すると判断されることにより、相手ユーザ７１０の顔情報が存在すると認識してよい。第１電子機器１１０ａは、第２電子機器１１０ｂの相手ユーザ７１０とのビデオ通話を認識してよい。
図７ｂを参照すると、第１電子機器１１０ａは、ビデオ通話中に第２電子機器１１０ｂの相手ユーザの音声データを受信することにより、相手ユーザの反応情報の認識を判断してよい。例えば、第１電子機器１１０ａのビデオ通話画面５１０に第２電子機器の相手ユーザは表示されずに音声データだけが受信された場合であっても、相手ユーザとのビデオ通話として認識してよい。または、第１電子機器１１０ａのビデオ通話画面５１０に第２電子機器の相手ユーザが表示されると同時に、相手ユーザの顔を見ながら音声データが受信された場合、相手ユーザとのビデオ通話として認識してよい。
図７ｃを参照すると、第１電子機器１１０ａは、ビデオ通話中に第２電子機器１１０ｂの相手ユーザとテキストデータを送受信することにより、相手ユーザの反応情報の認識を判断してよい。第１電子機器１１０ａと第２電子機器１１０ｂとのビデオ通話中に利用可能なメッセンジャーサービスが提供されてよく、これにより、メッセージを入力するユーザインタフェースが提供されてよい。第１電子機器１１０ａと第２電子機器１１０ｂは、提供されたユーザインタフェースを利用してメッセージを送受信することによって会話を実行してよい。第１電子機器１１０ａは、第２電子機器１１０ｂから入力されたテキストデータを受信することにより、相手ユーザとのビデオ通話として認識してよい。
また、第１電子機器１１０ａは、相手ユーザの顔情報、相手ユーザの音声データ、相手ユーザのテキストデータのうちの少なくとも１つに基づいて第２電子機器１１０ｂの反応情報を判断してよい。このとき、それぞれの相手ユーザの反応情報を判断するための順序が設定されてよく、設定された順序にしたがって第２電子機器１１０ｂの反応情報を認識してよい。
図８は、一実施形態における、相手端末の反応情報に基づいて電子機器で課金データを生成することを説明するためのフローチャートである。
図８を説明するために、電子機器を端末と相手端末とに区分して説明する。
段階８１０で、端末には、新しい人（相手端末）とのビデオ通話が接続されてよい。例えば、端末は、サーバからランダムに選択された新しい人とビデオ通話を始めてよい。このとき、新しい人とのビデオ通話には接続時間が設定されていてよく、前記設定された時間が経過した場合、また他の新しい人とのビデオ通話が接続されてよい。
段階８２０で、端末は、ビデオ通話画面に表示された相手端末と関連する映像データから、ｎ秒（ｎは自然数）間にわたり相手ユーザの顔が認識されるか判断してよい。端末は、相手ユーザの顔が認識される場合には、予め設定された時間が経過した後に新しい人との通話を始めてよい。この反面、端末は、相手ユーザの顔が認識されない場合には、相手ユーザの音声データを認識してよい。
段階８３０で、端末は、ビデオ通話画面に表示された相手端末と関連する映像データから相手ユーザの顔が認識されることにより、ｍ秒（ｍは自然数）にわたり音声データが認識されるか判断してよい。端末は、相手ユーザの音声データが認識されない場合には、相手ユーザから入力されるテキストデータを認識してよい。この反面、端末は、相手ユーザの音声データが認識される場合には、予め設定された時間が経過した後に新しい人とのビデオ通話を始めてよい。
段階８４０で、端末は、ビデオ通話画面に表示された相手端末と関連する映像データから相手ユーザの音声データが認識されることにより、ｐ秒（ｐは自然数）間にわたりテキストデータの入力が認識されるか判断してよい。端末は、メッセージのためのユーザインタフェースをビデオ通話画面に提供してよく、提供されたユーザインタフェースを利用してメッセージが入力されることを認識してよい。端末は、相手端末からのメッセージがビデオ通話画面に入力されることが認識されることにより、予め設定された時間が経過した後に新しい人とビデオ通話を始めてよい。この反面、端末は、ビデオ通話画面に相手端末からメッセージが入力されることが認識されない場合、相手ユーザからの反応がないと見なし、課金データの生成を中止してよい。このとき、課金データとは、ビデオ通話時間の使用量を意味してよく、上述した段階８１０〜８４０で相手ユーザからの反応がないと判断されることにより、課金データの生成を中断してよい。このように、生成または中断された課金データは、サーバにより、ビデオ通話時間に対して単位時間ごとに設定されている料金情報に基づいてビデオ通話時間に対する使用量が計算されてよい。
実施形態では、相手ユーザの反応情報を認識するための順序情報が設定されていてよい。例えば、端末は、相手ユーザの顔情報、音声データ、およびテキストデータの順に相手ユーザの反応情報を認識するように順序を設定してよいが、このような順序情報は変更可能である。追加で、それぞれの相手ユーザの反応情報を認識するために設定された時間（例えば、ｎ秒、ｍ秒、ｐ秒）も変更可能である。例えば、相手ユーザの顔情報を認識するために設定された時間は、ユーザの音声データおよびテキストデータを認識するために設定された時間よりも短いか長くてよい。
他の例として、端末は、相手端末とビデオ通話が接続されることにより、ビデオ通話モードを動作させてよい。端末で動作するビデオ通話モードに基づき、相手端末と関連する映像データをビデオ通話画面に表示してよい。端末は、ビデオ通話モードがボイスモードに切り替われば、ビデオ通話画面を終了させ、ボイスモードに切り替わった時間情報に基づいて課金データの生成を中断してよい。このとき、ビデオ通話モードとは、電子機器のカメラが動作することにより、相手端末と関連する映像（例えば、顔）を見ながら通話を実行するモードを意味してよい。より詳しく説明すると、ビデオ通話モードの動作により、電子機器のインカメラを実行させる前方カメラモードまたはアウトカメラを実行させるアウトカメラモードに切り替わってよい。また、ボイスモードとは、一般的な通話を実行するモードを意味してよい。言い換えれば、端末は、端末または相手端末のうちのいずれか１つの電子機器がボイスモードに切り替わった場合、ユーザの顔は認識されなくなるため、ビデオ通話は終了／中断されたと判断し、課金データの生成を中断してよい。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク、磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスクのような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
本発明は、更に、ビデオ通話中に認識された相手端末の反応情報に基づいて課金データの生成を中断する方法およびシステムを提供する。
本発明は、更に、ビデオ通話が接続された相手の反応情報を認識して課金データを生成または中断することにより、ユーザの満足度を高めることができる。
２１２：プロセッサ
３１０：ビデオ通話表示部
３２０：反応認識部
３３０：課金生成部

Claims (20)

  1. コンピュータによって実現される課金方法であって、
    ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示する段階、
    前記ビデオ通話画面に表示された相手端末と関連する映像データから、前記相手端末によって入力される反応情報を認識する段階、
    予め設定された課金政策に基づき、前記認識された相手端末の反応情報に対する課金データを生成する段階
    を含む、課金方法。
  2. 前記課金データを生成する段階は、
    相手端末の反応情報に基づいて課金データを生成するための課金政策を設定する段階
    を含む、請求項１に記載の課金方法。
  3. 前記課金データを生成する段階は、
    前記相手端末から入力される反応情報が不在であるか予め設定された時間未満と認識される場合、前記設定された課金政策に基づく課金データの生成を中断する段階
    を含む、請求項２に記載の課金方法。
  4. 前記課金データを生成する段階は、
    前記相手端末の反応情報が認識された時間情報をカウントし、前記設定された課金政策に基づいて前記カウントされた時間情報に対する課金データを生成または中断する段階
    を含む、請求項２に記載の課金方法。
  5. 前記認識する段階は、
    前記ビデオ通話画面に表示される相手端末と関連する映像データから、前記映像データで認識される相手ユーザの顔情報、相手ユーザの音声データ、または相手ユーザのテキストデータのうちのいずれか１つに基づいて相手端末の反応情報に対する認識を判断する段階
    を含む、請求項１に記載の課金方法。
  6. 前記認識する段階は、
    前記相手ユーザの顔情報が予め設定された時間以上にわたり顔認識が感知されない場合には、前記相手ユーザの音声データに対する音声認識を実行し、前記相手ユーザの音声データが予め設定された時間以上にわたり音声認識が感知されない場合には、前記相手ユーザのテキストデータに対するテキスト入力認識を実行し、前記相手ユーザのテキストデータが予め設定された時間以上にわたりテキスト入力の認識が感知されない場合には、前記相手ユーザの反応情報を不在と判断する段階
    を含む、請求項５に記載の課金方法。
  7. 前記認識する段階は、
    前記相手ユーザの顔情報を構成する構成要素を含む領域情報の割合情報により、相手ユーザの顔情報に対する反応情報を認識したと判断する段階
    を含む、請求項５に記載の課金方法。
  8. 前記認識する段階は、
    前記ビデオ通話中に発生する音声データから相手ユーザの音声データを区分することで、相手ユーザの音声データに対する反応情報が入力されたと認識する段階
    を含む、請求項５に記載の課金方法。
  9. 前記認識する段階は、
    メッセージを入力するユーザインタフェースを前記ビデオ通話画面に提供し、前記ユーザインタフェースを利用して入力されるメッセージに基づき、相手ユーザのテキストデータが入力されたと認識する段階
    を含む、請求項５に記載の課金方法。
  10. 前記課金データを生成する段階は、
    前記ビデオ通話画面に表示された端末のユーザの反応情報は認識されるが、前記ビデオ通話画面に表示された相手端末の反応情報は認識されない場合、前記相手端末の反応情報が認識されないと判断して課金データの生成を中断する段階
    を含む、請求項３に記載の課金方法。
  11. 前記表示する段階は、
    前記ビデオ通話の接続要請にしたがって探索された相手端末とビデオ通話が接続されることにより、前記ビデオ通話が接続された相手端末と関連する映像データを一定の時間にわたり前記ビデオ通話画面に表示する段階
    を含む、請求項１に記載の課金方法。
  12. 前記表示する段階は、
    前記ビデオ通話が接続された相手端末の相手ユーザが確認されることにより、前記ビデオ通話中にアイテムを利用して前記相手端末とのビデオ通話の時間を制御する段階
    を含む、請求項１に記載の課金方法。
  13. 前記生成する段階は、
    前記ビデオ通話中に使用されたアイテムに設定されたビデオ通話の時間情報に基づき、前記相手端末の反応情報の認識を実行した結果情報によって相手端末とのビデオ通話の接続時間をカウントする段階
    を含む、請求項１に記載の課金方法。
  14. 前記表示する段階は、
    前記相手端末とのビデオ通話の接続によってビデオ通話モードを動作させ、前記動作するビデオ通話モードに基づき、前記相手端末と関連する映像データをビデオ通話画面に表示する段階
    を含む、請求項１に記載の課金方法。
  15. 前記生成する段階は、
    前記相手端末とのビデオ通話の接続によって動作するビデオ通話モードがボイスモードに切り替わる場合、前記ビデオ通話画面を終了させ、前記ボイスモードに切り替わった時間情報に基づく前記課金データの生成を中断する段階
    を含む、請求項１に記載の課金方法。
  16. 請求項１〜１５のうちのいずれか一項に記載の課金方法を前記コンピュータに実行させる、コンピュータプログラム。
  17. コンピュータによって実現される課金システムであって、
    ビデオ通話が接続された相手端末と関連する映像データをビデオ通話画面に表示するビデオ通話表示部、
    前記ビデオ通話画面に表示された相手端末と関連する映像データから、前記相手端末によって入力される反応情報を認識する反応認識部、
    予め設定された課金政策に基づき、前記認識された相手端末の反応情報に対する課金データを生成する課金生成部
    を備える、課金システム。
  18. 前記課金生成部は、
    相手端末の反応情報に応じて課金データを生成するための課金政策を設定し、前記相手端末が入力する反応情報が不在であるか予め設定された時間未満と認識される場合、前記設定された課金政策に基づく課金データの生成を中断する
    ことを特徴とする、請求項１７に記載の課金システム。
  19. 前記反応認識部は、
    前記ビデオ通話画面に表示される相手端末と関連する映像データから、前記映像データで認識される相手ユーザの顔情報、相手ユーザの音声データ、または相手ユーザのテキストデータのうちのいずれか１つに基づいて相手端末の反応情報に対する認識を判断する
    ことを特徴とする、請求項１７に記載の課金システム。
  20. 前記ビデオ通話表示部は、
    前記ビデオ通話が接続された相手端末の相手ユーザが確認されることにより、前記ビデオ通話中にアイテムを利用して前記相手端末とのビデオ通話時間を制御することを含み、
    前記課金生成部は、
    前記ビデオ通話中に使用されたアイテムに設定されたビデオ通話時間情報に基づき、前記相手端末の反応情報の認識を実行した結果情報によって相手端末とのビデオ通話接続時間をカウントする
    ことを特徴とする、請求項１７に記載の課金システム。
JP2020180499A 2019-10-29 2020-10-28 新しい人を紹介するビデオ通話の通話時間による課金を公平に行う方法およびシステム Pending JP2021072625A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190135193A KR102646276B1 (ko) 2019-10-29 2019-10-29 새로운 사람을 소개해주는 영상통화의 통화시간을 공평하게 과금하는 방법 및 시스템
KR10-2019-0135193 2019-10-29

Publications (1)

Publication Number Publication Date
JP2021072625A true JP2021072625A (ja) 2021-05-06

Family

ID=75586364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020180499A Pending JP2021072625A (ja) 2019-10-29 2020-10-28 新しい人を紹介するビデオ通話の通話時間による課金を公平に行う方法およびシステム

Country Status (3)

Country Link
US (1) US11558721B2 (ja)
JP (1) JP2021072625A (ja)
KR (1) KR102646276B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7233787B1 (ja) * 2022-12-01 2023-03-07 Ｈｕｂｂｉｔ株式会社 ビデオ通話方法、コンピュータプログラム及びビデオ通話システム
DE112022002289T5 (de) 2021-04-22 2024-02-22 Alps Alpine Co., Ltd. Anzeigeeinrichtung

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024026247A1 (en) * 2022-07-25 2024-02-01 Yan xiang sheng Secure language interpreting service

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100911816B1 (ko) * 2007-10-08 2009-08-12 에스케이 텔레콤주식회사 영상 통화 과금 처리 시스템 및 그 방법
KR101084774B1 (ko) * 2008-11-21 2011-11-21 에스케이플래닛 주식회사 영상 통화를 이용한 쿠폰 거래 시스템 및 방법
KR101873762B1 (ko) * 2012-08-01 2018-07-03 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102108247B1 (ko) * 2013-08-30 2020-05-07 에스케이텔레콤 주식회사 그룹 영상통화의 과금 방법 및 장치
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
KR102125735B1 (ko) * 2018-03-26 2020-06-23 주식회사 하이퍼커넥트 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템
CN110809775A (zh) * 2018-05-03 2020-02-18 华为技术有限公司 一种基于人脸识别的支付方法、装置及终端
KR101983686B1 (ko) * 2018-07-24 2019-06-04 전우호 영상 통화 서비스를 제공하는 방법, 전자 장치 및 서버

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112022002289T5 (de) 2021-04-22 2024-02-22 Alps Alpine Co., Ltd. Anzeigeeinrichtung
JP7233787B1 (ja) * 2022-12-01 2023-03-07 Ｈｕｂｂｉｔ株式会社 ビデオ通話方法、コンピュータプログラム及びビデオ通話システム
WO2024116429A1 (ja) * 2022-12-01 2024-06-06 Ｈｕｂｂｉｔ株式会社 ビデオ通話方法、コンピュータプログラム及びビデオ通話システム

Also Published As

Publication number Publication date
KR20210050765A (ko) 2021-05-10
KR102646276B1 (ko) 2024-03-11
US20210127239A1 (en) 2021-04-29
US11558721B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
JP2021072625A (ja) 新しい人を紹介するビデオ通話の通話時間による課金を公平に行う方法およびシステム
JP6920858B2 (ja) メッセンジャーサービスを利用したキーワード検索方法及びシステム
KR102590492B1 (ko) 영상 채팅에 이용 가능한 평판 뱃지를 제공하는 방법, 시스템, 및 컴퓨터 프로그램
JP7016205B2 (ja) メッセージ基盤の通知を提供するための方法およびシステム
US11086678B2 (en) Information processing device, method of processing information, and method of providing information
WO2016077106A1 (en) User interface encapsulation in chat-based communication systems
KR102217301B1 (ko) 개인 일정 및 라이프 스타일을 반영한 인공지능의 컨텍 제어
JP2019525295A (ja) 対話内容検索方法およびシステム
KR20200120288A (ko) 하나의 대화방에서 다수의 그룹통화를 제공하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
JP2021129296A (ja) ビデオ通話ボットを利用してコミュニケーションを提供する方法、システム、およびコンピュータプログラム
JP2022036924A (ja) チャットルーム埋め込みコンテンツを提供する方法、システム、およびコンピュータプログラム
JP7393487B2 (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
KR20210050166A (ko) 그룹 앨범을 이용하는 대화방에서 프로필 사진 기반 사용자 얼굴 인식과 활용 방법
CN107835984B (zh) 热减轻用户体验
US20220300144A1 (en) Method, system, and non-transitory computer readable record medium for providing chatroom in 3d form
CN110134480B (zh) 用户触发操作的处理方法、装置、电子设备和存储介质
JP2021185477A (ja) 支払い方法およびシステム
JP2020177655A (ja) イベントメッセージを管理するための方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体
KR102600688B1 (ko) 메신저 상에서 자동 응답 기능을 제공하는 방법 및 시스템
WO2019240305A1 (ko) 사용 정도에 기초하여 대화방을 처리하는 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체
US11743224B2 (en) Method, computer device, and non-transitory computer readable record medium to display content of interest
KR102243964B1 (ko) 영상 채팅 중 호감을 표출하는 방법, 시스템, 및 컴퓨터 프로그램
KR102275320B1 (ko) 공유 서비스 방법 및 이를 수행하기 위한 컴퓨팅 장치
TWI670980B (zh) 通訊資料之推播管理方法及系統，及其電腦程式產品
JP2021524950A (ja) メッセンジャーを利用して物品情報を提供する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231018