JP2023142342A

JP2023142342A - Information processing apparatus, program, and information processing system

Info

Publication number: JP2023142342A
Application number: JP2022049207A
Authority: JP
Inventors: 浩史植木; Hiroshi Ueki
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2022-03-25
Filing date: 2022-03-25
Publication date: 2023-10-05

Abstract

To more smoothly proceed an on-line conference.SOLUTION: A first terminal device 10 (information processing apparatus) comprises: a first extraction unit (control unit 11) that, during execution of an on-line event (on-line conference) where on a first display (display 14) that a first participant (first user 1) can visually recognize, a picked-up image obtained by picking up an image of a second participant (second user 2) different from the first participant in real time is displayed, when the picked-up image includes a business card of the second participant, extracts business card data (business card image data) including information on the business card from data of the picked-up image; and a registration unit (control unit 11) that, during the execution of the on-line event, registers the information on the business card data extracted by the first extraction unit in a storage unit 32 accessible by the first participant.SELECTED DRAWING: Figure 2

Description

本発明は、情報処理装置、プログラム及び情報処理システムに関する。 The present invention relates to an information processing device, a program, and an information processing system.

近年、商談が対面ではなく、オンラインで行われる機会が爆発的に増えた。商談において名刺の交換は非常に重要であるが、オンラインでは対面のように名刺を直接手渡しすることができない。そこで、商談をオンラインで行う場合であっても、商談相手に係る情報（名刺に記載された情報等）を取得することが求められる。 In recent years, opportunities for business negotiations to be conducted online rather than face-to-face have increased explosively. Exchanging business cards is very important in business negotiations, but online it is not possible to hand over business cards in person as you would in a face-to-face meeting. Therefore, even when conducting business negotiations online, it is necessary to obtain information regarding the business partner (such as information written on a business card).

これに関連して、特許文献１、２には、オンライン会議中に参加者が利用する端末装置の表示部に参加者に係る情報を表示することが記載されている。 In connection with this, Patent Documents 1 and 2 describe displaying information about participants on a display unit of a terminal device used by the participants during an online conference.

特開２０１０－２８７１５号公報Japanese Patent Application Publication No. 2010-28715 国際公開第２０２１／１７１４５０号International Publication No. 2021/171450

しかしながら、特許文献１、２の発明では、オンライン会議前において、参加者に係る情報をデータベース等に予め登録しておく必要があり、オンライン会議中に登録されていない参加者の名刺に関する情報を取得することができなかったため、オンライン会議を円滑に進めることが難しい場合があった。 However, in the inventions of Patent Documents 1 and 2, it is necessary to register information about participants in a database etc. before the online meeting, and information about business cards of participants who are not registered during the online meeting is obtained. In some cases, it was difficult to conduct online meetings smoothly.

本発明の課題は、オンライン会議をより円滑に進めることができる情報処理装置、プログラム及び情報処理システムを提供することである。 An object of the present invention is to provide an information processing device, a program, and an information processing system that allow online meetings to proceed more smoothly.

上記課題を解決するため、本発明の情報処理装置は、
第１参加者が視認可能な第１表示部に、第１参加者とは異なる第２参加者がリアルタイムに撮像された撮像画像が表示されるオンラインイベントの実行中において、
前記撮像画像に前記第２参加者の名刺が含まれている場合に、前記撮像画像のデータから名刺に関する情報を含む名刺データを抽出する第１抽出部と、
前記オンラインイベントの実行中に、前記第１抽出部により抽出された前記名刺データに関する情報を前記第１参加者がアクセス可能な記憶部に登録する登録部と、
を備える。 In order to solve the above problems, the information processing device of the present invention includes:
During the execution of an online event in which a captured image of a second participant different from the first participant is displayed in real time on a first display section that is visible to the first participant,
a first extraction unit that extracts business card data including information regarding the business card from data of the captured image when the captured image includes a business card of the second participant;
a registration unit that registers information regarding the business card data extracted by the first extraction unit in a storage unit accessible to the first participant during execution of the online event;
Equipped with

本発明によれば、オンライン会議をより円滑に進めることができる。 According to the present invention, online meetings can proceed more smoothly.

本実施形態に係る情報処理システムの概略構成を示す接続図である。FIG. 1 is a connection diagram showing a schematic configuration of an information processing system according to the present embodiment. 第１端末装置の主制御構成を示すブロック図である。FIG. 2 is a block diagram showing the main control configuration of the first terminal device. 第２端末装置の主制御構成を示すブロック図である。FIG. 3 is a block diagram showing the main control configuration of the second terminal device. サーバー装置の主制御構成を示すブロック図である。FIG. 2 is a block diagram showing the main control configuration of the server device. 名刺画像データの一例を示す図である。It is a figure showing an example of business card image data. 第１端末装置が表示する会議前のオンライン会議画面の一例を示す図である。FIG. 3 is a diagram showing an example of an online conference screen before the conference displayed by the first terminal device. 第１端末装置が実行する事前登録処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the pre-registration process which a 1st terminal device performs. 第１端末装置が実行する名刺撮影表示処理の流れを示すフローチャートである。It is a flowchart which shows the flow of business card photography display processing which a 1st terminal device performs. 第１端末装置が表示する会議前のオンライン会議画面の一例を示す図である。FIG. 3 is a diagram showing an example of an online conference screen before the conference displayed by the first terminal device. 第１端末装置が表示する会議前のオンライン会議画面の一例を示す図である。FIG. 3 is a diagram showing an example of an online conference screen before the conference displayed by the first terminal device. 第１端末装置が表示する会議中のオンライン会議画面の一例を示す図である。FIG. 2 is a diagram showing an example of an online conference screen during a conference displayed by the first terminal device. 第１端末装置が実行する会議中処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process during a meeting which a 1st terminal device performs. 第１端末装置が表示する会議中のオンライン会議画面の一例を示す図である。FIG. 2 is a diagram showing an example of an online conference screen during a conference displayed by the first terminal device. 第２端末装置が表示する会議中のオンライン会議画面の一例を示す図である。FIG. 7 is a diagram illustrating an example of an online conference screen during a conference displayed by the second terminal device. 第１端末装置が表示する会議中のオンライン会議画面の一例を示す図である。FIG. 2 is a diagram showing an example of an online conference screen during a conference displayed by the first terminal device. 第２端末装置が表示する会議中のオンライン会議画面の一例を示す図である。FIG. 7 is a diagram illustrating an example of an online conference screen during a conference displayed by the second terminal device. 第１端末装置が表示する会議中のオンライン会議画面の一例を示す図である。FIG. 2 is a diagram showing an example of an online conference screen during a conference displayed by the first terminal device. 第２端末装置が表示する会議中のオンライン会議画面の一例を示す図である。FIG. 7 is a diagram illustrating an example of an online conference screen during a conference displayed by the second terminal device.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Embodiments of the present invention will be described in detail below with reference to the drawings.

［１．構成の説明］
［１－１．システム構成の説明］
まず、本実施形態に係る情報処理システム１００の構成について説明する。
図１は、本発明の一実施形態に係る情報処理システム１００の全体構成を示す図である。 [1. Configuration description]
[1-1. Description of system configuration]
First, the configuration of the information processing system 100 according to this embodiment will be described.
FIG. 1 is a diagram showing the overall configuration of an information processing system 100 according to an embodiment of the present invention.

情報処理システム１００は、図１に示すように、少なくとも１台の第１端末装置１０（情報処理装置）と、少なくとも１台の第２端末装置２０と、サーバー装置３０を備える。第１端末装置１０及び第２端末装置２０の台数はこれに限らない。
情報処理システム１００において、第１端末装置１０、第２端末装置２０及びサーバー装置３０は、通信ネットワークＮを介して通信を行う。通信ネットワークＮは、インターネットであるものとするが、他のネットワークとしてもよい。
情報処理システム１００は、第１端末装置１０または第２端末装置２０を使用するそれぞれのユーザ間でオンライン会議（Ｗｅｂ会議、ウェブ会議、オンラインイベント）を実現させるためのシステムである。 As shown in FIG. 1, the information processing system 100 includes at least one first terminal device 10 (information processing device), at least one second terminal device 20, and a server device 30. The number of first terminal devices 10 and second terminal devices 20 is not limited to this.
In the information processing system 100, the first terminal device 10, the second terminal device 20, and the server device 30 communicate via a communication network N. The communication network N is assumed to be the Internet, but may be another network.
The information processing system 100 is a system for realizing an online conference (web conference, web conference, online event) between users using the first terminal device 10 or the second terminal device 20.

第１端末装置１０は、オンライン会議の参加者である第１ユーザ１（第１参加者）により利用されるＰＣ、タブレット端末、スマートフォン等のコンピューター装置である。
第２端末装置２０は、オンライン会議の参加者である第２ユーザ２（第２参加者）により利用されるＰＣ、タブレット端末、スマートフォン等のコンピューター装置である。
サーバー装置３０は、後述する名刺画像データ等を記憶する装置であり、クラウド環境に設けられたクラウドサーバーである。なお、サーバー装置３０は、ローカルサーバーであってもよい。 The first terminal device 10 is a computer device such as a PC, a tablet terminal, or a smartphone used by a first user 1 (first participant) who is a participant in the online conference.
The second terminal device 20 is a computer device such as a PC, a tablet terminal, or a smartphone used by the second user 2 (second participant) who is a participant in the online conference.
The server device 30 is a device that stores business card image data, etc., which will be described later, and is a cloud server provided in a cloud environment. Note that the server device 30 may be a local server.

［１－２．第１端末装置の説明］
次に、第１端末装置１０の構成について説明する。図２は、第１端末装置１０の機能構成を示すブロック図である。 [1-2. Description of first terminal device]
Next, the configuration of the first terminal device 10 will be explained. FIG. 2 is a block diagram showing the functional configuration of the first terminal device 10. As shown in FIG.

第１端末装置１０は、図２に示すように、制御部１１と、記憶部１２と、操作部１３と、表示部１４（第１表示部）と、通信部１５と、撮像部１６と、音声入出力部１７を備える。第１端末装置１０の各部は、バス１８を介して接続されている。 As shown in FIG. 2, the first terminal device 10 includes a control section 11, a storage section 12, an operation section 13, a display section 14 (first display section), a communication section 15, an imaging section 16, An audio input/output section 17 is provided. Each part of the first terminal device 10 is connected via a bus 18.

制御部１１は、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）等を備え、第１端末装置１０の各部を制御する。具体的には、制御部１１は、記憶部１２に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭに展開し、当該プログラムに従って各種処理を実行する。 The control section 11 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, and controls each section of the first terminal device 10 . Specifically, the control unit 11 reads out a designated program from among the system program and application program stored in the storage unit 12, expands it into the RAM, and executes various processes according to the program.

また、制御部１１は、第２ユーザ２（第２参加者）がリアルタイムに撮像された撮像画像に第２参加者の名刺が含まれている場合に、撮像画像のデータから名刺に関する情報を含む名刺画像データ（名刺データ）を抽出する。ここで、制御部１１は第１抽出部として機能する。
また、制御部１１は、オンラインイベントの実行中に、第１抽出部により抽出された名刺データに関する情報を第１ユーザ１（第１参加者）がアクセス可能な後述する記憶部３２の名刺画像データベース３２１に登録する。ここで、制御部１１は登録部として機能する。
また、制御部１１は、第２参加者の名刺が撮像画像に含まれるか否かを、撮像画像の画像データに基づいて、判定する。ここで、制御部１１は判定部として機能する。
また、制御部１１は、第２参加者が視認可能な後述する表示部２４（第２表示部）に、撮像画像と枠１４１ｎ（図１５Ｂ参照）とを重畳表示させる。ここで、制御部１１は第１表示制御部として機能する。
また、制御部１１は、撮像画像において名刺が枠内１４１ｎに位置するように名刺を第２参加者に提示させるための案内を出力する。ここで、制御部１１は出力部として機能する。
また、制御部１１は、撮像画像から少なくとも第２参加者の顔部分が撮影された顔画像データから特徴量（顔特徴量）を抽出する。ここで、制御部１１は第２抽出部として機能する。
また、制御部１１は、撮像画像の顔画像データに対応する、記憶部３２の名刺画像データベース３２１に登録されている名刺データに関する情報を取得する。ここで、制御部１１は取得部として機能する。
また、制御部１１は、取得部により取得された名刺データに関する情報を第１表示部に表示する。ここで、制御部１１は第２表示制御部として機能する。 In addition, when the second user 2 (second participant) includes a business card of the second participant in a captured image captured in real time, the control unit 11 includes information regarding the business card from data of the captured image. Extract business card image data (business card data). Here, the control section 11 functions as a first extraction section.
Furthermore, during the execution of the online event, the control unit 11 stores information regarding business card data extracted by the first extraction unit in a business card image database in a storage unit 32 (described later) that is accessible by the first user 1 (first participant). Register at 321. Here, the control unit 11 functions as a registration unit.
Furthermore, the control unit 11 determines whether or not the second participant's business card is included in the captured image, based on the image data of the captured image. Here, the control section 11 functions as a determination section.
Further, the control unit 11 displays the captured image and a frame 141n (see FIG. 15B) in a superimposed manner on a display unit 24 (second display unit), which will be described later and is visible to the second participant. Here, the control section 11 functions as a first display control section.
Further, the control unit 11 outputs guidance for having the second participant present the business card so that the business card is located within the frame 141n in the captured image. Here, the control section 11 functions as an output section.
Further, the control unit 11 extracts a feature amount (facial feature amount) from the face image data in which at least the face portion of the second participant is photographed from the captured image. Here, the control section 11 functions as a second extraction section.
The control unit 11 also acquires information regarding business card data registered in the business card image database 321 of the storage unit 32, which corresponds to the face image data of the captured image. Here, the control unit 11 functions as an acquisition unit.
Further, the control unit 11 displays information regarding the business card data acquired by the acquisition unit on the first display unit. Here, the control section 11 functions as a second display control section.

記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などにより構成される。
記憶部１２には、制御部１１で実行されるシステムプログラム、オンライン会議アプリケーション（以下、オンライン会議アプリ）プログラム等、これらのプログラムの実行に必要なデータが記憶されている。 The storage unit 12 includes, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), an EEPROM (Electrically Erasable Programmable Read Only Memory), or the like.
The storage unit 12 stores a system program executed by the control unit 11, an online conference application (hereinafter referred to as an online conference application) program, and data necessary for executing these programs.

操作部１３は、例えば、キーボード等のキー入力部と、マウス等のポインティングデバイスと、を有している。操作部１３は、キー入力及び位置入力を受け付け、その操作情報を制御部１１に出力する。 The operation unit 13 includes, for example, a key input unit such as a keyboard, and a pointing device such as a mouse. The operation unit 13 receives key inputs and position inputs, and outputs the operation information to the control unit 11.

表示部１４は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、制御部１１から指示された表示情報に従い各種表示を行う。 The display unit 14 is composed of an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, etc., and performs various displays according to display information instructed by the control unit 11.

通信部１５は、例えば、ネットワークカード等により構成されている。通信部１５は、通信ネットワークＮに通信接続されて、通信ネットワークＮ上の機器との通信を行う。 The communication unit 15 is configured by, for example, a network card. The communication unit 15 is communicatively connected to the communication network N and performs communication with devices on the communication network N.

撮像部１６は、光学系と、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、を有するデジタルカメラ部であり、被写体としてのユーザを撮像して、静止画や動画の画像データを生成して制御部１１に出力する。 The imaging unit 16 is a digital camera unit that has an optical system and an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). image data is generated and output to the control unit 11.

音声入出力部１７は、マイクなどの音声入力部と、アンプ、スピーカーなどの音声出力部とを有する。音声入出力部１７は、音声入力部により、ユーザの音声などの音声信号を取得して音声データに変換して制御部１１に出力し、また音声出力部により、制御部１１から入力されるオンライン会議の音声などの音声データに基づいて音声出力する。 The audio input/output unit 17 includes an audio input unit such as a microphone, and an audio output unit such as an amplifier and a speaker. The audio input/output unit 17 uses an audio input unit to acquire an audio signal such as a user's voice, converts it into audio data, and outputs it to the control unit 11, and uses an audio output unit to receive an online signal input from the control unit 11. Outputs audio based on audio data such as conference audio.

また、制御部１１は、オンライン会議に係る処理を実行する。オンライン会議に係る処理において、制御部１１は、撮像部１６によって第１ユーザ１を撮影するとともに、音声入出力部１７によって第１ユーザ１の音声をマイクから入力させる。そして、制御部１１は、通信部１５を介して、第１ユーザ１の撮像画像と音声とをリアルタイムに第２端末装置２０に送信する。
また、オンライン会議に係る処理において、制御部１１は、通信部１５を介して、第２端末装置２０から送信されたオンライン会議の相手方（第２ユーザ２）の撮像画像と音声とを受信する。そして、制御部１１は、この撮像画像を表示部１４の画面に表示するとともに、この音声を音声入出力部１７のスピーカーにより出力する。 Further, the control unit 11 executes processing related to an online conference. In the process related to the online conference, the control unit 11 causes the imaging unit 16 to photograph the first user 1, and causes the audio input/output unit 17 to input the voice of the first user 1 from the microphone. Then, the control unit 11 transmits the captured image and voice of the first user 1 to the second terminal device 20 in real time via the communication unit 15.
In addition, in the process related to the online conference, the control unit 11 receives, via the communication unit 15, the captured image and audio of the other party (second user 2) in the online conference transmitted from the second terminal device 20. Then, the control section 11 displays this captured image on the screen of the display section 14 and outputs this sound through the speaker of the audio input/output section 17.

［１－３．第２端末装置の構成の説明］
次に、第２端末装置２０の構成について説明する。図３は、第２端末装置２０の機能構成を示すブロック図である。 [1-3. Description of configuration of second terminal device]
Next, the configuration of the second terminal device 20 will be explained. FIG. 3 is a block diagram showing the functional configuration of the second terminal device 20. As shown in FIG.

第２端末装置２０は、図３に示すように、制御部２１と、記憶部２２と、操作部２３と、表示部２４（第２表示部）と、通信部２５と、撮像部２６と、音声入出力部２７を備える。第２端末装置２０の各部は、バス２８を介して接続されている。 As shown in FIG. 3, the second terminal device 20 includes a control section 21, a storage section 22, an operation section 23, a display section 24 (second display section), a communication section 25, an imaging section 26, An audio input/output section 27 is provided. Each part of the second terminal device 20 is connected via a bus 28.

制御部２１は、ＣＰＵ及びＲＡＭ等を備え、第２端末装置２０の各部を制御する。具体的には、制御部２１は、記憶部２２に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭに展開し、当該プログラムに従って各種処理を実行する。 The control unit 21 includes a CPU, a RAM, etc., and controls each unit of the second terminal device 20. Specifically, the control unit 21 reads out a designated program from among the system program and application program stored in the storage unit 22, expands it into the RAM, and executes various processes according to the program.

第２端末装置２０の記憶部２２、操作部２３、表示部２４、通信部２５、撮像部２６、音声入出力部２７は、それぞれ、第１端末装置１０の記憶部１２、操作部１３、表示部１４、通信部１５、撮像部１６、音声入出力部１７と同様の構成であるため、説明を省略する。 The storage unit 22, operation unit 23, display unit 24, communication unit 25, imaging unit 26, and audio input/output unit 27 of the second terminal device 20 are the storage unit 12, operation unit 13, and display unit of the first terminal device 10, respectively. Since the configuration is the same as that of the section 14, the communication section 15, the imaging section 16, and the audio input/output section 17, a description thereof will be omitted.

また、制御部２１は、オンライン会議に係る処理を実行する。オンライン会議に係る処理において、制御部２１は、撮像部２６によって第２ユーザ２を撮影するとともに、音声入出力部２７によって第２ユーザ２の音声をマイクから入力させる。そして、制御部２１は、通信部２５を介して、第２ユーザ２の撮像画像と音声とをリアルタイムに第１端末装置１０に送信する。
また、オンライン会議に係る処理において、制御部２１は、通信部２５を介して、第１端末装置１０から送信されたオンライン会議の相手方（第１ユーザ１）の撮像画像と音声とを受信する。そして、制御部２１は、この撮像画像を表示部２４の画面に表示するとともに、この音声を音声入出力部２７のスピーカーにより出力する。 Further, the control unit 21 executes processing related to an online conference. In the process related to the online conference, the control unit 21 causes the imaging unit 26 to photograph the second user 2, and causes the audio input/output unit 27 to input the voice of the second user 2 from the microphone. Then, the control unit 21 transmits the captured image and voice of the second user 2 to the first terminal device 10 in real time via the communication unit 25.
In addition, in the process related to the online conference, the control unit 21 receives, via the communication unit 25, the captured image and audio of the other party in the online conference (first user 1) transmitted from the first terminal device 10. Then, the control unit 21 displays this captured image on the screen of the display unit 24 and outputs this sound from the speaker of the audio input/output unit 27.

［１－４．サーバー装置の構成の説明］
次に、サーバー装置３０の構成について説明する。図４は、サーバー装置３０の機能構成を示すブロック図である。 [1-4. [Explanation of server device configuration]
Next, the configuration of the server device 30 will be explained. FIG. 4 is a block diagram showing the functional configuration of the server device 30. As shown in FIG.

サーバー装置３０は、図４に示すように、制御部３１と、記憶部３２と、通信部３３を備える。サーバー装置３０の各部は、バス３４を介して接続されている。 The server device 30 includes a control section 31, a storage section 32, and a communication section 33, as shown in FIG. Each part of the server device 30 is connected via a bus 34.

サーバー装置３０の制御部３１、通信部３３は、それぞれ、第２端末装置２０の制御部２１、通信部２５と同様の構成であるため、説明を省略する。 The control unit 31 and the communication unit 33 of the server device 30 have the same configuration as the control unit 21 and the communication unit 25 of the second terminal device 20, respectively, and therefore the description thereof will be omitted.

記憶部３２は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭなどにより構成される。
記憶部３２には、制御部３１で実行されるシステムプログラム、アプリケーションプログラム等、これらのプログラムの実行に必要なデータが記憶されている。 The storage unit 32 is configured by, for example, an HDD, SSD, EEPROM, or the like.
The storage unit 32 stores system programs, application programs, and other data necessary for executing these programs, which are executed by the control unit 31.

また、記憶部３２は、名刺画像データベース３２１を有する。
図５は、名刺画像データベース３２１に格納される、名刺に関する情報を含む名刺画像データ（名刺データ）の一例を示す図である。
名刺画像データは、第２ユーザ２の名刺を、第２端末装置２０の撮像部２６によって撮影した画像データ、及び／または第１ユーザ１の名刺を、第１端末装置１０の撮像部１６によって撮影した画像データである。
また、名刺画像データベース３２１は、それぞれの名刺画像データに顔画像データ及び顔特徴量を対応付けて記憶している。
当該顔画像データは、それぞれの名刺画像データに対応する第２ユーザ２の少なくとも顔部分を、第２端末装置２０の撮像部２６によって撮影した画像データ、及び／または第１ユーザ１の少なくとも顔部分を、第１端末装置１０の撮像部１６によって撮影した画像データである。
当該顔特徴量は、それぞれの顔画像データから顔認証を用いて取得した特徴量である。顔特徴量は、画像処理や認証技術として採用されている各種手法を採用することができ、例えば、目や鼻の形状や目と鼻の距離、顔の各部位の色などを利用して取得することができる。 The storage unit 32 also includes a business card image database 321.
FIG. 5 is a diagram showing an example of business card image data (business card data) containing information regarding business cards, which is stored in the business card image database 321.
The business card image data includes image data of a business card of the second user 2 photographed by the imaging unit 26 of the second terminal device 20 and/or image data of a business card of the first user 1 photographed by the imaging unit 16 of the first terminal device 10. This is the image data.
Further, the business card image database 321 stores each business card image data in association with face image data and facial feature amounts.
The face image data is image data obtained by photographing at least a face part of the second user 2 corresponding to each business card image data by the imaging unit 26 of the second terminal device 20, and/or at least a face part of the first user 1. is image data captured by the imaging unit 16 of the first terminal device 10.
The facial feature amount is a feature amount obtained from each face image data using face authentication. Facial features can be obtained using various methods used in image processing and authentication technology, such as the shape of the eyes and nose, the distance between the eyes and nose, and the color of each part of the face. can do.

なお、図５に示すように、名刺画像データベース３２１は、いずれかの第２ユーザ２について、名刺画像データのみを記憶していてもよい。
また、名刺画像データベース３２１は、顔画像データ及び顔特徴量の他に、第１ユーザ１により入力された第２ユーザ２の特徴、印象、趣味等のコメントをそれぞれの名刺画像データに対応付けて記憶してもよい。 Note that, as shown in FIG. 5, the business card image database 321 may store only business card image data for any second user 2.
In addition to the facial image data and facial features, the business card image database 321 also associates comments such as characteristics, impressions, and hobbies of the second user 2 input by the first user 1 with each business card image data. You may memorize it.

［２．動作の説明］
［２－１．オンライン会議前における動作］
次に、情報処理システム１００の動作を説明する。
まず、第１ユーザ１は、オンライン会議前に、第１端末装置１０にてオンライン会議アプリを起動する。
オンライン会議アプリが起動されると、第１端末装置１０の制御部１１は、表示部１４に、図６に示すオンライン会議画面１４１を表示する。そして、制御部１１は、撮像部１６により撮影した第１ユーザ１の動画（または静止画）を、オンライン会議画面１４１内の領域１４１ａに表示する。
そして、第１ユーザ１がオンライン会議画面１４１内の事前登録ボタン１４１ｂを押下したことを契機に、制御部１１は、図７に示す事前登録処理を実行する。 [2. Explanation of operation]
[2-1. Actions before online meeting]
Next, the operation of the information processing system 100 will be explained.
First, the first user 1 starts an online conference application on the first terminal device 10 before the online conference.
When the online conference application is started, the control unit 11 of the first terminal device 10 displays an online conference screen 141 shown in FIG. 6 on the display unit 14. Then, the control unit 11 displays the moving image (or still image) of the first user 1 captured by the imaging unit 16 in the area 141a within the online conference screen 141.
Then, when the first user 1 presses the pre-registration button 141b on the online conference screen 141, the control unit 11 executes the pre-registration process shown in FIG. 7.

（事前登録処理）
まず、制御部１１は、撮像部１６により撮影した第１ユーザ１の動画の中から静止画を取得し、当該静止画のデータを顔画像データとする（ステップＳ１）。
次に、制御部１１は、ステップＳ１において取得した顔画像データから顔認証を用いて顔特徴量を取得する（ステップＳ２）。
次に、制御部１１は、図８に示す名刺撮影表示処理を実行する（ステップＳ３）。 (Pre-registration process)
First, the control unit 11 acquires a still image from a moving image of the first user 1 photographed by the imaging unit 16, and sets the data of the still image as facial image data (step S1).
Next, the control unit 11 uses face authentication to acquire facial features from the facial image data acquired in step S1 (step S2).
Next, the control unit 11 executes the business card photographing and displaying process shown in FIG. 8 (step S3).

（名刺撮影表示処理）
名刺撮影表示処理において、制御部１１は、図９に示すように、領域１４１ａに枠１４１ｃを表示する（ステップＡ１）。なお、制御部１１は、ステップＡ１において、「枠内に名刺をかざしてください」等の旨をオンライン会議画面１４１に表示してもよい。
枠１４１ｃが表示されると、第１ユーザ１は、枠１４１ｃ内に名刺が収まるように、撮像部１６のデジタルカメラのレンズ前に、自分の名刺をかざす。 (Business card shooting display processing)
In the business card photographing and displaying process, the control unit 11 displays a frame 141c in the area 141a, as shown in FIG. 9 (step A1). Note that the control unit 11 may display a message such as "Please hold your business card within the frame" on the online conference screen 141 in step A1.
When the frame 141c is displayed, the first user 1 holds his business card in front of the lens of the digital camera of the imaging unit 16 so that the business card fits within the frame 141c.

次に、制御部１１は、撮像部１６により撮影した動画の中から静止画を取得し、当該静止画の枠１４１ｃ内の領域から名刺画像データを取得する（ステップＡ２）。
なお、制御部１１は、領域１４１ａに枠１４１ｃを表示せずに、撮像部１６により撮影した動画の中から静止画を取得し、当該静止画において名刺のエッジを検出することにより、名刺画像データを取得してもよい。 Next, the control unit 11 acquires a still image from the moving image captured by the imaging unit 16, and acquires business card image data from the area within the frame 141c of the still image (step A2).
Note that the control unit 11 acquires a still image from the video captured by the imaging unit 16 without displaying the frame 141c in the area 141a, and detects the edge of the business card in the still image, thereby generating business card image data. may be obtained.

次に、制御部１１は、ステップＡ２において、名刺画像データを取得できたか否かを判断する（ステップＡ３）。
名刺画像データを取得できなかった場合（ステップＡ３；ＮＯ）、制御部１１は、図９に示すように、オンライン会議画面１４１に撮影ボタン１４１ｄを表示する（ステップＡ４）。なお、制御部１１は、ステップＡ４において、「枠内に名刺をかざしながら、撮影ボタンを押してください」等の旨をオンライン会議画面１４１に表示してもよい。
撮影ボタン１４１ｄが表示されると、第１ユーザ１は、名刺をレンズ前にかざしつつ、撮影ボタン１４１ｄを押下する。
撮影ボタン１４１ｄが押下されると、制御部１１は、撮像部１６により撮影した動画の中から、第１ユーザ１により撮影ボタン１４１ｄが押下されたタイミングの静止画を取得し、当該静止画の枠１４１ｃ内から名刺画像データを取得する（ステップＡ５）。
また、名刺画像データを取得できた場合（ステップＡ３；ＹＥＳ）、制御部１１は、本処理をステップＡ６に移行する。 Next, in step A2, the control unit 11 determines whether the business card image data has been acquired (step A3).
If the business card image data cannot be acquired (step A3; NO), the control unit 11 displays a shooting button 141d on the online conference screen 141, as shown in FIG. 9 (step A4). Note that the control unit 11 may display a message on the online conference screen 141 in step A4, such as "Please press the shooting button while holding your business card within the frame."
When the shooting button 141d is displayed, the first user 1 presses the shooting button 141d while holding the business card in front of the lens.
When the shooting button 141d is pressed, the control unit 11 acquires a still image at the timing when the shooting button 141d was pressed by the first user 1 from among the moving images shot by the imaging unit 16, and adjusts the frame of the still image. 141c (step A5).
Furthermore, if the business card image data can be acquired (step A3; YES), the control unit 11 moves the process to step A6.

次に、図１０に示すように、制御部１１は、ステップＡ２またはステップＡ５において取得した名刺画像データに基づく名刺画像１４１eを領域１４１ａ内に表示し（ステップＡ６）、本処理を終了する。図１０に示す例においては、制御部１１は、領域１４１ａの隅に名刺画像１４１eを表示している。名刺画像１４１eを表示する位置はこれに限らない。
図７に戻り、制御部１１は、ステップＳ３において取得した名刺画像データに、ステップＳ１において取得した顔画像データ、及びステップＳ２において取得した顔特徴量を対応付けて、通信部１５を介してサーバー装置３０の記憶部３２の名刺画像データベース３２１に記憶させることで登録し（ステップＳ４）、本処理を終了する。 Next, as shown in FIG. 10, the control unit 11 displays the business card image 141e based on the business card image data acquired in step A2 or step A5 in the area 141a (step A6), and ends this process. In the example shown in FIG. 10, the control unit 11 displays a business card image 141e at a corner of the area 141a. The position where the business card image 141e is displayed is not limited to this.
Returning to FIG. 7, the control unit 11 associates the business card image data acquired in step S3 with the face image data acquired in step S1 and the facial feature amount acquired in step S2, and sends the data to the server via the communication unit 15. The information is registered by being stored in the business card image database 321 of the storage unit 32 of the device 30 (step S4), and this process ends.

［２－２．オンライン会議中における動作］
まず、第１ユーザ１は、オンライン会議を始める際に、第１端末装置１０にてオンライン会議アプリを起動する。
オンライン会議アプリが起動されると、第１端末装置１０の制御部１１は、表示部１４に、図６に示すオンライン会議画面１４１を表示する。そして、制御部１１は、撮像部１６により撮影した第１ユーザ１の動画（または静止画）を、オンライン会議画面１４１内の領域１４１ａに表示する。 [2-2. Operations during online meetings]
First, the first user 1 starts an online conference application on the first terminal device 10 when starting an online conference.
When the online conference application is started, the control unit 11 of the first terminal device 10 displays an online conference screen 141 shown in FIG. 6 on the display unit 14. Then, the control unit 11 displays the moving image (or still image) of the first user 1 captured by the imaging unit 16 in the area 141a within the online conference screen 141.

そして、第１ユーザ１がオンライン会議画面１４１内の会議開始ボタン１４１ｆを押下したことを契機に、制御部１１は、オンライン会議に係る処理を実行する。
オンライン会議に係る処理において、制御部１１は、通信部１５を介して、第２端末装置２０から送信されたオンライン会議の相手方（第２ユーザ２）の撮像画像と音声とを受信する。そして、図１１に示すように、制御部１１は、この撮像画像を表示部１４のオンライン会議画面１４１内の領域１４１ｇに表示するとともに、この音声を音声入出力部１７のスピーカーにより出力する。
同様にして、第２ユーザ２は、オンライン会議を始める際に、第２端末装置２０にてオンライン会議アプリを起動する。そして、第２端末装置２０の制御部２１は、第２ユーザ２のオンライン会議開始の指示操作により、オンライン会議に係る処理を実行する。
また、第１ユーザ１が会議開始ボタン１４１ｆを押下したことを契機に、制御部１１は、図１２に示す会議中処理を実行する。 Then, when the first user 1 presses the conference start button 141f on the online conference screen 141, the control unit 11 executes processing related to the online conference.
In the process related to the online conference, the control unit 11 receives, via the communication unit 15, the captured image and audio of the other party in the online conference (second user 2) transmitted from the second terminal device 20. Then, as shown in FIG. 11, the control unit 11 displays this captured image in an area 141g within the online conference screen 141 of the display unit 14, and outputs this sound from the speaker of the audio input/output unit 17.
Similarly, the second user 2 starts an online conference application on the second terminal device 20 when starting an online conference. Then, the control unit 21 of the second terminal device 20 executes processing related to the online conference in response to the instruction operation of the second user 2 to start the online conference.
Further, when the first user 1 presses the conference start button 141f, the control unit 11 executes the in-conference process shown in FIG. 12.

（会議中処理）
まず、制御部１１は、撮像部１６により撮影した第１ユーザ１の動画の中から静止画を取得する（ステップＳ１１）。
次に、制御部１１は、ステップＳ１１において取得した第１ユーザ１の静止画において顔認証を行い、名刺画像データベース３２１から第１ユーザ１の名刺画像データを取得する（ステップＳ１２）。具体的には、制御部１１は、ステップＳ１１において取得した第１ユーザ１の静止画において顔認証を用いて顔特徴量を取得する。そして、制御部１１は、当該顔特徴量に類似（該当）する顔特徴量を名刺画像データベース３２１において検索し、類似する顔特徴量に対応付けられている名刺画像データ（第１ユーザ１の名刺画像データ）を取得する。 (processing during the meeting)
First, the control unit 11 acquires a still image from the moving image of the first user 1 shot by the imaging unit 16 (step S11).
Next, the control unit 11 performs face authentication on the still image of the first user 1 acquired in step S11, and acquires business card image data of the first user 1 from the business card image database 321 (step S12). Specifically, the control unit 11 uses face authentication to acquire facial features in the still image of the first user 1 acquired in step S11. Then, the control unit 11 searches the business card image database 321 for a facial feature similar to (corresponding to) the facial feature, and searches the business card image data (business card of the first user 1) associated with the similar facial feature. image data).

次に、図１３Ａに示すように、制御部１１は、ステップＳ１２において取得した名刺画像データに基づく名刺画像１４１eを領域１４１ａ内に表示する。
図１３Ｂに、第２端末装置２０の表示部２４に表示されるオンライン会議画面２４１を示す。図１３Ｂに示す例において、制御部２１は、オンライン会議画面２４１内の領域２４１ａに、第１端末装置１０から受信した第１ユーザ１の撮像画像を表示する。また、制御部２１は、領域２４１ｇに、撮像部２６により撮影した第２ユーザ２の動画（または静止画）を表示する。
そして、制御部１１は、通信部１５を介して、第１ユーザ１の撮像画像とともに第１ユーザ１の名刺画像１４１eを第２端末装置２０に送信することで、領域２４１ａに第１ユーザ１の名刺画像１４１eを表示させる（ステップＳ１３）。 Next, as shown in FIG. 13A, the control unit 11 displays a business card image 141e based on the business card image data acquired in step S12 in the area 141a.
FIG. 13B shows an online conference screen 241 displayed on the display unit 24 of the second terminal device 20. In the example shown in FIG. 13B, the control unit 21 displays the captured image of the first user 1 received from the first terminal device 10 in the area 241a within the online conference screen 241. Further, the control unit 21 displays a moving image (or still image) of the second user 2 captured by the imaging unit 26 in the area 241g.
Then, the control unit 11 transmits the business card image 141e of the first user 1 together with the captured image of the first user 1 to the second terminal device 20 via the communication unit 15, so that the first user 1 is displayed in the area 241a. The business card image 141e is displayed (step S13).

ここで、第１ユーザ１は、第２ユーザ２に、第２ユーザ２の顔写真を取得して良いか否かを尋ねる。
第２ユーザ２が顔写真を取得しても良いと返答した場合、第１ユーザ１は図１３Ａに示すオンライン会議画面１４１内の顔写真ＯＫボタン１４１ｈを押下する。
また、第２ユーザ２が顔写真を取得しないでほしいと返答した場合、第１ユーザ１は図１３Ａに示すオンライン会議画面１４１内の顔写真ＮＧボタン１４１iを押下する。 Here, the first user 1 asks the second user 2 whether or not it is okay to acquire the second user's 2 face photo.
When the second user 2 replies that it is OK to obtain a face photo, the first user 1 presses a face photo OK button 141h in the online conference screen 141 shown in FIG. 13A.
Further, if the second user 2 replies that he/she does not want the facial photo taken, the first user 1 presses the facial photo NG button 141i in the online conference screen 141 shown in FIG. 13A.

次に、制御部１１は、第１ユーザ１によって顔写真ＯＫボタン１４１ｈが押下されたか否かを判断する（ステップＳ１４）。
顔写真ＯＫボタン１４１ｈが押下された場合（ステップＳ１４；ＹＥＳ）、制御部１１は、第２端末装置２０から送信された第２ユーザ２を撮影した動画の中から静止画を取得する（ステップＳ１５）。 Next, the control unit 11 determines whether the face photo OK button 141h has been pressed by the first user 1 (step S14).
When the face photo OK button 141h is pressed (step S14; YES), the control unit 11 acquires a still image from the video of the second user 2 transmitted from the second terminal device 20 (step S15). ).

次に、制御部１１は、ステップＳ１５において取得した第２ユーザ２の静止画において顔認証を行い、第２ユーザ２の名刺画像データは名刺画像データベース３２１に登録されているか否かを判断する（ステップＳ１６）。具体的には、制御部１１は、ステップＳ１５において取得した第２ユーザ２の静止画において顔認証を用いて顔特徴量を取得する。当該静止画のデータを顔画像データとする。つまり、第２抽出部としての制御部１１は、撮像画像から少なくとも第２ユーザ２（第２参加者）の顔部分が撮影された顔画像データから特徴量を抽出する。そして、制御部１１は、当該顔特徴量に類似（該当）する顔特徴量を名刺画像データベース３２１において検索する。そして、制御部１１は、当該検索の結果、第２ユーザ２の顔特徴量に類似する顔特徴量は名刺画像データベース３２１に記憶されていたか否かを判断する。
第２ユーザ２の名刺画像データが名刺画像データベース３２１に登録されている場合（ステップＳ１６；ＹＥＳ）、制御部１１は、第２ユーザ２の顔特徴量に類似する顔特徴量に対応付けられている名刺画像データ（第２ユーザ２の名刺画像データ）を取得する。つまり、取得部としての制御部１１は、撮像画像の顔画像データに対応する、記憶部３２に登録されている名刺データに関する情報を取得する。そして、制御部１１は、第２ユーザ２の名刺画像データが登録済みである旨をオンライン会議画面１４１内に表示する（ステップＳ１７）。 Next, the control unit 11 performs face authentication on the still image of the second user 2 acquired in step S15, and determines whether the business card image data of the second user 2 is registered in the business card image database 321 ( Step S16). Specifically, the control unit 11 uses face authentication to acquire facial features in the still image of the second user 2 acquired in step S15. Let the still image data be face image data. That is, the control unit 11 serving as the second extraction unit extracts the feature amount from the facial image data in which at least the facial part of the second user 2 (second participant) is photographed from the captured image. Then, the control unit 11 searches the business card image database 321 for a facial feature similar to (corresponds to) the facial feature. Then, as a result of the search, the control unit 11 determines whether facial features similar to the facial features of the second user 2 are stored in the business card image database 321.
If the business card image data of the second user 2 is registered in the business card image database 321 (step S16; YES), the control unit 11 causes the business card image data of the second user 2 to be associated with facial features similar to those of the second user 2. The business card image data (business card image data of the second user 2) is acquired. That is, the control unit 11 as an acquisition unit acquires information regarding business card data registered in the storage unit 32, which corresponds to the face image data of the captured image. Then, the control unit 11 displays on the online conference screen 141 that the business card image data of the second user 2 has been registered (step S17).

ここで、第２ユーザ２の名刺画像データが登録済みであることを確認した第１ユーザ１は、第２ユーザ２に、名刺画像データベース３２１に登録済みの第２ユーザ２の名刺画像をオンライン会議画面１４１，２４１内に表示して良いか否かを尋ねる。
第２ユーザ２が名刺画像を表示しても良いと返答した場合、第１ユーザ１は図１３Ａに示すオンライン会議画面１４１内の名刺画像表示ＯＫボタン１４１ｊを押下する。
また、第２ユーザ２が名刺画像を表示しないでほしいと返答した場合、第１ユーザ１は図１３Ａに示すオンライン会議画面１４１内の名刺画像表示ＮＧボタン１４１ｋを押下する。 Here, the first user 1, who has confirmed that the business card image data of the second user 2 has been registered, sends the business card image of the second user 2, which has already been registered in the business card image database 321, to the second user 2 during the online meeting. It asks whether it is OK to display it on the screen 141, 241.
If the second user 2 replies that the business card image may be displayed, the first user 1 presses the business card image display OK button 141j in the online conference screen 141 shown in FIG. 13A.
Further, if the second user 2 replies that he does not want the business card image to be displayed, the first user 1 presses the business card image display NG button 141k in the online conference screen 141 shown in FIG. 13A.

次に、制御部１１は、第１ユーザ１によって名刺画像表示ＯＫボタン１４１ｊが押下されたか否かを判断する（ステップＳ１８）。
名刺画像表示ＯＫボタン１４１ｊが押下された場合（ステップＳ１８；ＹＥＳ）、制御部１１は、図１４Ａに示すように、ステップＳ１７において取得した第２ユーザ２の名刺画像データに基づく名刺画像１４１ｌを領域１４１ｇ内に表示する。つまり、第２表示制御部としての制御部１１は、取得部により取得された名刺データに関する情報を表示部１４（第１表示部）に表示する。そして、制御部１１は、通信部１５を介して、第２ユーザ２の名刺画像１４１ｌを第２端末装置２０に送信することで、図１４Ｂに示すように、名刺画像１４１ｌを領域２４１ｇ内に表示させる（ステップＳ１９）。図１４Ａ、図１４Ｂに示す例においては、制御部１１は、領域１４１ｇ，２４１ｇの隅に名刺画像１４１ｌを表示している。名刺画像１４１ｌを表示する位置はこれに限らない。 Next, the control unit 11 determines whether the business card image display OK button 141j has been pressed by the first user 1 (step S18).
When the business card image display OK button 141j is pressed (step S18; YES), the control unit 11 displays the business card image 141l based on the business card image data of the second user 2 acquired in step S17 as an area, as shown in FIG. 14A. Display within 141g. That is, the control section 11 as the second display control section displays information regarding the business card data acquired by the acquisition section on the display section 14 (first display section). Then, the control unit 11 transmits the business card image 141l of the second user 2 to the second terminal device 20 via the communication unit 15, thereby displaying the business card image 141l in the area 241g, as shown in FIG. 14B. (Step S19). In the example shown in FIGS. 14A and 14B, the control unit 11 displays the business card image 141l at the corner of the areas 141g and 241g. The position where the business card image 141l is displayed is not limited to this.

なお、第２ユーザ２の名刺画像データに、第１ユーザ１により入力された第２ユーザ２の特徴、印象、趣味等のコメントが対応付けられて名刺画像データベース３２１に記憶されている場合、ステップＳ１７において、制御部１１は、第２ユーザ２の特徴、印象、趣味等のコメントを取得する。そして、ステップＳ１９において、制御部１１は、ステップＳ１７において取得した第２ユーザ２の特徴、印象、趣味等のコメントを、オンライン会議画面１４１内のみに表示してもよい。つまり、制御部１１は、第２ユーザ２の特徴、印象、趣味等のコメントを、オンライン会議画面２４１内には表示させない。 Note that if the business card image data of the second user 2 is associated with comments input by the first user 1 about the characteristics, impressions, hobbies, etc. of the second user 2 and stored in the business card image database 321, step In S17, the control unit 11 acquires comments about the second user 2's characteristics, impressions, hobbies, and the like. Then, in step S19, the control unit 11 may display comments such as characteristics, impressions, and hobbies of the second user 2 obtained in step S17 only on the online conference screen 141. In other words, the control unit 11 does not display comments about the second user's 2's characteristics, impressions, hobbies, etc. on the online conference screen 241.

ここで、第１ユーザ１は、例えば、ステップＳ１９において表示した名刺画像１４１ｌに記載された情報が古い等を第２ユーザ２に指摘された場合、図１４Ａに示すオンライン会議画面１４１内の再登録ボタン１４１ｍを押下する。
次に、制御部１１は、第１ユーザ１によって再登録ボタン１４１ｍが押下されたか否かを判断する（ステップＳ２０）。
再登録ボタン１４１ｍが押下された場合（ステップＳ２０；ＹＥＳ）、制御部１１は、図８に示す名刺撮影表示処理を実行する（ステップＳ２１）。 Here, for example, if the second user 2 points out that the information written in the business card image 141l displayed in step S19 is outdated, the first user 1 may re-register the information in the online conference screen 141 shown in FIG. 14A. Press button 141m.
Next, the control unit 11 determines whether the re-registration button 141m has been pressed by the first user 1 (step S20).
When the re-registration button 141m is pressed (step S20; YES), the control unit 11 executes the business card photographing and displaying process shown in FIG. 8 (step S21).

ステップＳ２１の名刺撮影表示処理において、制御部１１は、図１５Ａに示すように、領域１４１ｇに枠１４１ｎを表示する。そして、制御部１１は、図１５Ｂに示すように、領域２４１ｇに枠１４１ｎを表示させる（ステップＡ１）。つまり、第１表示制御部としての制御部１１は、第２ユーザ２（第２参加者）が視認可能な表示部２４（第２表示部）に、撮像画像と枠１４１ｎとを重畳表示させる。
そして、制御部１１は、ステップＡ１において、「枠内に名刺をかざしてください」等の旨をオンライン会議画面２４１に表示させる。つまり、出力部としての制御部１１は、撮像画像において名刺が枠１４１ｎ内に位置するように名刺を第２ユーザ２（第２参加者）に提示させるための案内を出力する。
枠１４１ｎが表示されると、第２ユーザ２は、枠１４１ｎ内に名刺が収まるように、撮像部２６のデジタルカメラのレンズ前に、自分の名刺をかざす。 In the business card photographing and displaying process of step S21, the control unit 11 displays a frame 141n in the area 141g, as shown in FIG. 15A. Then, the control unit 11 displays a frame 141n in the area 241g, as shown in FIG. 15B (Step A1). That is, the control unit 11 as the first display control unit causes the captured image and the frame 141n to be displayed in a superimposed manner on the display unit 24 (second display unit) that can be viewed by the second user 2 (second participant).
Then, in step A1, the control unit 11 causes the online conference screen 241 to display a message such as "Please hold your business card over the frame." That is, the control unit 11 serving as an output unit outputs guidance for causing the second user 2 (second participant) to present the business card so that the business card is located within the frame 141n in the captured image.
When the frame 141n is displayed, the second user 2 holds his business card in front of the lens of the digital camera of the imaging unit 26 so that the business card fits within the frame 141n.

次に、制御部１１は、撮像部２６により撮影した動画の中から静止画を取得し、当該静止画の枠１４１ｎ内の領域から名刺画像データを取得する（ステップＡ２）。つまり、判定部としての制御部１１は、第２ユーザ２（第２参加者）の名刺が撮像画像に含まれるか否かを、撮像画像の画像データに基づいて、判定する。そして、第１抽出部としての制御部１１は、第２参加者の名刺が撮像画像に含まれると判定された場合に、撮像画像のデータから名刺に関する情報を含む名刺データを抽出する。
なお、制御部１１は、領域１４１ｇに枠１４１ｎを表示せずに、撮像部２６により撮影した動画の中から静止画を取得し、当該静止画において名刺のエッジを検出することにより、名刺画像データを取得してもよい。 Next, the control unit 11 acquires a still image from the moving image captured by the imaging unit 26, and acquires business card image data from the area within the frame 141n of the still image (step A2). That is, the control unit 11 as a determination unit determines whether or not the business card of the second user 2 (second participant) is included in the captured image, based on the image data of the captured image. Then, when it is determined that the second participant's business card is included in the captured image, the control unit 11 serving as the first extraction unit extracts business card data including information regarding the business card from the data of the captured image.
Note that the control unit 11 acquires a still image from the video captured by the imaging unit 26 without displaying the frame 141n in the area 141g, and detects the edge of the business card in the still image, thereby generating business card image data. may be obtained.

次に、制御部１１は、ステップＡ２において、名刺画像データを取得できたか否かを判断する（ステップＡ３）。
名刺画像データを取得できなかった場合（ステップＡ３；ＮＯ）、制御部１１は、図１５Ａに示すように、オンライン会議画面１４１に撮影ボタン１４１ｄを表示する（ステップＡ４）。なお、制御部１１は、ステップＡ４において、「枠内に名刺がかざされたら、撮影ボタンを押してください」等の旨をオンライン会議画面１４１に表示してもよい。
撮影ボタン１４１ｄが表示されると、第１ユーザ１は、枠１４１ｎに第２ユーザ２の名刺が収まっている状態において、撮影ボタン１４１ｄを押下する。
撮影ボタン１４１ｄが押下されると、制御部１１は、撮像部２６により撮影した動画の中から、第１ユーザ１により撮影ボタン１４１ｄが押下されたタイミングの静止画を取得し、当該静止画の枠１４１ｎ内の領域から名刺画像データを取得する（ステップＡ５）。
また、名刺画像データを取得できた場合（ステップＡ３；ＹＥＳ）、制御部１１は、本処理をステップＡ６に移行する。 Next, in step A2, the control unit 11 determines whether the business card image data has been acquired (step A3).
If the business card image data cannot be acquired (step A3; NO), the control unit 11 displays a shooting button 141d on the online conference screen 141, as shown in FIG. 15A (step A4). Note that the control unit 11 may display a message on the online conference screen 141 in step A4, such as "When the business card is held over the frame, please press the shooting button."
When the shooting button 141d is displayed, the first user 1 presses the shooting button 141d while the business card of the second user 2 is placed in the frame 141n.
When the shooting button 141d is pressed, the control unit 11 acquires a still image at the timing when the shooting button 141d was pressed by the first user 1 from among the moving images shot by the imaging unit 26, and adjusts the frame of the still image. Business card image data is acquired from the area within 141n (step A5).
Furthermore, if the business card image data can be acquired (step A3; YES), the control unit 11 moves the process to step A6.

次に、図１４Ａ、図１４Ｂに示すように、制御部１１は、ステップＡ２またはステップＡ５において取得した名刺画像データに基づく名刺画像１４１ｌを領域１４１ｇ，２４１ｇ内に表示し（ステップＡ６）、本処理を終了する。
図１２に戻り、制御部１１は、ステップＳ２１において取得した第２ユーザ２の名刺画像データに、ステップＳ１５において取得した第２ユーザ２の顔画像データ、及びステップＳ１６において取得した第２ユーザ２の顔特徴量を対応付けて、通信部１５を介してサーバー装置３０の記憶部３２の名刺画像データベース３２１に記憶させることで登録し（ステップＳ２２）、本処理を終了する。このとき、制御部１１は、第２ユーザ２の名刺画像データに、第１ユーザ１により入力された第２ユーザ２の特徴、印象、趣味等のコメントを対応付けて名刺画像データベース３２１に記憶させてもよい。また、制御部１１は、過去に登録された第２ユーザ２の名刺画像データ、顔画像データ、及び顔特徴量を削除してもよい。つまり、登録部としての制御部１１は、オンラインイベントの実行中に、第１抽出部により抽出された名刺データに関する情報を第１ユーザ１（第１参加者）がアクセス可能な記憶部３２に登録する。 Next, as shown in FIGS. 14A and 14B, the control unit 11 displays the business card image 141l based on the business card image data acquired in step A2 or step A5 in the areas 141g and 241g (step A6), and performs the main processing. end.
Returning to FIG. 12, the control unit 11 adds the business card image data of the second user 2 acquired in step S21, the face image data of the second user 2 acquired in step S15, and the face image data of the second user 2 acquired in step S16. The facial feature amounts are registered by being associated with each other and stored in the business card image database 321 of the storage unit 32 of the server device 30 via the communication unit 15 (step S22), and the present process ends. At this time, the control unit 11 stores the business card image data of the second user 2 in the business card image database 321 in association with the comments input by the first user 1 about the second user's 2's characteristics, impressions, hobbies, etc. It's okay. Further, the control unit 11 may delete the business card image data, face image data, and face feature amount of the second user 2 that were registered in the past. In other words, the control unit 11 as a registration unit registers information regarding the business card data extracted by the first extraction unit in the storage unit 32 accessible by the first user 1 (first participant) during the execution of the online event. do.

また、名刺画像表示ＮＧボタン１４１ｋが押下された場合（ステップＳ１８；ＮＯ）、及び再登録ボタン１４１ｍが押下されない場合（ステップＳ２０；ＮＯ）、制御部１１は、本処理を終了する。 Further, when the business card image display NG button 141k is pressed (step S18; NO) and when the re-registration button 141m is not pressed (step S20; NO), the control unit 11 ends this process.

また、第２ユーザ２の名刺画像データが名刺画像データベース３２１に登録されていない場合（ステップＳ１６；ＮＯ）、制御部１１は、本処理をステップＳ２１に移行する。この場合、制御部１１は、ステップＳ２１、Ｓ２２により、ステップＳ２１において取得した第２ユーザ２の名刺画像データに、ステップＳ１５において取得した第２ユーザ２の顔画像データ、及びステップＳ１６において取得した第２ユーザ２の顔特徴量を対応付けて、通信部１５を介してサーバー装置３０の名刺画像データベース３２１に記憶させることで新たに登録をする。 Further, if the business card image data of the second user 2 is not registered in the business card image database 321 (step S16; NO), the control unit 11 shifts the process to step S21. In this case, in steps S21 and S22, the control unit 11 adds the face image data of the second user 2 obtained in step S15 and the business card image data of the second user 2 obtained in step S16 to the business card image data of the second user 2 obtained in step S21. New registration is performed by associating the facial feature amounts of the two users 2 and storing them in the business card image database 321 of the server device 30 via the communication unit 15.

また、顔写真ＮＧボタン１４１iが押下された場合（ステップＳ１４；ＮＯ）、制御部１１は、本処理をステップＳ２３に移行する。
ここで、第１ユーザ１は、第２ユーザ２に、第２ユーザ２の名刺を撮影し、撮影した名刺画像をオンライン会議画面１４１，２４１内に表示して良いか否かを尋ねる。
第２ユーザ２が名刺画像を表示しても良いと返答した場合、第１ユーザ１は図１３Ａに示すオンライン会議画面１４１内の名刺画像表示ＯＫボタン１４１ｊを押下する。
また、第２ユーザ２が名刺画像を表示しないでほしいと返答した場合、第１ユーザ１は図１３Ａに示すオンライン会議画面１４１内の名刺画像表示ＮＧボタン１４１ｋを押下する。 Further, if the face photo NG button 141i is pressed (step S14; NO), the control unit 11 shifts the process to step S23.
Here, the first user 1 asks the second user 2 whether or not it is okay to photograph the second user's business card and display the photographed business card image within the online conference screen 141, 241.
If the second user 2 replies that the business card image may be displayed, the first user 1 presses the business card image display OK button 141j in the online conference screen 141 shown in FIG. 13A.
Further, if the second user 2 replies that he does not want the business card image to be displayed, the first user 1 presses the business card image display NG button 141k in the online conference screen 141 shown in FIG. 13A.

次に、制御部１１は、第１ユーザ１によって名刺画像表示ＯＫボタン１４１ｊが押下されたか否かを判断する（ステップＳ２３）。
名刺画像表示ＮＧボタン１４１ｋが押下された場合（ステップＳ２３；ＮＯ）、制御部１１は、本処理を終了する。
名刺画像表示ＯＫボタン１４１ｊが押下された場合（ステップＳ２３；ＹＥＳ）、制御部１１は、図８に示す名刺撮影表示処理を実行する（ステップＳ２４）。
ステップＳ２４の名刺撮影表示処理において、制御部１１は、ステップＳ２１の名刺撮影表示処理と同様にして、図１４Ａ、図１４Ｂに示すように、第２ユーザ２の名刺画像１４１ｌを領域１４１ｇ，２４１ｇ内に表示して、名刺撮影表示処理及び会議中処理を終了する。 Next, the control unit 11 determines whether the first user 1 has pressed the business card image display OK button 141j (step S23).
If the business card image display NG button 141k is pressed (step S23; NO), the control unit 11 ends this process.
When the business card image display OK button 141j is pressed (step S23; YES), the control unit 11 executes the business card photographing and displaying process shown in FIG. 8 (step S24).
In the business card photographing and displaying process in step S24, the control unit 11 displays the business card image 141l of the second user 2 within the areas 141g and 241g, as shown in FIGS. is displayed, and the business card photographing and displaying process and the in-meeting process are completed.

［３．効果］
以上のように、本実施形態に係る情報処理システム１００の第１端末装置１０（情報処理装置）は、第１参加者（第１ユーザ１）が視認可能な第１表示部（表示部１４）に、第１参加者とは異なる第２参加者（第２ユーザ２）がリアルタイムに撮像された撮像画像が表示されるオンラインイベント（オンライン会議）の実行中において、撮像画像に第２参加者の名刺が含まれている場合に、撮像画像のデータから名刺に関する情報を含む名刺データ（名刺画像データ）を抽出する第１抽出部（制御部１１）と、オンラインイベントの実行中に、第１抽出部により抽出された名刺データに関する情報を第１参加者がアクセス可能な記憶部３２に登録する登録部（制御部１１）と、を備える。
したがって、オンライン会議前に予め登録していない相手についても、オンライン会議中において相手の名刺に関する情報を取得することができるため、オンライン会議をより円滑に進めることができる。 [3. effect]
As described above, the first terminal device 10 (information processing device) of the information processing system 100 according to the present embodiment has a first display section (display section 14) that is visible to the first participant (first user 1). During the execution of an online event (online conference) in which captured images taken in real time by a second participant (second user 2) different from the first participant are displayed, the captured images include the second participant's A first extraction unit (control unit 11) that extracts business card data (business card image data) including information about the business card from the captured image data when the business card is included; and a registration section (control section 11) that registers information regarding the business card data extracted by the section in a storage section 32 that is accessible by the first participant.
Therefore, even for parties who have not been registered in advance before the online conference, information regarding the business card of the party can be obtained during the online conference, so that the online conference can proceed more smoothly.

また、第１端末装置１０は、第２参加者の名刺が撮像画像に含まれるか否かを、撮像画像の画像データに基づいて、判定する判定部（制御部１１）をさらに備え、第１抽出部は、第２参加者の名刺が撮像画像に含まれると判定された場合に、撮像画像の画像データから、名刺に係る情報を含む名刺データを抽出する。
したがって、撮像画像に第２参加者の名刺が含まれている場合、第１参加者の操作なしで第２参加者の名刺データを抽出することができる。 The first terminal device 10 further includes a determination unit (control unit 11) that determines whether or not the second participant's business card is included in the captured image, based on the image data of the captured image. The extraction unit extracts business card data including information regarding the business card from the image data of the captured image when it is determined that the second participant's business card is included in the captured image.
Therefore, if the captured image includes the second participant's business card, the second participant's business card data can be extracted without any operation by the first participant.

また、第１端末装置１０は、第２参加者が視認可能な第２表示部（表示部２４）に、撮像画像と枠１４１ｎとを重畳表示させる第１表示制御部（制御部１１）と、撮像画像において名刺が枠１４１ｎ内に位置するように名刺を第２参加者に提示させるための案内を出力する出力部（制御部１１）と、をさらに備え、判定部は、撮像画像のうちの枠１４１ｎ内の画像データに基づいて、第２参加者の名刺が撮像画像に含まれるか否かを判定する。
したがって、枠１４１ｎ内の領域において名刺を特定できるため、より確実に名刺画像データを取得することができる。 The first terminal device 10 also includes a first display control unit (control unit 11) that displays the captured image and the frame 141n in a superimposed manner on a second display unit (display unit 24) that is visible to the second participant; The determination unit further includes an output unit (control unit 11) that outputs guidance for causing the second participant to present the business card so that the business card is located within the frame 141n in the captured image, and the determination unit Based on the image data within the frame 141n, it is determined whether the second participant's business card is included in the captured image.
Therefore, since the business card can be identified in the area within the frame 141n, business card image data can be acquired more reliably.

また、第１端末装置１０は、撮像画像から少なくとも第２参加者の顔部分が撮影された顔画像データから特徴量（顔特徴量）を抽出する第２抽出部（制御部１１）を備え、登録部は、名刺データに関する情報に、顔画像データ及び／または特徴量を対応付けて登録する。
したがって、第２ユーザ２の名刺データに関する情報を、顔認証を用いて検索することができる。 Further, the first terminal device 10 includes a second extraction unit (control unit 11) that extracts a feature amount (facial feature amount) from face image data in which at least a face portion of the second participant is photographed from the captured image, The registration unit registers face image data and/or feature amounts in association with information regarding business card data.
Therefore, information regarding the second user 2's business card data can be searched using face authentication.

また、第１端末装置１０において、第１抽出部は、第１参加者の操作に基づいて名刺データを抽出する。
したがって、制御部１１は、第２端末装置２０から送信された画像の中から、第１ユーザ１により撮影ボタン１４１ｄが押下されたタイミングの静止画を取得し、当該静止画から名刺画像データを取得することができるため、より確実に名刺画像データを取得することができる。 Furthermore, in the first terminal device 10, the first extraction unit extracts business card data based on the operation of the first participant.
Therefore, the control unit 11 acquires a still image at the timing when the shooting button 141d is pressed by the first user 1 from among the images transmitted from the second terminal device 20, and acquires business card image data from the still image. Therefore, business card image data can be acquired more reliably.

また、第１端末装置１０は、撮像画像の顔画像データに対応する、記憶部３２に登録されている名刺データに関する情報を取得する取得部（制御部１１）と、取得部により取得された名刺データに関する情報を第１表示部に表示する第２表示制御部（制御部１１）と、を備える。
したがって、記憶部３２に登録済みの第２ユーザ２の名刺に関する情報を自動で表示することができる。 The first terminal device 10 also includes an acquisition unit (control unit 11) that acquires information regarding business card data registered in the storage unit 32 that corresponds to the face image data of the captured image, and a business card acquired by the acquisition unit. A second display control section (control section 11) that displays information regarding data on the first display section.
Therefore, information regarding the business card of the second user 2 registered in the storage unit 32 can be automatically displayed.

以上、本発明に係る実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above embodiments, and can be modified without departing from the gist thereof.

例えば、上記実施形態の名刺撮影表示処理において、第１ユーザ１の名刺画像データを取得する際に、制御部１１は、撮像部１６により撮影した動画において解像度を上げ、第１ユーザ１の名刺画像データを取得しやすくしてもよい。同様に、第２ユーザ２の名刺画像データを取得する際に、制御部１１は、撮像部２６により撮影した動画において解像度を上げ、第２ユーザ２の名刺画像データを取得しやすくしてもよい。 For example, in the business card photographing and displaying process of the above embodiment, when acquiring the business card image data of the first user 1, the control unit 11 increases the resolution of the video photographed by the imaging unit 16, and increases the resolution of the business card image of the first user 1. It may be possible to make data easier to obtain. Similarly, when acquiring the business card image data of the second user 2, the control unit 11 may increase the resolution of the video captured by the imaging unit 26 to make it easier to acquire the business card image data of the second user 2. .

また、上記実施形態では、名刺に関する情報は、名刺を撮影した名刺画像データであるとしたがこれに限らない。名刺に関する情報は、名刺画像から読み取った情報（例えば、会社名、部署名、役職等の文字情報）であってもよい。 Further, in the above embodiment, the information regarding the business card is business card image data obtained by photographing the business card, but the information is not limited to this. The information regarding the business card may be information read from the business card image (for example, character information such as company name, department name, position, etc.).

また、第２端末装置２０の制御部２１が、第２ユーザ２の名刺画像データを第１端末装置１０に送信し、当該名刺画像データに基づく名刺画像を、表示部１４に表示させる機能を有している場合、第１端末装置１０の制御部１１は、表示部１４に表示された第２ユーザ２の名刺画像を名刺画像データベース３２１に保存してもよい。このとき、第２ユーザ２の許可が得られれば、制御部１１は、第２ユーザ２の顔画像データを取得し、第２ユーザ２の名刺画像データに当該顔画像データを対応付けて名刺画像データベース３２１に保存する。 The control unit 21 of the second terminal device 20 also has a function of transmitting business card image data of the second user 2 to the first terminal device 10 and displaying a business card image based on the business card image data on the display unit 14. If so, the control unit 11 of the first terminal device 10 may store the business card image of the second user 2 displayed on the display unit 14 in the business card image database 321. At this time, if permission is obtained from the second user 2, the control unit 11 acquires the face image data of the second user 2, associates the face image data with the business card image data of the second user 2, and creates a business card image. It is saved in the database 321.

また、上記実施形態の会議中処理ステップＳ１３において、制御部１１は、領域２４１ａに第１ユーザ１の名刺画像１４１eを表示させるとした。また、ステップＳ１９において、制御部１１は、領域２４１ｇに第２ユーザ２の名刺画像１４１ｌを表示させるとしたがこれに限らない。第２端末装置２０の制御部２１が外部装置から送信された名刺画像データに基づく名刺画像を表示部２４に表示する機能を有していない場合、上記処理は省いてもよい。 Further, in the in-meeting processing step S13 of the above embodiment, the control unit 11 displays the business card image 141e of the first user 1 in the area 241a. Further, in step S19, the control unit 11 displays the business card image 141l of the second user 2 in the area 241g, but the present invention is not limited thereto. If the control unit 21 of the second terminal device 20 does not have a function of displaying a business card image on the display unit 24 based on business card image data transmitted from an external device, the above process may be omitted.

また、上記実施形態の会議中処理において、制御部１１は、オンライン会議を開始してからの時間をカウントし、予め設定された所定時間を過ぎても、図１３Ａに示す顔写真ＯＫボタン１４１ｈまたは顔写真ＮＧボタン１４１iを押下する操作がされない場合、オンライン会議画面１４１内に当該操作を促すアラートを表示してもよい。同様に、制御部１１は、会議中処理ステップＳ１７実施後からの時間をカウントし、予め設定された所定時間を過ぎても、図１３Ａに示す名刺画像表示ＯＫボタン１４１ｊまたは名刺画像表示ＮＧボタン１４１ｋを押下する操作がされない場合、オンライン会議画面１４１内に当該操作を促すアラートを表示してもよい。 In the in-meeting process of the above embodiment, the control unit 11 counts the time since the start of the online meeting, and even if a preset predetermined time has elapsed, the control unit 11 presses the face photo OK button 141h shown in FIG. 13A or If the user does not press the face photo NG button 141i, an alert may be displayed on the online conference screen 141 to prompt the user to press the face photo NG button 141i. Similarly, the control unit 11 counts the time since the execution of in-meeting processing step S17, and even if a preset predetermined time has elapsed, the control unit 11 presses the business card image display OK button 141j or the business card image display NG button 141k shown in FIG. 13A. If the operation of pressing is not performed, an alert prompting the user to perform the operation may be displayed on the online conference screen 141.

また、上記実施形態では、第１端末装置１０が情報処理装置として機能するとしたがこれに限らない。他の外部装置（例えば、サーバー装置３０）が情報処理装置として機能してもよい。 Further, in the above embodiment, the first terminal device 10 functions as an information processing device, but the present invention is not limited to this. Other external devices (for example, server device 30) may function as the information processing device.

以上の説明では、各処理を実行するためのプログラムを格納したコンピューター読み取り可能な媒体としてＨＤＤや不揮発性の半導体メモリを使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、通信回線を介してプログラムのデータを提供する媒体として、キャリアウェーブ（搬送波）を適用することとしてもよい。 In the above description, an example has been disclosed in which an HDD or a nonvolatile semiconductor memory is used as a computer-readable medium storing a program for executing each process, but the present invention is not limited to this example. It is also possible to apply a portable recording medium such as a CD-ROM as another computer-readable medium. Furthermore, a carrier wave may be used as a medium for providing program data via a communication line.

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
第１参加者が視認可能な第１表示部に、第１参加者とは異なる第２参加者がリアルタイムに撮像された撮像画像が表示されるオンラインイベントの実行中において、
前記撮像画像に前記第２参加者の名刺が含まれている場合に、前記撮像画像のデータから名刺に関する情報を含む名刺データを抽出する第１抽出部と、
前記オンラインイベントの実行中に、前記第１抽出部により抽出された前記名刺データに関する情報を前記第１参加者がアクセス可能な記憶部に登録する登録部と、
を備える情報処理装置。
＜請求項２＞
前記第２参加者の名刺が前記撮像画像に含まれるか否かを、前記撮像画像の画像データに基づいて、判定する判定部をさらに備え、
前記第１抽出部は、前記第２参加者の名刺が前記撮像画像に含まれると判定された場合に、前記撮像画像の画像データから、前記名刺に係る情報を含む名刺データを抽出する請求項１に記載の情報処理装置。
＜請求項３＞
前記第２参加者が視認可能な第２表示部に、前記撮像画像と枠とを重畳表示させる第１表示制御部と、
前記撮像画像において前記名刺が前記枠内に位置するように前記名刺を前記第２参加者に提示させるための案内を出力する出力部と、をさらに備え、
前記判定部は、前記撮像画像のうちの前記枠内の画像データに基づいて、前記第２参加者の名刺が前記撮像画像に含まれるか否かを判定する請求項２に記載の情報処理装置。
＜請求項４＞
前記撮像画像から少なくとも前記第２参加者の顔部分が撮影された顔画像データから特徴量を抽出する第２抽出部を備え、
前記登録部は、前記名刺データに関する情報に、前記顔画像データ及び／または前記特徴量を対応付けて登録する請求項１から３のいずれか一項に記載の情報処理装置。
＜請求項５＞
前記第１抽出部は、前記第１参加者の操作に基づいて前記名刺データを抽出する請求項１から４のいずれか一項に記載の情報処理装置。
＜請求項６＞
前記撮像画像の顔画像データに対応する、前記記憶部に登録されている前記名刺データに関する情報を取得する取得部と、
前記取得部により取得された前記名刺データに関する情報を前記第１表示部に表示する第２表示制御部と、を備える請求項１から５のいずれか一項に記載の情報処理装置。
＜請求項７＞
情報処理装置のコンピューターを、
第１参加者が視認可能な第１表示部に、第１参加者とは異なる第２参加者がリアルタイムに撮像された撮像画像が表示されるオンラインイベントの実行中において、
前記撮像画像に前記第２参加者の名刺が含まれている場合に、前記撮像画像のデータから名刺に関する情報を含む名刺データを抽出する第１抽出部と、
前記オンラインイベントの実行中に、前記第１抽出部により抽出された前記名刺データに関する情報を前記第１参加者がアクセス可能な記憶部に登録する登録部、
として機能させるプログラム。
＜請求項８＞
請求項１から６のいずれか一項に記載の情報処理装置としての前記第１参加者が利用する第１端末装置と、
前記情報処理装置と通信可能に接続される前記第２参加者が利用する第２端末装置と、
前記記憶部を有するサーバー装置と、
を備える情報処理システム。
＜請求項９＞
請求項１から６のいずれか一項に記載の情報処理装置と、
前記情報処理装置と通信可能に接続される、前記第１参加者が利用する第１端末装置及び前記第２参加者が利用する第２端末装置と、
を備え、
前記情報処理装置は、前記記憶部を有する情報処理システム。 Although several embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and its equivalents.
Below, the invention described in the claims first attached to the application of this application will be added. The claim numbers listed in the supplementary notes are as in the claims originally attached to the request for this application.
[Additional notes]
<Claim 1>
During the execution of an online event in which a captured image of a second participant different from the first participant is displayed in real time on a first display section that is visible to the first participant,
a first extraction unit that extracts business card data including information regarding the business card from data of the captured image when the captured image includes a business card of the second participant;
a registration unit that registers information regarding the business card data extracted by the first extraction unit in a storage unit accessible to the first participant during execution of the online event;
An information processing device comprising:
<Claim 2>
further comprising a determination unit that determines whether the second participant's business card is included in the captured image, based on image data of the captured image;
The first extraction unit extracts business card data including information regarding the business card from the image data of the captured image when it is determined that the second participant's business card is included in the captured image. 1. The information processing device according to 1.
<Claim 3>
a first display control unit that displays the captured image and the frame in a superimposed manner on a second display unit that is visible to the second participant;
further comprising an output unit that outputs guidance for causing the second participant to present the business card so that the business card is located within the frame in the captured image,
The information processing device according to claim 2, wherein the determination unit determines whether the second participant's business card is included in the captured image based on image data within the frame of the captured image. .
<Claim 4>
comprising a second extraction unit that extracts a feature amount from face image data in which at least a face portion of the second participant is photographed from the captured image;
The information processing apparatus according to any one of claims 1 to 3, wherein the registration unit registers the face image data and/or the feature amount in association with information regarding the business card data.
<Claim 5>
The information processing apparatus according to any one of claims 1 to 4, wherein the first extraction unit extracts the business card data based on an operation of the first participant.
<Claim 6>
an acquisition unit that acquires information regarding the business card data registered in the storage unit that corresponds to the face image data of the captured image;
The information processing apparatus according to any one of claims 1 to 5, further comprising a second display control section that displays information regarding the business card data acquired by the acquisition section on the first display section.
<Claim 7>
information processing equipment computer,
During the execution of an online event in which a captured image of a second participant different from the first participant is displayed in real time on a first display section that is visible to the first participant,
a first extraction unit that extracts business card data including information regarding the business card from data of the captured image when the captured image includes a business card of the second participant;
a registration unit that registers information regarding the business card data extracted by the first extraction unit in a storage unit accessible to the first participant during execution of the online event;
A program that functions as
<Claim 8>
A first terminal device used by the first participant as an information processing device according to any one of claims 1 to 6;
a second terminal device used by the second participant that is communicably connected to the information processing device;
a server device having the storage unit;
An information processing system equipped with.
<Claim 9>
The information processing device according to any one of claims 1 to 6,
a first terminal device used by the first participant and a second terminal device used by the second participant, which are communicably connected to the information processing device;
Equipped with
The information processing device is an information processing system including the storage unit.

１００情報処理システム
１第１ユーザ（第１参加者）
１０第１端末装置（情報処理装置）
１１制御部（第１抽出部、第２抽出部、登録部、判定部、第１表示制御部、第２表示制御部、出力部、取得部）
１２記憶部
１３操作部
１４表示部（第１表示部）
１５通信部
１６撮像部
１７音声入出力部
１８バス
２第２ユーザ（第２参加者）
２０第２端末装置
２１制御部
２２記憶部
２３操作部
２４表示部（第２表示部）
２５通信部
２６撮像部
２７音声入出力部
２８バス
３０サーバー装置
３１制御部
３２記憶部
３２１名刺画像データベース
３３通信部
Ｎ通信ネットワーク 100 Information processing system 1 First user (first participant)
10 First terminal device (information processing device)
11 Control unit (first extraction unit, second extraction unit, registration unit, determination unit, first display control unit, second display control unit, output unit, acquisition unit)
12 Storage section 13 Operation section 14 Display section (first display section)
15 Communication unit 16 Imaging unit 17 Audio input/output unit 18 Bus 2 Second user (second participant)
20 Second terminal device 21 Control section 22 Storage section 23 Operation section 24 Display section (second display section)
25 Communication unit 26 Imaging unit 27 Audio input/output unit 28 Bus 30 Server device 31 Control unit 32 Storage unit 321 Business card image database 33 Communication unit N Communication network

Claims

During the execution of an online event in which a captured image of a second participant different from the first participant is displayed in real time on a first display section that is visible to the first participant,
a first extraction unit that extracts business card data including information regarding the business card from data of the captured image when the captured image includes a business card of the second participant;
a registration unit that registers information regarding the business card data extracted by the first extraction unit in a storage unit accessible to the first participant during execution of the online event;
An information processing device comprising:

further comprising a determination unit that determines whether the second participant's business card is included in the captured image, based on image data of the captured image;
The first extraction unit extracts business card data including information regarding the business card from the image data of the captured image when it is determined that the second participant's business card is included in the captured image. 1. The information processing device according to 1.

a first display control unit that displays the captured image and the frame in a superimposed manner on a second display unit that is visible to the second participant;
further comprising an output unit that outputs guidance for causing the second participant to present the business card so that the business card is located within the frame in the captured image,
The information processing device according to claim 2, wherein the determination unit determines whether the second participant's business card is included in the captured image based on image data within the frame of the captured image. .

comprising a second extraction unit that extracts a feature amount from face image data in which at least a face portion of the second participant is photographed from the captured image;
The information processing apparatus according to any one of claims 1 to 3, wherein the registration unit registers the face image data and/or the feature amount in association with information regarding the business card data.

The information processing apparatus according to any one of claims 1 to 4, wherein the first extraction unit extracts the business card data based on an operation of the first participant.

an acquisition unit that acquires information regarding the business card data registered in the storage unit that corresponds to the face image data of the captured image;
The information processing apparatus according to any one of claims 1 to 5, further comprising a second display control section that displays information regarding the business card data acquired by the acquisition section on the first display section.

information processing equipment computer,
During the execution of an online event in which a captured image of a second participant different from the first participant is displayed in real time on a first display section that is visible to the first participant,
a first extraction unit that extracts business card data including information regarding the business card from data of the captured image when the captured image includes a business card of the second participant;
a registration unit that registers information regarding the business card data extracted by the first extraction unit in a storage unit accessible to the first participant during execution of the online event;
A program that functions as

A first terminal device used by the first participant as an information processing device according to any one of claims 1 to 6;
a second terminal device used by the second participant that is communicably connected to the information processing device;
a server device having the storage unit;
An information processing system equipped with.

The information processing device according to any one of claims 1 to 6,
a first terminal device used by the first participant and a second terminal device used by the second participant, which are communicably connected to the information processing device;
Equipped with
The information processing device is an information processing system including the storage unit.