JP2016170654A - Information processing terminal, information processing method, program and information processing unit - Google Patents

Information processing terminal, information processing method, program and information processing unit Download PDF

Info

Publication number
JP2016170654A
JP2016170654A JP2015050417A JP2015050417A JP2016170654A JP 2016170654 A JP2016170654 A JP 2016170654A JP 2015050417 A JP2015050417 A JP 2015050417A JP 2015050417 A JP2015050417 A JP 2015050417A JP 2016170654 A JP2016170654 A JP 2016170654A
Authority
JP
Japan
Prior art keywords
information processing
data
processing terminal
unit
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015050417A
Other languages
Japanese (ja)
Inventor
矢部 大輔
Daisuke Yabe
大輔 矢部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015050417A priority Critical patent/JP2016170654A/en
Publication of JP2016170654A publication Critical patent/JP2016170654A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To enable retrieval of photography data by using words related to an experience or an object as a retrieval key, the retrieval specifically required with a recent increase of users photographing in a large volume in order to post photographs or videos to the SNS, etc. as a life log, solving a problem in a conventional method in which photography data can only be retrieved using a photographing date or a photographing position as a key.SOLUTION: An information processing terminal includes: a photographing part 400 configured to photograph photography data including a photograph or a video; a sound-recording part 410 configured to generate sound-recording data recording sounds around the information processing terminal 100; a conversion part 720 configured to convert voices included in the sound-recording data generated within a predetermined period before/after the photography data into a character string; a location acquisition part 420 configured to acquire a location of the information processing terminal 100; and a storage part 440 configured to associate and store the photographed photography data, the location where the photography data is photographed and the character string.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理端末、情報処理方法、プログラム、及び、情報処理装置に関する。   The present invention relates to an information processing terminal, an information processing method, a program, and an information processing apparatus.

スマートフォン、デジタルカメラ等の普及により、写真、及びビデオを撮影する機会が増えている。ユーザが、撮影した写真やビデオを効率よく検索できるように、スマートフォン等の情報処理端末が、撮影日時、撮影位置等の情報を撮影データに付加して保存することが行われている。   With the spread of smartphones, digital cameras, etc., opportunities for taking pictures and videos are increasing. An information processing terminal such as a smartphone adds information such as a shooting date and time and a shooting position to shooting data so that the user can efficiently search for shot photos and videos.

しかしながら、従来の方法では、撮影データを撮影日時、撮影位置をキーに検索することしかできなかった。特に、SNS(Social Network Service)等に投稿するために、写真やビデオをライフログとして大量に撮影するユーザが近年増加しており、経験、被写体等に関連する言葉を検索キーにして撮影データの検索をすることが求められている。   However, in the conventional method, it is only possible to search the shooting data using the shooting date and time and the shooting position as keys. In particular, in order to post to SNS (Social Network Service), etc., the number of users who take a large number of photographs and videos as life logs has been increasing in recent years. Search is required.

本実施形態に係る情報処理端末は、写真又はビデオを含む撮影データを撮影する撮影部と、情報処理端末の周辺の音を録音し録音データを生成する録音部と、前記撮影データを撮影した時から前後所定の期間に生成された前記録音データに含まれる音声を文字列に変換する変換部と、前記情報処理端末の位置を取得する位置取得部と、撮影した前記撮影データと、前記撮影データを撮影した位置と、前記文字列とを関連付けて記憶する記憶部と、を有する。   The information processing terminal according to the present embodiment has a photographing unit that photographs photographing data including a photograph or a video, a recording unit that records sound around the information processing terminal and generates recording data, and the photographing data is photographed. A conversion unit that converts voice included in the recording data generated in a predetermined period before and after the character string into a character string, a position acquisition unit that acquires the position of the information processing terminal, the captured shooting data, and the shooting data And a storage unit for storing the character string and the position where the character is captured.

本実施形態に係る情報処理端末によれば、経験、被写体等に関連する言葉をキーに撮影データ検索することが可能となる。   With the information processing terminal according to the present embodiment, it is possible to search for shooting data using words related to experience, subject, and the like as keys.

本実施形態に係るシステム全体構成の一例を示す図である。It is a figure which shows an example of the whole system structure which concerns on this embodiment. 本実施形態に係る情報処理端末と検索端末のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the information processing terminal and search terminal which concern on this embodiment. 本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the information processing apparatus which concerns on this embodiment. 本実施形態に係る情報処理端末と検索端末の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the information processing terminal and search terminal which concern on this embodiment. 本実施形態に係る情報処理端末の録音データの記憶方法の一例を説明するための図である。It is a figure for demonstrating an example of the recording method of the recording data of the information processing terminal which concerns on this embodiment. 本実施形態に係る情報処理端末の第2記憶部で記憶する撮影データと、撮影データに関連するデータを示す。The imaging | photography data memorize | stored in the 2nd memory | storage part of the information processing terminal which concerns on this embodiment, and the data relevant to imaging | photography data are shown. 本実施形態に係る情報処理装置の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the information processing apparatus which concerns on this embodiment. 本実施形態に係る情報処理装置の記憶部に記憶される情報の一例を示す図である。It is a figure which shows an example of the information memorize | stored in the memory | storage part of the information processing apparatus which concerns on this embodiment. 本実施形態に係る、撮影データの保存及び検索手順の一例を説明するための図である。It is a figure for demonstrating an example of the preservation | save and search procedure of imaging | photography data based on this embodiment. 本実施形態に係る録音データの生成手順の一例を示す図である。It is a figure which shows an example of the production | generation procedure of the sound recording data which concerns on this embodiment. 本実施形態に係る撮影データの生成手順の一例を示す図である。It is a figure which shows an example of the production | generation procedure of the imaging | photography data concerning this embodiment. 本実施形態に係る録音データの解析手順の一例を示す図である。It is a figure which shows an example of the analysis procedure of the sound recording data which concerns on this embodiment. 本実施形態に係る辞書データの生成手順の概要を示す図である。It is a figure which shows the outline | summary of the production | generation procedure of the dictionary data concerning this embodiment. 本実施形態に係る辞書データの生成手順の一例を示す図である。It is a figure which shows an example of the production | generation procedure of the dictionary data concerning this embodiment. 本実施形態に係る辞書データの生成手順の具体例を示す図である。It is a figure which shows the specific example of the production | generation procedure of the dictionary data concerning this embodiment. 本実施形態に係る辞書データの生成手順の一例を示す図である。It is a figure which shows an example of the production | generation procedure of the dictionary data concerning this embodiment. 本実施形態に係る撮影データの検索手順の一例を示す図である。It is a figure which shows an example of the search procedure of the imaging | photography data which concerns on this embodiment. 本実施形態に係る撮影データの検索手順の一例を示す図である。It is a figure which shows an example of the search procedure of the imaging | photography data which concerns on this embodiment.

以下、本発明の実施の形態について説明する。   Embodiments of the present invention will be described below.

<第1実施形態>
以下、実施形態について図面を参照しながら説明する。
<First Embodiment>
Hereinafter, embodiments will be described with reference to the drawings.

<システム全体構成>
図1は、本実施形態に係るシステム全体構成の一例を示す図である。本実施形態に係る情報処理システム1は、情報処理端末100と、情報処理装置200と、及び検索端末300とを有する。
<Overall system configuration>
FIG. 1 is a diagram illustrating an example of an overall system configuration according to the present embodiment. The information processing system 1 according to the present embodiment includes an information processing terminal 100, an information processing device 200, and a search terminal 300.

情報処理端末100は、写真又はビデオを撮影し撮影データを生成する。撮影データを生成する時に、情報処理端末100は、撮影位置の情報を取得する。また、情報処理端末100は、少なくとも撮影する前後の音を録音し、録音データを生成する。情報処理端末100は、撮影データ、録音データ、撮影した位置、及び撮影日時に関するデータを情報処理装置200に送信してもよい。   The information processing terminal 100 takes a photograph or video and generates shooting data. When generating shooting data, the information processing terminal 100 acquires shooting position information. Further, the information processing terminal 100 records at least sounds before and after photographing, and generates recorded data. The information processing terminal 100 may transmit data related to shooting data, sound recording data, shooting position, and shooting date and time to the information processing apparatus 200.

情報処理装置200は、撮影データ、録音データ、撮影した位置、及び撮影日時に関する情報を受信する。情報処理装置200は、録音データを解析し、人の声から文字列を抽出する。情報処理装置200は、撮影データ、撮影した位置、抽出した文字列、及び撮影日時を関連付けて記憶する。   The information processing apparatus 200 receives information related to shooting data, sound recording data, shooting position, and shooting date and time. The information processing apparatus 200 analyzes the recorded data and extracts a character string from a human voice. The information processing apparatus 200 stores the shooting data, the shooting position, the extracted character string, and the shooting date and time in association with each other.

検索端末300は、情報処理装置200に撮影データの検索を指示する。検索端末300のユーザは、撮影データの検索のキーとして撮影日時、撮影した位置、及び録音データから抽出される文字列を設定してもよい。   The search terminal 300 instructs the information processing apparatus 200 to search for shooting data. The user of the search terminal 300 may set a shooting date and time, a shooting position, and a character string extracted from the recording data as a key for searching for shooting data.

ここで、情報処理端末100と検索端末300は、別の端末として記載しているが同じ端末であってもよい。また、情報処理端末100が、情報処理装置200の機能を有してもよい。   Here, the information processing terminal 100 and the search terminal 300 are described as different terminals, but may be the same terminal. Further, the information processing terminal 100 may have the function of the information processing apparatus 200.

<ハードウェア構成>
(1)情報処理端末と検索端末のハードウェア構成
図2を用いて本実施形態に係る情報処理端末100と検索端末300のハードウェア構成を説明する。図2(a)は本実施形態に係る情報処理端末100のハードウェア構成の一例を示す図である。
<Hardware configuration>
(1) Hardware configuration of information processing terminal and search terminal The hardware configuration of the information processing terminal 100 and the search terminal 300 according to the present embodiment will be described with reference to FIG. FIG. 2A is a diagram illustrating an example of a hardware configuration of the information processing terminal 100 according to the present embodiment.

情報処理端末100は、マイク110と、ディスプレイ120と、カメラ130と、RAM(Ramdom Access Memory)140と、CPU(Central Processing Unit)150と、無線通信インタフェース160と、ROM(Read Only Memory)170と、有線通信インタフェース180と、入力装置190と、位置取得装置195とを有する。   The information processing terminal 100 includes a microphone 110, a display 120, a camera 130, a RAM (Random Access Memory) 140, a CPU (Central Processing Unit) 150, a wireless communication interface 160, a ROM (Read Only Memory) 170, and the like. A wired communication interface 180, an input device 190, and a position acquisition device 195.

マイク110は、情報処理端末100の周辺の音を録音し、RAM140、又はROM170に録音データを渡す。   The microphone 110 records sounds around the information processing terminal 100 and passes the recorded data to the RAM 140 or the ROM 170.

ディスプレイ120は、情報処理端末100の各種情報を表示する。例えば、ディスプレイ120は、情報処理端末100が撮影した撮影データ(写真、ビデオ)、撮影データの撮影日時、撮影位置、及び撮影前後に録音した録音データに関する情報を表示する。   The display 120 displays various information of the information processing terminal 100. For example, the display 120 displays information regarding shooting data (photographs, videos) taken by the information processing terminal 100, shooting date and time of shooting data, shooting positions, and recorded data recorded before and after shooting.

カメラ130は、写真、又はビデオを撮影し撮影データを生成し、RAM140、ROM170に撮影データを渡す。また、カメラ130は、撮影日時に関する情報を記録し、RAM140、又はROM170に渡す。   The camera 130 takes a photograph or video, generates shooting data, and passes the shooting data to the RAM 140 and the ROM 170. In addition, the camera 130 records information related to the shooting date and time and passes it to the RAM 140 or the ROM 170.

RAM140は、DRAM(Dynamic Random Access Memory)、又はSRAM(Static Random Access Memory)等の記憶装置である。RAM203は、各種プログラムがCPU150によって実行される際に展開される、作業領域にも利用される。また、RAM140に、撮影した写真、ビデオ、及び録音した録音データが一時的に記憶される。   The RAM 140 is a storage device such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). The RAM 203 is also used as a work area that is expanded when various programs are executed by the CPU 150. The RAM 140 temporarily stores a photograph, a video, and recorded sound data.

ROM170は、各種情報を記録するのに用いられる。情報処理装置200はROM170に加えて、NAND Flash(Not AND Flash)、又はHDD(Hard Disk Drive)等を有してもよい。   The ROM 170 is used for recording various information. In addition to the ROM 170, the information processing apparatus 200 may include a NAND flash (Not AND Flash), an HDD (Hard Disk Drive), or the like.

CPU150は、ユーザからの指示等に基づいて、各種プログラムを実行する。CPU150は、各種プログラムの実行時に、情報処理端末100のハードウェアの制御をする。   The CPU 150 executes various programs based on instructions from the user. The CPU 150 controls the hardware of the information processing terminal 100 when executing various programs.

無線インタフェース160は、CPU150の指示を受けて、無線LAN、又はセルラー等の無線を用いて外部装置と接続する。   The wireless interface 160 receives an instruction from the CPU 150 and connects to an external device using wireless LAN or wireless such as cellular.

有線インタフェース180は、CPU150の指示を受けて、有線LAN、又はUSBケーブル等を用いて外部装置と接続する。   The wired interface 180 receives an instruction from the CPU 150 and connects to an external device using a wired LAN or a USB cable.

入力装置190は、ユーザから情報処理端末100への各種指示を受け付ける。   The input device 190 receives various instructions from the user to the information processing terminal 100.

位置取得装置195は、情報処理端末100の位置を取得する。位置の取得には、GPS(Global Positioning System)、無線LAN及びセルラーの位置取得機能が用いられてもよい。   The position acquisition device 195 acquires the position of the information processing terminal 100. For the acquisition of the position, a GPS (Global Positioning System), a wireless LAN, and a cellular position acquisition function may be used.

図2(b)は本実施形態に係る検索端末300のハードウェア構成の一例を示す図である。検索端末300は、ディスプレイ310と、無線通信インタフェース320と、有線通信インタフェース330と、入力装置340と、ROM350と、RAM360と、CPUとを有する。各装置の機能は、情報処理端末100と同じであるため、説明を省略する。   FIG. 2B is a diagram illustrating an example of a hardware configuration of the search terminal 300 according to the present embodiment. The search terminal 300 includes a display 310, a wireless communication interface 320, a wired communication interface 330, an input device 340, a ROM 350, a RAM 360, and a CPU. Since the function of each device is the same as that of the information processing terminal 100, description thereof is omitted.

(2)情報処理装置のハードウェア構成
図3は、本実施形態に係る情報処理装置200のハードウェア構成の一例を示す図である。情報処理装置200は、CPU201と、ROM202と、RAM203と、記憶部204とを備える。更に、情報処理装置200は、入力部205と、表示部206と、及び通信部207とを有する。なお、情報処理装置200の各部は、バス208を介して相互に接続されている。
(2) Hardware Configuration of Information Processing Device FIG. 3 is a diagram illustrating an example of a hardware configuration of the information processing device 200 according to the present embodiment. The information processing apparatus 200 includes a CPU 201, a ROM 202, a RAM 203, and a storage unit 204. Furthermore, the information processing apparatus 200 includes an input unit 205, a display unit 206, and a communication unit 207. Note that the units of the information processing apparatus 200 are connected to each other via a bus 208.

CPU201は、記憶部204に格納された各種プログラムを実行するコンピュータである。   The CPU 201 is a computer that executes various programs stored in the storage unit 204.

ROM202には、記憶部204に格納された各種プログラムを、CPU201が実行するために必要な各種プログラム、データ等が格納される。   The ROM 202 stores various programs and data necessary for the CPU 201 to execute various programs stored in the storage unit 204.

RAM203は、DRAM、又はSRAM等の記憶装置である。RAM203は、例えば、記憶部204に格納された各種プログラムがCPU201によって実行される際に用いられる、作業領域として用いられる。   The RAM 203 is a storage device such as a DRAM or an SRAM. For example, the RAM 203 is used as a work area used when various programs stored in the storage unit 204 are executed by the CPU 201.

記憶部204は、CPU201により実行される各種プログラム及び各種プログラムがCPU201により実行される時に利用される各種データを格納する。なお、各種データは、例えば、情報処理端末100から取得した撮影データ、録音データ、撮影日時、及び撮影位置に関する情報を含む。   The storage unit 204 stores various programs executed by the CPU 201 and various data used when the various programs are executed by the CPU 201. Note that the various data includes, for example, information related to shooting data, recording data, shooting date and time, and shooting position acquired from the information processing terminal 100.

入力部205は、管理者が情報処理装置200に各種指示を入力するためのインタフェースである。表示部206は、情報処理装置200が有する各種情報を表示する。   The input unit 205 is an interface for an administrator to input various instructions to the information processing apparatus 200. The display unit 206 displays various types of information that the information processing apparatus 200 has.

通信部207は、ネットワークを介して、情報処理端末100及び検索端末300と通信を行う。   The communication unit 207 communicates with the information processing terminal 100 and the search terminal 300 via a network.

<機能構成>
(1)情報処理端末及び検索端末の機能構成
図4は、本実施形態に係る情報処理端末100と検索端末300の機能構成の一例を示す図である。図4(a)を用いて、情報処理端末100の機能構成を説明する。
<Functional configuration>
(1) Functional Configuration of Information Processing Terminal and Search Terminal FIG. 4 is a diagram illustrating an example of the functional configuration of the information processing terminal 100 and the search terminal 300 according to the present embodiment. A functional configuration of the information processing terminal 100 will be described with reference to FIG.

情報処理端末100は、撮影部400と、録音部410と、位置取得部420と、制御部430と、記憶部440と、送受信部450と、入出力部460とを有する。   The information processing terminal 100 includes a photographing unit 400, a recording unit 410, a position acquisition unit 420, a control unit 430, a storage unit 440, a transmission / reception unit 450, and an input / output unit 460.

撮影部400は、制御部430からの指示に応じて、写真とビデオの撮影を行う。撮影部400は、写真とビデオの撮影により生成された撮影データを記憶部440に送信する。撮影部400は、記憶部440に撮影データを送信する時に、撮影日時に関する情報を合わせて送信する。   The photographing unit 400 takes a picture and a video in response to an instruction from the control unit 430. The photographing unit 400 transmits photographing data generated by photographing photographs and videos to the storage unit 440. When the imaging unit 400 transmits imaging data to the storage unit 440, the imaging unit 400 also transmits information related to the imaging date and time.

録音部410は、周辺の音を録音する。録音部410は、撮影部400の起動に合わせて録音を開始し、撮影部400の停止に合わせて録音を終了してもよい。また、録音部410は、情報処理端末100が起動中は、常に録音をしてもよい。録音部410は、録音により生成された録音データを記憶部440に渡す。録音部410は、記憶部440に録音データを渡す時に、録音日時に関する情報を合わせて送信する。録音部410は、撮影部400から、撮影をした日時に関する情報、例えば写真を撮った日時を取得してもよい。   The recording unit 410 records surrounding sounds. The recording unit 410 may start recording when the photographing unit 400 is activated, and end recording when the photographing unit 400 is stopped. The recording unit 410 may always record while the information processing terminal 100 is activated. The recording unit 410 passes the recording data generated by recording to the storage unit 440. When the recording unit 410 passes the recording data to the storage unit 440, the recording unit 410 also transmits information related to the recording date and time. The recording unit 410 may acquire information related to the date and time of shooting, for example, the date and time when the photo was taken, from the shooting unit 400.

位置取得部420は、情報処理端末100の位置情報を取得する。位置取得部420は、情報処理端末100の移動を検出し、その都度位置情報を取得してもよい。位置情報を取得する時には、位置取得部420は、GPS、無線LAN及びセルラーの位置取得機能を用いてもよい。   The position acquisition unit 420 acquires position information of the information processing terminal 100. The position acquisition unit 420 may detect the movement of the information processing terminal 100 and acquire the position information each time. When acquiring position information, the position acquisition unit 420 may use GPS, wireless LAN, and cellular position acquisition functions.

制御部430は、入出力部460に入力されたユーザからの指示、送受信部450が外部機器から受信したデータの内容に基づいて、情報処理端末100内の各機能に対する制御を実行する。   The control unit 430 executes control for each function in the information processing terminal 100 based on the instruction from the user input to the input / output unit 460 and the content of data received by the transmission / reception unit 450 from the external device.

記憶部440は、第1記憶部441と、第2記憶部442とを有する。第1記憶部441は、一時的な記憶領域であり、例えばRAM140により実現される。第2記憶部442は、情報処理端末100が保持し続ける情報を記憶する記憶領域であり、例えば、ROM、NAND Flash、又はHDD等により実現される。   The storage unit 440 includes a first storage unit 441 and a second storage unit 442. The first storage unit 441 is a temporary storage area, and is realized by the RAM 140, for example. The second storage unit 442 is a storage area for storing information that the information processing terminal 100 keeps, and is realized by, for example, a ROM, a NAND flash, an HDD, or the like.

情報処理端末100が取得した録音データ及び、位置情報は、第1記憶部441に記憶される。制御部430により、録音データ及び位置情報に対して必要な加工処理が行われた後に、第2記憶部442に記憶される。また、撮影データは、第2記憶部442に記憶される。   Recording data and position information acquired by the information processing terminal 100 are stored in the first storage unit 441. The control unit 430 performs necessary processing on the recording data and the position information, and then stores them in the second storage unit 442. In addition, the shooting data is stored in the second storage unit 442.

ここで、図5は、本実施形態に係る情報処理端末100の録音データの記憶方法の一例を説明するための図である。   Here, FIG. 5 is a diagram for explaining an example of a recording data storage method of the information processing terminal 100 according to the present embodiment.

図5(a)は、録音データを第1記憶部441と第2記憶部442に記憶する方法を示す図である。本実施形態に係る動作では、録音部410が、情報処理端末100の動作中は常に録音する場合及び、撮影部400の起動に合わせて録音を開始し、撮影部400の停止に合わせて録音を終了する場合がある。常に録音を行う場合、録音データの量が大きくなり過ぎ記憶部440の容量を圧迫する懸念、撮影と関係が薄い録音データまで取得する可能性がある。   FIG. 5A is a diagram illustrating a method for storing the recording data in the first storage unit 441 and the second storage unit 442. In the operation according to the present embodiment, the recording unit 410 always starts recording when the information processing terminal 100 is operating, starts recording when the image capturing unit 400 starts, and records when the image capturing unit 400 stops. May end. When recording is always performed, there is a possibility that the amount of recording data becomes too large, and there is a concern that the capacity of the storage unit 440 may be compressed, and even recording data that is not closely related to shooting may be acquired.

図5(a)で示す例では、録音部410は、常時、若しくは撮影部400が起動中に録音を行い、録音データを第1記憶部441に記憶する。撮影部400により撮影が行われると、第2記憶部442は、撮影タイミングから#A時間前の録音データを第1記憶部441からコピーし、記憶してもよい。加えて、第2記憶部442は、撮影タイミングから#B時間経過後の録音データを第1記憶部441から、コピーし、記憶してもよい。ここで、ユーザは、#A時間と#B時間を設定可能であり、例えば、5分、1分、30秒といった設定がされる。また、#A時間と#B時間は、ビデオを撮影する場合には、0秒に設定されてもよい。この場合には、ビデオを撮影中の録音データが用いられる。   In the example shown in FIG. 5A, the recording unit 410 performs recording at all times or while the photographing unit 400 is activated, and stores the recorded data in the first storage unit 441. When shooting is performed by the shooting unit 400, the second storage unit 442 may copy and store the recording data of time #A before the shooting timing from the first storage unit 441. In addition, the second storage unit 442 may copy and store the recording data after the lapse of #B time from the shooting timing from the first storage unit 441. Here, the user can set time #A and time #B, for example, 5 minutes, 1 minute, and 30 seconds. Also, the #A time and the #B time may be set to 0 seconds when shooting a video. In this case, recorded data during video recording is used.

図5(b)に示すように、情報処理端末100の位置を考慮して録音データを保存する期間が設定されてもよい。   As illustrated in FIG. 5B, a period for storing the recording data may be set in consideration of the position of the information processing terminal 100.

図5(b)に示すように、情報処理端末100が、A地点、B地点、C地点と移動し、C地点で撮影した場合、第2記憶部442は、撮影が行われたC地点の録音データを第1記憶部441からコピーし、記憶してもよい。ここで、C地点に位置している時間が上述した一定時間(#A時間前〜#B時間後)を上回る場合、第2記憶部442は、C地点で録音した録音データのうち、上記一定期間に含まれる録音データを第1記憶部441からコピーし、記憶してもよい。   As illustrated in FIG. 5B, when the information processing terminal 100 moves to point A, point B, and point C and shoots at point C, the second storage unit 442 stores the point C where the shooting was performed. The recorded data may be copied from the first storage unit 441 and stored. Here, when the time located at the point C exceeds the above-described fixed time (before the time #A to after the time #B), the second storage unit 442 includes the above-mentioned fixed data among the recorded data recorded at the point C. The recording data included in the period may be copied from the first storage unit 441 and stored.

なお、撮影が行われた位置と録音データを抽出する位置は、厳密に同じ位置でなく、撮影が行われた位置の近傍でもよい。例えば、撮影が行われた位置から数十メートル以内でもよい。   It should be noted that the position where the shooting was performed and the position where the recording data is extracted may not be exactly the same position, but may be near the position where the shooting was performed. For example, it may be within several tens of meters from the position where the image was taken.

図5(c)に示すように、第1記憶部441は、録音データの量が大きくなりすぎて容量を圧迫するのを避けてもよい。図5(c)に示す記憶方法では、第1記憶部441は、所定領域の先頭から録音データの書込みを開始し、所定領域の終端まで録音データを書き込む。第1記憶部441は、所定領域の終端まで録音データを書き込むと、所定領域の先頭から録音データを上書きする。   As shown in FIG. 5C, the first storage unit 441 may avoid pressing the capacity because the amount of recorded data becomes too large. In the storage method shown in FIG. 5C, the first storage unit 441 starts writing the recording data from the beginning of the predetermined area and writes the recording data to the end of the predetermined area. When the recording data is written to the end of the predetermined area, the first storage unit 441 overwrites the recording data from the beginning of the predetermined area.

図6に、第2記憶部442で記憶する撮影データと、撮影データに関連するデータとを示す。   FIG. 6 shows shooting data stored in the second storage unit 442 and data related to the shooting data.

第2記憶部442は、写真とビデオの撮影データを関連するデータと共に記憶する。関連するデータとは撮影日時、撮影位置、録音データ等である。第2記憶部442は、撮影日時の前後の一定の時間に含まれる録音データのみを記憶する。   The second storage unit 442 stores photograph and video shooting data together with related data. Related data includes shooting date and time, shooting position, recording data, and the like. The second storage unit 442 stores only the recording data included in a certain time before and after the shooting date and time.

送受信部450は、外部機器とのデータの送受信を行う。データの送受信は、有線LAN、USBケーブル、無線LAN、セルラー等を用いて行われる。   The transmission / reception unit 450 transmits / receives data to / from an external device. Data transmission / reception is performed using a wired LAN, a USB cable, a wireless LAN, cellular, or the like.

送受信部450は、第2記憶部442に記憶されている撮影データと撮影データに関連するデータとを、情報処理装置200に送信する。   The transmission / reception unit 450 transmits the shooting data stored in the second storage unit 442 and the data related to the shooting data to the information processing apparatus 200.

入出力部460は、ユーザからの指示の受付けと、各種情報の表示を行う。   The input / output unit 460 receives instructions from the user and displays various information.

次に、図4(b)を用いて、検索端末300の機能構成を説明する。   Next, the functional configuration of the search terminal 300 will be described with reference to FIG.

検索端末300は、送受信部470と、入出力部471と、制御部472と、記憶部473とを有する。   The search terminal 300 includes a transmission / reception unit 470, an input / output unit 471, a control unit 472, and a storage unit 473.

送受信部470は、外部機器とのデータの送受信を行う。データの送受信は、有線LAN、USBケーブル、無線LAN、セルラー等を用いて行われる。送受信部470は、情報処理装置200に撮影データ検索要求を送信し、情報処理装置200からの検索結果を受信する。   The transmission / reception unit 470 transmits / receives data to / from an external device. Data transmission / reception is performed using a wired LAN, a USB cable, a wireless LAN, cellular, or the like. The transmission / reception unit 470 transmits a shooting data search request to the information processing apparatus 200 and receives a search result from the information processing apparatus 200.

入出力部471は、ユーザからの指示の受付けと、各種情報の表示とを行う。本実施形態では、入出力部471は、ユーザから検索指示を受け付ける。   The input / output unit 471 receives instructions from the user and displays various information. In the present embodiment, the input / output unit 471 receives a search instruction from the user.

制御部は472、入出力部460に入力されたユーザからの指示、及び送受信部450が外部機器から受信したデータの内容に基づいて、検索端末300内の各機能に対する制御を実行する。   The control unit 472 controls the functions in the search terminal 300 based on the user instruction input to the input / output unit 460 and the content of data received by the transmission / reception unit 450 from the external device.

記憶部473は、各種データを記憶する。例えば、記憶部473が、情報処理装置200から撮影データを取得した場合、撮影データは記憶部473に記憶される。   The storage unit 473 stores various data. For example, when the storage unit 473 acquires shooting data from the information processing apparatus 200, the shooting data is stored in the storage unit 473.

(2)情報処理装置の機能構成
図7は、本実施形態に係る情報処理装置200の機能構成の一例を示す図である。情報処理装置200は、送受信部700と、制御部710と、録音データ解析部720と、辞書部730と、記憶部740とを有する。
(2) Functional Configuration of Information Processing Device FIG. 7 is a diagram illustrating an example of a functional configuration of the information processing device 200 according to the present embodiment. The information processing apparatus 200 includes a transmission / reception unit 700, a control unit 710, a recording data analysis unit 720, a dictionary unit 730, and a storage unit 740.

送受信部700は、ネットワークを介して外部機器とのデータの送受信を行う。送受信部700は、情報処理端末100から、撮影データと撮影データに関連するデータとを受信する。また、送受信部700は、検索端末300から、検索要求を受信し、検索結果を送信する。   The transmission / reception unit 700 transmits / receives data to / from an external device via a network. The transmission / reception unit 700 receives shooting data and data related to the shooting data from the information processing terminal 100. In addition, the transmission / reception unit 700 receives a search request from the search terminal 300 and transmits a search result.

制御部710は、情報処理装置200内の各機能部に対する制御を行う。   The control unit 710 controls each functional unit in the information processing apparatus 200.

録音データ解析部720は、情報処理端末100から受信した録音データを解析する。具体的には、録音データ解析部720は、一文毎、又は、所定の文字数毎に録音データに含まれる名詞を抽出する。例えば、録音データが「渋谷でイタリアン食べるの初めてだね」の場合、録音データ解析部720は、「渋谷」と「イタリアン」とを抽出する。   The recording data analysis unit 720 analyzes the recording data received from the information processing terminal 100. Specifically, the recording data analysis unit 720 extracts nouns included in the recording data for each sentence or for each predetermined number of characters. For example, when the recorded data is “It is the first time to eat Italian in Shibuya”, the recorded data analysis unit 720 extracts “Shibuya” and “Italian”.

辞書部730は、単語と関連語の関係を管理する。例えば、辞書部730は、単語「イタリアン」に関連する関連語として「パスタ」、「ピザ」、及び「リゾット」を管理する。   The dictionary unit 730 manages the relationship between words and related words. For example, the dictionary unit 730 manages “pasta”, “pizza”, and “risotto” as related words related to the word “Italian”.

辞書部730は、制御部710から単語に関連する関連語の問い合わせを受けて、関連語を回答する。加えて、辞書部730は、録音データ解析部720により解析された一文に含まれる名詞をそれぞれの関連語として登録し、保持する辞書データを更新する。   The dictionary unit 730 receives an inquiry about a related word related to the word from the control unit 710 and answers the related word. In addition, the dictionary unit 730 registers nouns included in one sentence analyzed by the recording data analysis unit 720 as respective related words, and updates the dictionary data held therein.

記憶部740は、情報処理端末100から受信した撮影データと、撮影日時と、撮影位置と、録音データ解析部720により抽出された名詞と、抽出された名詞に関連する関連語とを記憶する。   The storage unit 740 stores the shooting data received from the information processing terminal 100, the shooting date and time, the shooting position, the noun extracted by the recording data analysis unit 720, and related words related to the extracted noun.

図8は、本実施形態に係る記憶部740に記憶される情報の一例を示す図である。   FIG. 8 is a diagram illustrating an example of information stored in the storage unit 740 according to the present embodiment.

記憶部740は、撮影データと、撮影日時と、撮影位置と、抽出された名詞と、関連語とを記憶する。抽出された名詞の欄には、録音データ解析部720による解析の結果抽出された名詞が記憶される。関連語の欄には、名詞に対して辞書部730で抽出された関連語として管理されている名詞が記憶される。   The storage unit 740 stores shooting data, shooting date and time, shooting position, extracted nouns, and related words. In the column of extracted nouns, nouns extracted as a result of analysis by the recording data analysis unit 720 are stored. In the column of related words, nouns managed as related words extracted by the dictionary unit 730 for nouns are stored.

例えば、上述したように録音データが「渋谷でイタリアン食べるの初めてだね」の場合、録音データ解析部720は、「渋谷」と「イタリアン」とを抽出する。記憶部740は、抽出された「渋谷」と「イタリアン」とを抽出された名詞の欄に記憶する。そして、辞書部730は、「渋谷」の関連語として「道玄坂」、「宇田川町」、及び「宮益坂」を管理しているため、記憶部740は、「渋谷」の関連語として「道玄坂」、「宇田川町」、及び「宮益坂」を記憶する。   For example, as described above, when the recording data is “It is the first time to eat Italian in Shibuya”, the recording data analysis unit 720 extracts “Shibuya” and “Italian”. The storage unit 740 stores the extracted “Shibuya” and “Italian” in the column of extracted nouns. Since the dictionary unit 730 manages “Dogenzaka”, “Udagawacho”, and “Miyamasuzaka” as related words of “Shibuya”, the storage unit 740 has “Dogenzaka” as related words of “Shibuya”. , “Udagawacho” and “Miyamasuzaka” are memorized.

なお、撮影位置の欄には、撮影位置が緯度経度情報を設定されてもよいし、緯度経度情報から特定される住所、若しくは、付近のランドマーク(例えば、駅、公共施設)の名称が設定されてもよい。   In the shooting position column, latitude and longitude information may be set for the shooting position, or an address specified from the latitude and longitude information or a name of a nearby landmark (for example, a station or a public facility) is set. May be.

記憶部740が、撮影日時及び撮影位置に加えて、録音データから抽出された名詞と、その関連語とを管理しているため、検索端末300は、撮影日時と撮影位置に加えて、抽出された名詞とその関連語を検索キーとして用いることが可能となる。   Since the storage unit 740 manages the noun extracted from the recording data and the related words in addition to the shooting date and time and the shooting position, the search terminal 300 is extracted in addition to the shooting date and the shooting position. Can be used as search keys.

<動作手順>
(1)撮影データの保存及び検索手順
図9は、本実施形態に係る、撮影データの保存及び検索手順の一例を説明するための図である。
<Operation procedure>
(1) Shooting Data Saving and Retrieval Procedure FIG. 9 is a diagram for explaining an example of shooting data saving and retrieval procedures according to the present embodiment.

ステップS901で、情報処理端末100は、写真又はビデオの撮影を行い、撮影データを生成する。   In step S901, the information processing terminal 100 captures a photograph or video and generates captured data.

ここで、情報処理端末100は、動作中は常に録音を行い、録音データを生成しているため、情報処理端末100は、撮影データに関連する録音データを特定する。情報処理端末100は、撮影データを生成したタイミングの前後一定期間の撮影データを特定し、関連する録音データとする。情報処理端末100は、撮影位置の位置情報を取得する。   Here, since the information processing terminal 100 always records during operation and generates recording data, the information processing terminal 100 specifies the recording data related to the shooting data. The information processing terminal 100 identifies the shooting data for a certain period before and after the timing at which the shooting data is generated, and sets it as related recording data. The information processing terminal 100 acquires position information of the shooting position.

ステップS902で、情報処理端末100は、撮影データと、撮影日時と、関連する録音データと、撮影位置の位置情報とを情報処理装置200に送信する。   In step S <b> 902, the information processing terminal 100 transmits shooting data, shooting date and time, related recording data, and position information of the shooting position to the information processing apparatus 200.

ステップS903で、情報処理装置200は、関連する録音データを解析し、まず人の声を抽出し、次に人の声に含まれる名詞を抽出する。ここで、情報処理装置200は、人の声を抽出する時には、一文ずつ名詞を抽出してもよい。   In step S903, the information processing apparatus 200 analyzes related recording data, first extracts a human voice, and then extracts a noun included in the human voice. Here, the information processing apparatus 200 may extract nouns one sentence at a time when extracting a human voice.

ステップS904で、情報処理装置200は、抽出された名詞の関連語として辞書部730で管理されている言葉を特定する。   In step S904, the information processing apparatus 200 identifies words managed by the dictionary unit 730 as related words of the extracted nouns.

ステップS905で、情報処理装置200は、情報処理端末100から取得した撮影データと、撮影位置の位置情報と、抽出された名詞と、その関連語とを記憶する。   In step S905, the information processing apparatus 200 stores the shooting data acquired from the information processing terminal 100, the position information of the shooting position, the extracted noun, and the related word.

ステップS906で、検索端末300は、撮影データの検索要求を情報処理装置200に送信する。ここで、検索端末300は、撮影日時及び撮影位置に関する情報に加えて、名詞とその関連語を指定して撮影データを検索してもよい。   In step S <b> 906, the search terminal 300 transmits a shooting data search request to the information processing apparatus 200. Here, the search terminal 300 may search the shooting data by designating a noun and its related word in addition to the information regarding the shooting date and time and the shooting position.

ここで、情報処理装置200は、抽出された名詞、及びその関連語をタグとして設定し、検索時に抽出されやすくしてもよい。   Here, the information processing apparatus 200 may set the extracted noun and its related word as a tag so that it can be easily extracted during the search.

(2)録音データの生成手順
図10は、本実施形態に係る録音データの生成手順の一例を示す図である。
(2) Recording Data Generation Procedure FIG. 10 is a diagram showing an example of a recording data generation procedure according to this embodiment.

本実施形態では、情報処理端末100の動作中は、常に録音データが生成され、第1記憶部441に記憶される。   In the present embodiment, recorded data is always generated and stored in the first storage unit 441 during the operation of the information processing terminal 100.

ステップS1001で、情報処理端末100は、動作を開始すると共に、周辺の音を録音し、録音データを生成する。生成された録音データは、第1記憶部441に記憶される。   In step S1001, the information processing terminal 100 starts its operation and records surrounding sounds to generate recording data. The generated recording data is stored in the first storage unit 441.

ステップS1002で、情報処理端末100は、動作終了指示が入力されたか確認する。動作終了指示が入力された場合(Yes)、録音を終了する。動作終了指示が入力されていない場合(No)、ステップS1001に戻る。   In step S1002, the information processing terminal 100 confirms whether an operation end instruction is input. When the operation end instruction is input (Yes), the recording is ended. When the operation end instruction has not been input (No), the process returns to step S1001.

なお、図10のフローチャートでは、情報処理装置200の動作中は録音を行う手順を示しているが、撮影部400の起動と終了に合わせて、情報処理装置200は、録音の開始と終了をしてもよい。   Note that the flowchart of FIG. 10 shows a procedure for recording while the information processing apparatus 200 is operating. However, the information processing apparatus 200 starts and ends recording in accordance with the activation and termination of the photographing unit 400. May be.

(3)撮影データの生成手順
図11は、本実施形態に係る撮影データの生成手順の一例を示す図である。
(3) Shooting Data Generation Procedure FIG. 11 is a diagram illustrating an example of a shooting data generation procedure according to the present embodiment.

ステップS1101で、情報処理端末100は、撮影を行い、撮影データを生成する。   In step S1101, the information processing terminal 100 performs shooting and generates shooting data.

ステップS1102で、情報処理端末100は、撮影データを記憶する。   In step S1102, the information processing terminal 100 stores shooting data.

ステップS1103で、情報処理端末100は、撮影したタイミングより一定時間前の録音データを特定して、撮影データと関連付けて記憶する。   In step S <b> 1103, the information processing terminal 100 specifies recorded data a predetermined time before the shooting timing and stores it in association with the shooting data.

ステップS1104で、情報処理端末100は、撮影したタイミングから一定時間経過するまで待機する。   In step S1104, the information processing terminal 100 stands by until a predetermined time elapses from the shooting timing.

ステップS1105で、情報処理端末100は、撮影したタイミングから一定時間後の録音データを特定して、撮影データと関連付けて記憶する。   In step S1105, the information processing terminal 100 identifies recorded data after a predetermined time from the shooting timing, and stores it in association with the shooting data.

ステップS1106で、情報処理端末100は、撮影データと特定された録音データとを情報処理装置200に送信する。この際に、情報処理端末100は、撮影時の情報処理端末100の位置情報と、撮影データを生成した時刻とを情報処理装置200に送信する。   In step S <b> 1106, the information processing terminal 100 transmits the shooting data and the specified recording data to the information processing apparatus 200. At this time, the information processing terminal 100 transmits the position information of the information processing terminal 100 at the time of shooting and the time when the shooting data is generated to the information processing apparatus 200.

なお、情報処理端末100は、撮影を行った位置と同じ若しくは近傍の位置で録音された録音データのみを情報処理装置200に送信してもよい。   Note that the information processing terminal 100 may transmit only the recorded data recorded at the same position as or near the position where the image was taken to the information processing apparatus 200.

(4)録音データの解析手順
図12は、本実施形態に係る録音データの解析手順の一例を示す図である。
(4) Recording Data Analysis Procedure FIG. 12 is a diagram showing an example of the recording data analysis procedure according to this embodiment.

ステップS1201で、情報処理装置200は、情報処理端末100から撮影データと録音データとを受信する。   In step S <b> 1201, the information processing apparatus 200 receives shooting data and sound recording data from the information processing terminal 100.

ステップS1202で、情報処理装置200は、受信した録音データを解析して文字列を抽出する。ここで、文字列として抽出されるのは人間の声に係る録音データである。   In step S1202, the information processing apparatus 200 analyzes the received recording data and extracts a character string. Here, it is the recording data concerning a human voice that is extracted as a character string.

ステップS1203で、情報処理装置200は、抽出された文字列を解析する。情報処理装置200は、一文ずつ解析を行う。   In step S1203, the information processing apparatus 200 analyzes the extracted character string. The information processing apparatus 200 analyzes one sentence at a time.

ステップS1204で、情報処理装置200は、文字列を解析して抽出した名詞を、撮影データと関連付けて保存する。   In step S1204, the information processing apparatus 200 stores the noun extracted by analyzing the character string in association with the shooting data.

(5)辞書データの生成手順(その1)
図13は、本実施形態に係る辞書データの生成手順の概要を示す図である。
(5) Dictionary data generation procedure (1)
FIG. 13 is a diagram showing an outline of a procedure for generating dictionary data according to the present embodiment.

情報処理装置200は、情報処理端末100から録音データを受信すると、録音データを文字列に変換する。その後、情報処理装置200は、変換された文字列を形態素解析し、語句を抽出する。情報処理装置200は、抽出された語句から一般的な名詞と、名詞とを含まない語句を削除し、残った語句は相互に関連する名詞として辞書部730に登録する。   When receiving the recording data from the information processing terminal 100, the information processing apparatus 200 converts the recording data into a character string. Thereafter, the information processing apparatus 200 performs morphological analysis on the converted character string and extracts a phrase. The information processing apparatus 200 deletes a general noun and a phrase that does not include a noun from the extracted phrase, and registers the remaining phrase in the dictionary unit 730 as a noun related to each other.

図14は、本実施形態に係る辞書データの生成手順の一例を示す図である。   FIG. 14 is a diagram showing an example of a dictionary data generation procedure according to this embodiment.

ステップS1401で、情報処理装置200は、録音データから文字列を抽出する。   In step S1401, the information processing apparatus 200 extracts a character string from the recording data.

ステップS1402で、情報処理装置200は、抽出した文字列について形態素解析を行う。   In step S1402, the information processing apparatus 200 performs morphological analysis on the extracted character string.

ステップS1403で、情報処理装置200は、抽出した文字列を1文ずつに分け、以降の処理を一文ずつ行う。   In step S1403, the information processing apparatus 200 divides the extracted character string into one sentence and performs the subsequent processing one sentence at a time.

ステップS1404で、情報処理装置200は、一般的な名詞を含む語句を削除する。   In step S1404, the information processing apparatus 200 deletes a phrase including a general noun.

ステップS1405で、情報処理装置200は、名詞を含まない語句を削除する。   In step S1405, the information processing apparatus 200 deletes a phrase that does not include a noun.

ステップS1406で、情報処理装置200は、語句に含まれる名詞以外の文字を削除する。   In step S1406, the information processing apparatus 200 deletes characters other than nouns included in the phrase.

ステップS1407で、情報処理装置200は、残った全ての名詞を相互に関連付けて辞書データに保存する。   In step S1407, the information processing apparatus 200 stores all the remaining nouns in association with each other in dictionary data.

ステップS1408で、情報処理装置200は、全ての文を処理したか確認する。全ての文の処理を完了した場合(Yes)、処理を終了する。全ての処理を完了していない場合、ステップS1404に戻り処理を継続する。   In step S1408, the information processing apparatus 200 checks whether all sentences have been processed. If all the sentences have been processed (Yes), the process is terminated. If all the processes have not been completed, the process returns to step S1404 and continues.

図15は、本実施形態に係る辞書データの生成手順の具体例を示す図である。   FIG. 15 is a diagram showing a specific example of a dictionary data generation procedure according to this embodiment.

ここでは、図15(a)に示す「私は作成した文書をプリンタで印刷する」という文章から相互に関連する名詞を特定し、辞書データに保存する手順を説明する。   Here, a description will be given of a procedure of identifying mutually related nouns from the sentence “I print a created document with a printer” shown in FIG.

情報処理装置200は、「私は作成した文書をプリンタで印刷する」という文章を形態素分析により処理する。情報処理装置200が処理した結果を、図15(b)に示す。文章は、語句毎に分割され、さらに文章に含まれる語句が、係り受けの関係に従ってつなげられている。   The information processing apparatus 200 processes a sentence “I print a created document with a printer” by morphological analysis. The result processed by the information processing apparatus 200 is shown in FIG. Sentences are divided into phrases, and the phrases included in the sentences are connected according to the dependency relationship.

情報処理装置200は、一般的な名詞を含む語句を削除する。情報処理装置200が処理した結果を図15(c)に示す。「私」という一般的な名詞を含む語句「私は」は削除される。これにより、「私は」と「印刷する」との間にある意味のない関連を削除することができる。一般的な名詞を削除しないと、「私」と「印刷」が相互に関係のある言葉として辞書データに保存されてしまい、検索時に意味のない撮影データを出力することになってしまう。   The information processing apparatus 200 deletes a phrase including a general noun. The result processed by the information processing apparatus 200 is shown in FIG. The phrase “I am” containing the general noun “I” is deleted. As a result, a meaningless relationship between “I” and “Print” can be deleted. If general nouns are not deleted, “I” and “print” are stored in the dictionary data as mutually related words, and meaningless shooting data is output at the time of search.

一般的な名詞を削除するために、辞書部730は、一般的な名詞辞書を保持していることが好ましい。一般的な名詞辞書を保持することにより、情報処理装置200は、意味のない言葉同士が関連ある言葉として辞書データに保存されるのを防ぐことができる。図15(d)に一般的な辞書の具体例を示す。   In order to delete a general noun, the dictionary unit 730 preferably holds a general noun dictionary. By holding a general noun dictionary, the information processing apparatus 200 can prevent words having no meaning from being stored in the dictionary data as related words. FIG. 15D shows a specific example of a general dictionary.

情報処理装置200は、名詞を含まない語句を削除する。情報処理装置200が処理した結果を図15(e)に示す。名詞を含まない語句である「作成した」と「印刷する」が削除される。   The information processing apparatus 200 deletes a phrase that does not include a noun. The result processed by the information processing apparatus 200 is shown in FIG. The words “created” and “print”, which are words that do not include nouns, are deleted.

情報処理装置200は、残った名詞を含む語句間に関連があると判断する。図15(f)に、情報処理装置200が処理した結果を示す。情報処理装置200は、「文書を」と「プリンタで」の2つの語句が相互に関連すると判断する。   The information processing apparatus 200 determines that there is a relationship between the phrases including the remaining nouns. FIG. 15F shows a result processed by the information processing apparatus 200. The information processing apparatus 200 determines that two words “document” and “with printer” are related to each other.

情報処理装置200は、語句に含まれる名詞以外の文字を削除する。図15(g)に、情報処理装置200が処理した結果を示す。「文書」と「プリンタ」とが相互に関連する名詞と判断され、辞書データに登録される。   The information processing apparatus 200 deletes characters other than nouns included in the phrase. FIG. 15G shows a result processed by the information processing apparatus 200. “Document” and “printer” are determined as mutually related nouns and registered in the dictionary data.

録音データから辞書データを生成することにより、関連語の精度を向上させることができる。なお、情報処理装置200は、情報処理端末100毎又はユーザ毎に辞書データを生成してもよいし、情報処理端末100間で辞書データを共有してもよい。一人のユーザが複数の情報処理端末を利用している場合には、複数の端末が、ネットワークを介して一つの辞書データを用いてもよい。また、情報処理装置200は、予め辞書データを保持し、録音データを取得する度に、名詞と関連語の関係を更新してもよい。   By generating dictionary data from the recorded data, the accuracy of related words can be improved. Note that the information processing apparatus 200 may generate dictionary data for each information processing terminal 100 or for each user, or may share dictionary data between the information processing terminals 100. When one user uses a plurality of information processing terminals, the plurality of terminals may use one dictionary data via a network. Further, the information processing apparatus 200 may hold dictionary data in advance and update the relationship between nouns and related words each time recording data is acquired.

(5)辞書データの生成手順(その2)
図16を用いて、辞書データの生成手順について説明する。図16は、本実施形態に係る辞書データの生成手順の一例を示す図である。本生成手順では、情報処理装置200は、情報処理端末100の位置に関連する地名を抽出し、辞書に反映することを特徴とする。
(5) Dictionary data generation procedure (2)
A dictionary data generation procedure will be described with reference to FIG. FIG. 16 is a diagram showing an example of a dictionary data generation procedure according to this embodiment. In this generation procedure, the information processing apparatus 200 extracts a place name related to the position of the information processing terminal 100 and reflects it in the dictionary.

情報処理装置200は、情報処理端末100が過去に存在した位置のデータを、情報処理端末100から取得する。ここで、情報処理端末100は、存在している位置のデータをGPS等により取得し、蓄積しているものとする。   The information processing apparatus 200 acquires data of a position where the information processing terminal 100 has existed in the past from the information processing terminal 100. Here, it is assumed that the information processing terminal 100 acquires and accumulates the data of the existing position by GPS or the like.

情報処理装置200は、地図情報データベースを参照して、所定のエリアに含まれる位置の地名を特定し、情報処理端末100が過去に存在した位置の地名をリスト化する。   The information processing device 200 refers to the map information database, identifies the place names of the positions included in the predetermined area, and lists the place names of the positions where the information processing terminal 100 has existed in the past.

情報処理端末100が過去に存在した位置に関する具体例を、図面を参照して説明する。図16は、本実施形態に係る情報処理端末100が過去に存在した位置を示すデータの一例である。   A specific example regarding the position where the information processing terminal 100 has existed in the past will be described with reference to the drawings. FIG. 16 is an example of data indicating the position where the information processing terminal 100 according to the present embodiment has existed in the past.

図16において、太線で示す線が、情報処理端末100が過去に存在した位置である。情報処理装置200は、地図情報データベースを参照して過去に存在した位置の地名を特定する。ここで、地図情報データベースは、都道府県、市町村と、そこに含まれる地名や、駅、公共施設、ランドマーク等とその周辺の地名の関係を保持している。   In FIG. 16, a thick line indicates the position where the information processing terminal 100 has existed in the past. The information processing device 200 refers to the map information database and identifies the place name of the position that existed in the past. Here, the map information database holds the relationship between prefectures, municipalities, place names included therein, station names, public facilities, landmarks, and surrounding place names.

図16の例では、情報処理端末100は、過去に存在した渋谷駅周辺の地名として宮益坂、宮下公園、神南、宇田川町、及び道玄坂を特定する。この場合、情報処理装置200は、渋谷駅と、宮益坂と、宮下公園と、神南と、宇田川町と、道玄坂とを辞書データに相互に関連する名詞として登録してもよい。   In the example of FIG. 16, the information processing terminal 100 identifies Miyamasuzaka, Miyashita Park, Jinnan, Udagawacho, and Dogenzaka as place names around Shibuya Station that existed in the past. In this case, the information processing apparatus 200 may register Shibuya Station, Miyamasuzaka, Miyashita Park, Jinnan, Udagawa Town, and Dogenzaka as nouns that are associated with each other in the dictionary data.

また、情報処理装置200は、任意のエリアを設定して、そのエリア内で情報処理端末100が存在した位置の地名を相互に関連する名詞として登録してもよい。   In addition, the information processing apparatus 200 may set an arbitrary area and register the place name where the information processing terminal 100 exists in the area as a noun related to each other.

情報処理装置200は、地図情報データベースを参照して、情報処理端末100が、過去に存在した位置の地名を取得する。情報処理装置200は、特定された地名のうち一つを選択し、地名内の任意の位置を起点とし、起点と特定された他の地名内の任意の位置との距離に基づいて所定のエリアを設定し、特定された地名のうち、所定のエリアに含まれる地名を互いに関連付けて辞書部に追加してもよい。   The information processing apparatus 200 refers to the map information database, and the information processing terminal 100 acquires a place name of a position that has existed in the past. The information processing apparatus 200 selects one of the specified place names, starts from an arbitrary position in the place name, and determines a predetermined area based on the distance between the start point and an arbitrary position in another specified place name And place names included in a predetermined area among the specified place names may be associated with each other and added to the dictionary unit.

例えば、情報処理端末100が、過去に存在した位置の地名、すなわち、宮益坂、宮下公園、神南、恵比須、及び中目黒を情報処理装置200が取得し、「宮益坂」内の位置(例えば、一丁目一番地)を起点に選択した場合について説明する。情報処理装置200は、起点から他の地名内の任意の位置との距離、この場合は、宮益坂、宮下公園、神南、恵比須、及び中目黒内の任意の位置との距離を算出する。算出結果を基に、起点からの距離を設定する。取得した地名の半分程度が、所定のエリアに含まれるように距離を設定してもよい。   For example, the information processing terminal 100 acquires the place names of locations that existed in the past, that is, Miyamasuzaka, Miyashita Park, Jinnan, Ebisu, and Nakameguro, and the information processing device 200 acquires the location (for example, Miyamasuzaka) A case will be described in which the first place is selected. The information processing apparatus 200 calculates the distance from an arbitrary position in the other place names from the starting point, in this case, the distance from any position in Miyamasuzaka, Miyashita Park, Jinnan, Ebisu, and Nakameguro. The distance from the starting point is set based on the calculation result. The distance may be set so that about half of the acquired place names are included in a predetermined area.

例えば、情報処理装置200が、「宮益坂」内の位置を起点から「神南」内の任意の位置までのおおよその距離である700mを設定した場合、所定のエリアには、宮益坂、宮下公園、及び神南が入り、恵比須と中目黒は所定のエリア外となる。   For example, when the information processing apparatus 200 sets 700 m, which is an approximate distance from the position in “Miyamasuzaka” to an arbitrary position in “Jinnan”, the predetermined areas include Miyamasuzaka and Miyashita Park. , And Jinnan enter, and Ebisu and Nakameguro are outside the prescribed area.

なお、距離が短すぎると、関連する地名が十分に抽出されない場合もあるため、最短の地名間の距離の2〜3倍程度の距離が設定されてもよい。あるいは、算出された複数の距離を加算して起点からの距離としてもよい。例えば、宮益坂〜道玄坂の距離と宮益坂と神南の距離を加算して起点である宮益坂からの距離としてもよいなお、起点は、駅、公共施設、及びランドマーク等が設定されることが想定される。   Note that if the distance is too short, the related place names may not be extracted sufficiently, so a distance of about 2 to 3 times the distance between the shortest place names may be set. Alternatively, a plurality of calculated distances may be added to obtain a distance from the starting point. For example, the distance from Miyamasuzaka to Dogenzaka and the distance from Miyamasuzaka and Jinnan may be used as the starting distance from Miyamasuzaka. The starting point may be a station, public facility, landmark, etc. is assumed.

(6)撮影データの検索手順
図17を用いて、検索端末300による撮影データの検索方法を説明する。図17は、本実施形態に係る撮影データの検索手順の一例を示す図である。
(6) Shooting Data Search Procedure A shooting data search method by the search terminal 300 will be described with reference to FIG. FIG. 17 is a diagram showing an example of a procedure for searching for shooting data according to the present embodiment.

図17に示すように、撮影データを検索する場合、検索端末300は、情報処理装置200に撮影データ検索要求を送信する。撮影データ検索要求は、検索キーを含む。本実施形態では、検索キーは、撮影日時、撮影位置、又はタグである。検索端末300は、撮影日時を期間で指定してもよいし、撮影位置をエリア(例えば、東京都)で指定してもよいし、タグに複数の言葉を指定してもよい。   As illustrated in FIG. 17, when searching for shooting data, the search terminal 300 transmits a shooting data search request to the information processing apparatus 200. The photographing data search request includes a search key. In the present embodiment, the search key is a shooting date / time, a shooting position, or a tag. The search terminal 300 may specify the shooting date and time by a period, may specify the shooting position in an area (for example, Tokyo), or may specify a plurality of words for a tag.

撮影データ検索要求を受信すると、情報処理装置200は、例えば、検索キーに一致する項目が多い撮影データを抽出する。なお、情報処理装置200は、「タグ」で指定された言葉の有無を、「抽出された名詞」と「関連語」の欄を検索することによって確認する。   When the imaging data search request is received, the information processing apparatus 200 extracts imaging data having many items that match the search key, for example. In addition, the information processing apparatus 200 confirms the presence / absence of the word specified by the “tag” by searching the columns of “extracted noun” and “related word”.

図17の例では、検索キーは、「日時=2014/12/27」、「位置=渋谷」、及び「タグ=パスタ」である。情報処理装置200は、例えば全ての検索キーに一致する写真#Cを抽出し、検索端末300に提示する。   In the example of FIG. 17, the search keys are “date and time = 2014/12/27”, “position = Shibuya”, and “tag = pasta”. The information processing apparatus 200 extracts, for example, a photo #C that matches all search keys and presents it to the search terminal 300.

図18を用いて、情報処理装置200が、撮影データを抽出する手順について説明する。図18は、本実施形態に係る撮影データの検索手順の一例を示す図である。   A procedure in which the information processing apparatus 200 extracts shooting data will be described with reference to FIG. FIG. 18 is a diagram showing an example of a procedure for searching for shooting data according to the present embodiment.

ステップS1801で、情報処理装置200は、撮影データ検索要求に含まれる検索キーを項目毎に分ける。具体的には、情報処理装置200は、検索キーを日時と、位置と、タグとに分ける。   In step S1801, the information processing apparatus 200 divides the search key included in the shooting data search request for each item. Specifically, the information processing apparatus 200 divides the search key into date, position, and tag.

ステップS1802で、情報処理装置200は、各検索キーが含まれる撮影データを検索する。   In step S1802, the information processing device 200 searches for shooting data including each search key.

ステップS1803で、情報処理装置200は、検索キーに一致する項目が多い撮影データを検索結果として出力する。   In step S1803, the information processing apparatus 200 outputs, as a search result, shooting data having many items that match the search key.

<その他>
上述した実施形態では、情報処理端末100と、情報処理装置200と、検索端末300とを別の装置として記載したが、情報処理端末100が情報処理装置200の機能を具備してもよいし、検索端末300の機能を具備してもよい。
<Others>
In the embodiment described above, the information processing terminal 100, the information processing device 200, and the search terminal 300 are described as separate devices. However, the information processing terminal 100 may have the function of the information processing device 200, The function of the search terminal 300 may be provided.

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、情報処理端末100または/及び情報処理装置200に供給してもよい。そして、その情報処理端末100または情報処理装置200のコンピュータ(またはCPUまたはMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、上述の実施形態が達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、いずれかの実施の形態を構成することになる。ここで、記憶媒体は、記録媒体または非一時的な記憶媒体でもよい。   In addition, a storage medium in which a program code of software that realizes the functions of the above-described embodiments may be supplied to the information processing terminal 100 and / or the information processing apparatus 200. Needless to say, the above-described embodiment can also be achieved by the computer (or CPU or MPU) of the information processing terminal 100 or the information processing apparatus 200 reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes any of the embodiments. Here, the storage medium may be a recording medium or a non-transitory storage medium.

また、コンピュータ装置が読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に従って、コンピュータ装置上で起動しているオペレーティングシステム(OS)等が実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施形態の機能が実現されてもよいことは言うまでもない。   The functions of the above-described embodiments are not only realized by executing the program code read by the computer device. An operating system (OS) or the like running on the computer device may perform part or all of the actual processing according to the instruction of the program code. Furthermore, it goes without saying that the functions of the above-described embodiments may be realized by the processing.

以上、本発明の好ましい実施形態について説明したが、本発明はこうした実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to such embodiment, A various deformation | transformation and substitution can be added in the range which does not deviate from the summary of this invention.

100 情報処理端末
200 情報処理装置
300 検索端末
400 撮影部
410 録音部
420 位置取得部
440 記憶部(情報処理端末内)
720 録音データ解析部
730 辞書部
740 記憶部
DESCRIPTION OF SYMBOLS 100 Information processing terminal 200 Information processing apparatus 300 Search terminal 400 Image pick-up part 410 Recording part 420 Position acquisition part 440 Storage part (in information processing terminal)
720 Recording data analysis unit 730 Dictionary unit 740 Storage unit

特開2013−106070号公報JP 2013-106070 A

Claims (12)

写真又はビデオを含む撮影データを生成する撮影部と、
情報処理端末の周辺の音を録音した録音データを生成する録音部と、
前記撮影データを生成した時から前後所定の期間に生成された前記録音データに含まれる音声を文字列に変換する変換部と、
前記情報処理端末の位置を取得する位置取得部と、
前記撮影データと、前記撮影データを生成した位置と、前記文字列とを関連付けて記憶する記憶部と、を有する情報処理端末。
A shooting unit for generating shooting data including a photo or a video;
A recording unit that generates recording data recording sounds around the information processing terminal;
A conversion unit that converts voice included in the recording data generated in a predetermined period before and after the shooting data is generated into a character string;
A position acquisition unit for acquiring the position of the information processing terminal;
An information processing terminal comprising: a storage unit that stores the shooting data, a position where the shooting data is generated, and the character string in association with each other.
前記変換部は、前記写真又は前記ビデオを撮影した位置の近傍の位置で録音した前記録音データを文字列に変換する請求項1に記載の情報処理端末。   The information processing terminal according to claim 1, wherein the conversion unit converts the recorded data recorded at a position near a position where the photograph or the video is taken into a character string. 名詞と、前記名詞と関連付けられた関連語とを対応付けて管理する辞書部を有し、
前記変換部は、前記文字列から名詞を抽出し、
前記記憶部は、抽出された前記名詞と対応付けられている前記関連語とを前記辞書部から取得し、前記撮影データと、前記名詞と、前記関連語とを関連付けて記憶する請求項1又は2に記載の情報処理端末。
A dictionary unit that manages a noun and a related word associated with the noun in association with each other;
The conversion unit extracts a noun from the character string,
The said storage part acquires the said related word matched with the extracted said noun from the said dictionary part, The said imaging | photography data, the said noun, and the said related word are linked | related and memorize | stored. 2. The information processing terminal according to 2.
前記変換部は、前記文字列の所定の文字数の範囲で抽出された複数の名詞を前記辞書部に通知し、
前記辞書部は、前記複数の名詞を互いに関連付けて辞書部に追加する請求項3に記載の情報処理端末。
The conversion unit notifies the dictionary unit of a plurality of nouns extracted within a predetermined number of characters of the character string,
The information processing terminal according to claim 3, wherein the dictionary unit associates the plurality of nouns with each other and adds the noun to the dictionary unit.
前記変換部は、代名詞、指示代名詞を除く名詞を前記辞書部に通知する請求項4に記載の情報処理端末。   The information processing terminal according to claim 4, wherein the conversion unit notifies the dictionary unit of nouns excluding pronouns and instructional pronouns. 所定のエリアに含まれる地名を管理する地図情報データベースを参照して、所定の期間における前記情報処理端末の位置を取得し、前記位置から前記情報処理端末が存在した位置の地名を、特定し、特定された複数の前記地名を前記辞書部に通知する通知部を有し、
前記辞書部は、特定された複数の前記地名を互いに関連付けて辞書部に追加する請求項4又は5に記載の情報処理端末。
With reference to a map information database that manages place names included in a predetermined area, obtain the position of the information processing terminal in a predetermined period, specify the place name of the position where the information processing terminal existed from the position, A notification unit for notifying the dictionary unit of the plurality of specified place names;
The information processing terminal according to claim 4 or 5, wherein the dictionary unit associates the plurality of specified place names with each other and adds them to the dictionary unit.
位置と地名を管理する地図情報データベースを参照して、所定の期間における前記情報処理端末の位置を取得し、前記位置から前記情報処理端末が存在した位置の地名を特定する地名特定部と、
特定された一の前記地名内の任意の位置を起点とし、該起点と特定された他の前記地名内の任意の位置との距離に基づいて所定のエリアを設定するエリア設定部と、
前記特定された地名のうち、前記所定のエリアに含まれる前記地名を互いに関連付けて辞書部に追加する請求項4又は5に記載の情報処理端末。
With reference to a map information database that manages the position and place name, the position of the information processing terminal in a predetermined period is acquired, and a place name specifying unit that specifies the place name of the position where the information processing terminal exists from the position;
An area setting unit that sets a predetermined area based on a distance between an arbitrary position in the specified one of the place names and a starting point and an arbitrary position in the other specified place names;
The information processing terminal according to claim 4 or 5, wherein, among the specified place names, the place names included in the predetermined area are associated with each other and added to the dictionary unit.
情報処理端末の位置を取得するステップと、
写真又はビデオを含む撮影データを生成するステップと、
前記情報処理端末の周辺の音を録音し録音データを生成するステップと、
前記撮影データを生成した時から前後所定の期間に生成された前記録音データに含まれる音声を文字列に変換するステップと、
前記撮影データと、前記撮影データを生成した位置と、前記文字列とを関連付けて記憶するステップとを有する情報処理方法。
Obtaining a position of the information processing terminal;
Generating shooting data including photos or videos;
Recording sound around the information processing terminal and generating recording data;
Converting voice included in the recording data generated in a predetermined period before and after the shooting data is generated into a character string;
An information processing method comprising: storing the image data, the position where the image data is generated, and the character string in association with each other.
前記変換するステップにおいて、前記変換部が、前記写真又は前記ビデオを撮影した位置の近傍の位置で録音した前記録音データを文字列に変換する請求項8に記載の情報処理方法。   The information processing method according to claim 8, wherein in the converting step, the conversion unit converts the recorded data recorded at a position near a position where the photograph or the video is taken into a character string. 請求項8及び9に記載の情報処理方法を情報処理端末に実行させるプログラム。   A program that causes an information processing terminal to execute the information processing method according to claim 8. 情報処理端末から写真又はビデオを含む撮影データと、前記撮影データを撮影した位置と、前記撮影データを生成した時から前後所定期間に生成された録音データを取得する取得部と、
取得した前記録音データを文字列に変換する変換部と、
前記撮影データと、前記撮影データを撮影した位置と、前記文字列と関連付けて記憶する記憶部と、を有する情報処理装置。
Capture data including a photograph or video from an information processing terminal, a position where the captured data is captured, and an acquisition unit that acquires recording data generated in a predetermined period before and after the capturing data is generated,
A conversion unit for converting the acquired recording data into a character string;
An information processing apparatus comprising: the shooting data; a position where the shooting data is shot; and a storage unit that stores the shooting data in association with the character string.
前記取得部は、前記写真又は前記ビデオが撮影された位置の近傍の位置で録音した前記録音データを取得する請求項11に記載の情報処理装置。   The information processing apparatus according to claim 11, wherein the acquisition unit acquires the recorded data recorded at a position near a position where the photograph or the video is taken.
JP2015050417A 2015-03-13 2015-03-13 Information processing terminal, information processing method, program and information processing unit Pending JP2016170654A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015050417A JP2016170654A (en) 2015-03-13 2015-03-13 Information processing terminal, information processing method, program and information processing unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015050417A JP2016170654A (en) 2015-03-13 2015-03-13 Information processing terminal, information processing method, program and information processing unit

Publications (1)

Publication Number Publication Date
JP2016170654A true JP2016170654A (en) 2016-09-23

Family

ID=56983827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015050417A Pending JP2016170654A (en) 2015-03-13 2015-03-13 Information processing terminal, information processing method, program and information processing unit

Country Status (1)

Country Link
JP (1) JP2016170654A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112145A1 (en) * 2017-12-05 2019-06-13 라이브픽쳐스(주) Method, device, and system for sharing photographs on basis of voice recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112145A1 (en) * 2017-12-05 2019-06-13 라이브픽쳐스(주) Method, device, and system for sharing photographs on basis of voice recognition

Similar Documents

Publication Publication Date Title
US20100114856A1 (en) Information search apparatus, information search method, and storage medium
US20110044563A1 (en) Processing geo-location information associated with digital image files
US9317750B2 (en) Imaging device
US8004580B2 (en) Apparatus and method for managing images of mobile terminal
KR101592981B1 (en) Apparatus for tagging image file based in voice and method for searching image file based in cloud services using the same
US20150189118A1 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
JP2011188171A (en) Digital photograph data processing apparatus, digital photograph data server, digital photograph data processing system and digital photograph data processing method
KR101871779B1 (en) Terminal Having Application for taking and managing picture
US10929477B2 (en) Environment information storage and playback method, storage and playback system and terminal
JP2008048204A (en) Information processing apparatus, information processing system, and information processing program
CN102918586B (en) For the Apparatus for () and method therefor of Imagery Data Recording and reproduction
KR20130109777A (en) Apparatus and method for managing attendance based on face recognition
JP2016170654A (en) Information processing terminal, information processing method, program and information processing unit
CN108255917B (en) Image management method and device and electronic device
US10430523B2 (en) Terminal and method of controlling the same
JP6179315B2 (en) Information processing apparatus, image processing system, image processing method and program in information processing apparatus
JP2016200666A (en) Merchandise explanation system for visually challenged person
JP5708868B1 (en) Program, information processing apparatus and method
CN104252475A (en) Method and device for positioning text messages in picture
US20130325896A1 (en) Suggesting Information to be Associated with Images Based on Metadata Embedded in Images
JP2008003972A (en) Metadata generation apparatus and metadata generation method
JP6720734B2 (en) Image processing apparatus and image processing program
CN104978389B (en) Method, system, server and client side
JP2010081305A (en) Image display device, communication apparatus, and image display system
JP2007183858A (en) Image retrieval system, image retrieval device, and computer program