JP2020095710A - Information processing apparatus - Google Patents
Information processing apparatus Download PDFInfo
- Publication number
- JP2020095710A JP2020095710A JP2019214150A JP2019214150A JP2020095710A JP 2020095710 A JP2020095710 A JP 2020095710A JP 2019214150 A JP2019214150 A JP 2019214150A JP 2019214150 A JP2019214150 A JP 2019214150A JP 2020095710 A JP2020095710 A JP 2020095710A
- Authority
- JP
- Japan
- Prior art keywords
- text
- date
- event
- name
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 29
- 239000000284 extract Substances 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Character Input (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、カメラ及び表示部を備える情報処理装置に関し、特にカメラにより撮像された画像に基づきスケジュールデータを生成するための技術に関する。 The present invention relates to an information processing device including a camera and a display unit, and particularly to a technique for generating schedule data based on an image captured by the camera.
周知のように情報処理装置としては、カメラ及び表示部を備え、カメラにより撮像された画像を表示部に表示させるものがある。また、特許文献１では、カメラにより撮像された画像を表示部に表示させ、この画像における任意の箇所が指定されると、この箇所を含む認識領域を自動的に設定して、この認識領域からデータを抽出し、このデータを予め定められた分類規則に従い分類して、このデータからスケジュールデータを生成している。例えば、データから大きなサイズの文字を抽出して、この大きなサイズの文字からなる文字列をイベントの名称として設定している。 As is well known, as an information processing apparatus, there is one that includes a camera and a display unit and displays an image captured by the camera on the display unit. Further, in Patent Document 1, an image captured by a camera is displayed on a display unit, and when an arbitrary location in this image is designated, a recognition area including this location is automatically set and Data is extracted, this data is classified according to a predetermined classification rule, and schedule data is generated from this data. For example, a large size character is extracted from the data, and a character string composed of this large size character is set as the event name.
しかしながら、特許文献１では、表示部に表示されている画像における任意の箇所（タッチ操作の箇所）が指定されると、この任意の箇所を含む認識領域が自動的に設定されるので、この認識領域が適確に設定されないことがある。例えば、認識領域に複数行のテキストが含まれることがあり、テキストの選別が適確に行われない。 However, in Patent Document 1, when an arbitrary location (touch operation location) in the image displayed on the display unit is designated, a recognition area including the arbitrary location is automatically set. The area may not be set properly. For example, the recognition area may include a plurality of lines of text, and the text is not properly sorted.
本発明は、上記の事情に鑑みなされたものであり、カメラにより撮像された画像を表示部に表示させ、この画像からイベントの名称及び日付をより確実に抽出して、スケジュールデータを生成可能にすることを目的とする。 The present invention has been made in view of the above circumstances, and makes it possible to display an image captured by a camera on a display unit, more reliably extract the event name and date from this image, and generate schedule data. The purpose is to do.
本発明の一局面に係る情報処理装置は、画像を撮像するカメラと、前記カメラにより撮像された画像を表示する表示部と、前記表示部の画面に設けられたタッチパネルと、前記表示部に表示されている画像において、前記タッチパネルが受け付けたスワイプ操作の軌跡から、当該軌跡が示す長さ及び前記スワイプ操作の方向に直交する方向における予め定められた一定幅からなる領域となるライン状の領域が指定されると、前記指定された領域におけるテキストを認識して、前記テキストからイベントの名称及び日付を抽出し、前記イベントの名称及び日付を対応付けてスケジュールデータとして設定する制御部と、を備えるものである。 An information processing apparatus according to an aspect of the present invention includes a camera that captures an image, a display unit that displays the image captured by the camera, a touch panel provided on the screen of the display unit, and a display unit that displays the image on the display unit. In the displayed image, a line-shaped region that is a region having a predetermined constant width in a direction orthogonal to the length indicated by the trace and the swipe operation is displayed from the trace of the swipe operation received by the touch panel. When specified, the control unit that recognizes the text in the specified area, extracts the event name and date from the text, and sets the event name and date in association with each other as schedule data. It is a thing.
本発明によれば、カメラにより撮像された画像を表示部に表示させ、この画像においてスワイプ操作で指定されたライン状の領域におけるテキストを認識することで、当該画像からイベントの名称及び日付をより確実に抽出して、スケジュールデータを生成することが可能になる。 According to the present invention, the image captured by the camera is displayed on the display unit, and by recognizing the text in the line-shaped area designated by the swipe operation in the image, the event name and date can be further extracted from the image. It becomes possible to reliably extract and generate the schedule data.
以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態にかかる情報処理装置の外観を示す平面図である。また、図２は、第１実施形態にかかる情報処理装置の内部構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a plan view showing the outer appearance of an information processing apparatus according to the first embodiment of the present invention. Further, FIG. 2 is a block diagram showing an internal configuration of the information processing apparatus according to the first embodiment.
本実施形態の情報処理装置１０は、例えばスマートフォンやモバイル機器などであって、表示部１１と、タッチパネル１２と、物理キー１３と、撮像カメラ１４と、ネットワーク通信部（ＮＷ通信部）１５と、記憶部１８と、制御ユニット１９とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。 The information processing apparatus 10 of the present embodiment is, for example, a smartphone or a mobile device, and includes a display unit 11, a touch panel 12, a physical key 13, an imaging camera 14, a network communication unit (NW communication unit) 15, and The storage unit 18 and the control unit 19 are provided. These components can transmit/receive data or signals to/from each other via a bus.
表示部１１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）などから構成される。例えば、表示部１１の画面には、複数のアイコンが表示される。 The display unit 11 includes a liquid crystal display (LCD) or an organic EL (OLED: Organic Light-Emitting Diode). For example, a plurality of icons are displayed on the screen of the display unit 11.
タッチパネル１２は、所謂抵抗膜方式や静電容量方式等のタッチパネルである。タッチパネル１２は、表示部１１の画面に配置され、該タッチパネル１２に対するユーザーの指などの接触（タッチ）をその接触位置と共に検知し、表示部１１の画面に対するユーザーの指示を後述する制御ユニット１９に対して入力する。従って、タッチパネル１２は、表示部１１の画面に対するユーザー操作が入力される操作部としての役割を果たす。 The touch panel 12 is a so-called resistance film type or capacitance type touch panel. The touch panel 12 is disposed on the screen of the display unit 11, detects a touch (touch) of the user's finger or the like on the touch panel 12 together with the contact position, and instructs a control unit 19 to be described later to give a user instruction to the screen of the display unit 11. Enter in response. Therefore, the touch panel 12 serves as an operation unit for inputting a user operation on the screen of the display unit 11.
また、情報処理装置１０は、ユーザー操作が入力される操作部として、上記のタッチパネル１２に加えて物理キー１３を備えている。 Further, the information processing device 10 includes a physical key 13 as an operation unit for inputting a user operation, in addition to the touch panel 12 described above.
撮像カメラ１４は、レンズ及び撮像素子（ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)など）を備えるカメラであって、外部の画像を撮像して、この画像を示す画像データを出力する。 The imaging camera 14 is a camera including a lens and an imaging element (CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor), etc.), and captures an external image and outputs image data indicating this image. ..
ネットワーク通信部１５は、不図示のＬＡＮ(Local Area Network)チップなどの通信モジュールを備える通信インターフェイスである。このネットワーク通信部１５は、ＬＡＮやインターネットなどを通じて外部のサーバーなどの端末装置に接続される。 The network communication unit 15 is a communication interface including a communication module such as a LAN (Local Area Network) chip (not shown). The network communication unit 15 is connected to a terminal device such as an external server via a LAN or the Internet.
記憶部１８は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、各種のアプリケーションプログラムや種々の情報等を記憶している。 The storage unit 18 is a storage device such as a RAM (Random Access Memory) and a HDD (Hard Disk Drive), and stores various application programs and various information.
制御ユニット１９は、プロセッサー、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等から構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。制御ユニット１９は、上記のＲＯＭ又は記憶部１８に記憶された制御プログラムが上記のプロセッサーで実行されることにより、制御部２１として機能する。 The control unit 19 includes a processor, a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. The processor is, for example, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an MPU (Micro Processing Unit), or the like. The control unit 19 functions as the control unit 21 when the control program stored in the ROM or the storage unit 18 is executed by the processor.
制御ユニット１９は、表示部１１、タッチパネル１２、物理キー１３、撮像カメラ１４、ネットワーク通信部１５、及び記憶部１８などと接続されている。制御部２１は、これらの構成要素の動作制御や、該各構成要素との間での信号またはデータの送受信を行う。 The control unit 19 is connected to the display unit 11, the touch panel 12, the physical keys 13, the imaging camera 14, the network communication unit 15, the storage unit 18, and the like. The control unit 21 controls the operation of these components and transmits/receives signals or data to/from each of the components.
また、制御部２１は、種々の処理を実行する処理部としての役割を果たす。更に、制御部２１は、表示部１１の表示動作及びネットワーク通信部１５の通信動作を制御する機能を有する。 The control unit 21 also serves as a processing unit that executes various processes. Further, the control unit 21 has a function of controlling the display operation of the display unit 11 and the communication operation of the network communication unit 15.
ここで、第１実施形態の情報処理装置１０においては、記憶部１８に、スケジュール管理アプリケーションが記憶されている。制御部２１は、当該スケジュール管理アプリケーションに従って動作することで、スケジュール管理を行うスケジューラーとして機能する。 Here, in the information processing device 10 of the first embodiment, the storage unit 18 stores a schedule management application. The control unit 21 functions as a scheduler that performs schedule management by operating according to the schedule management application.
情報処理装置１０のユーザーが、撮像カメラ１４によりイベントなどの広告やポスターなどの画像を撮像すると、制御部２１が、この画像を表示部１１に表示させる。この後、制御部２１は、ユーザーによる操作に基づいて、タッチパネル１２を通じて表示部１１に表示されている画像におけるイベントの名称及び日時を含む任意の２つの領域の指定を順次受け付ける。制御部２１は、当該２つの領域の内、先に指定された方の領域におけるテキストを認識して該テキストからイベントの名称を抽出し、後で指定された方の領域におけるテキストを認識して該テキストからイベントの日時を抽出し、これらのイベントの名称及び日時を対応付けて、上記スケジューラーによるスケジュール管理に用いるスケジュールデータとして記憶する。ここで、「日時」とは、日付及び時間のうち、少なくともいずれか一方を示すテキストを示す。 When the user of the information processing device 10 captures an image of an advertisement such as an event or a poster with the image capturing camera 14, the control unit 21 causes the display unit 11 to display this image. After that, the control unit 21 sequentially receives the designation of any two areas including the event name and date and time in the image displayed on the display unit 11 through the touch panel 12 based on the operation by the user. The control unit 21 recognizes the text in the area designated first of the two areas, extracts the event name from the text, and recognizes the text in the area designated later. Dates and times of events are extracted from the text, and the names and dates of these events are associated with each other and stored as schedule data used for schedule management by the scheduler. Here, the "date and time" refers to text indicating at least one of date and time.
次に、上記のように２つのライン状の領域におけるそれぞれのテキストを認識し、これらのテキストからイベントの名称及び日時を抽出して、スケジュールデータを生成するための処理手順を、図３に示すフローチャートなどを参照して詳しく説明する。 Next, FIG. 3 shows a processing procedure for recognizing the respective texts in the two line-shaped areas as described above, extracting the event name and date and time from these texts, and generating schedule data. This will be described in detail with reference to flowcharts and the like.
情報処理装置１０のユーザーは、例えば表示部１１の画面に表示されている予め定められたアイコンをタッチ操作して、タッチパネル１２を通じて、スケジュールデータを生成する処理を実行する指示を入力する。制御部２１は、当該指示に従って、スケジュールデータを生成する処理を開始し、まず撮像カメラ１４を起動させる（Ｓ１０１）。このとき、制御部２１は、撮像カメラ１４により撮像されている画像を表示部１１の画面に表示させると共に、広告やポスターなどの撮影を促す旨のメッセージを表示部１１の画面に表示させる。 The user of the information processing apparatus 10 touches a predetermined icon displayed on the screen of the display unit 11, for example, and inputs an instruction to execute a process of generating schedule data through the touch panel 12. According to the instruction, the control unit 21 starts the process of generating the schedule data, and first activates the imaging camera 14 (S101). At this time, the control unit 21 causes the image captured by the imaging camera 14 to be displayed on the screen of the display unit 11 and causes a message prompting the user to shoot an advertisement or a poster to be displayed on the screen of the display unit 11.
ユーザーは、そのメッセージを見て、広告やポスターなどの画像が撮像カメラ１４により撮像されて表示部１１の画面に映る状態にしてから、情報処理装置１０の物理キー１３を操作し、撮像カメラ１４による撮像画像の取り込みの指示を入力する。制御部２１は、当該指示に従って、撮像カメラ１４による撮像画像を記憶部１８に記憶させる（Ｓ１０２）。これと共に、制御部２１は、当該記憶させた撮像画像を静止画像として表示部１１の画面に表示させる。例えば、図４（Ａ）に示すようなポスターの画像ＰＡが撮像カメラ１４により撮像されて表示部１１の画面に表示される。また、制御部２１は、表示部１１の画面に、ポスターの画像ＰＡと共に、イベントの名称の指定を促す旨を示すメッセージＭＡも表示させる。 After seeing the message, the user operates the physical key 13 of the information processing device 10 after the image of the advertisement or the poster is captured by the imaging camera 14 and displayed on the screen of the display unit 11, and the imaging camera 14 is operated. Input an instruction to capture a captured image by. The control unit 21 stores the image captured by the image capturing camera 14 in the storage unit 18 according to the instruction (S102). At the same time, the control unit 21 displays the stored captured image as a still image on the screen of the display unit 11. For example, an image PA of a poster as shown in FIG. 4A is captured by the image capturing camera 14 and displayed on the screen of the display unit 11. Further, the control unit 21 causes the screen of the display unit 11 to display the poster image PA as well as the message MA that prompts the designation of the event name.
ユーザーは、そのメッセージＭＡを見て、ポスターの画像ＰＡにおけるイベントの名称の表示領域（スケジュールデータとして設定したい名称が表示されている領域。ユーザーが決定する。図４（Ａ）では領域Ｊ１）に対して、指をスライドさせるスワイプ操作を行う。このスワイプ操作は、上記イベントの名称の表示領域Ｊ１の開始端から終了端まで行われるものとする。 The user sees the message MA and displays in the display area of the name of the event in the image PA of the poster (area in which the name desired to be set as schedule data is displayed. The user decides. In FIG. 4A, area J1). On the other hand, swipe to slide your finger. This swipe operation is performed from the start end to the end end of the display area J1 for the event name.
制御部２１は、タッチパネル１２が受け付けたスワイプ操作の軌跡から予め定められた範囲にあるライン状の領域、すなわち、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向に予め定められた一定幅（例えば、表示部１１に標準的に表示される大きさの文字の縦幅）となる領域を、テキスト認識を行う対象とするライン状の領域として検出する。本実施形態では、当該テキスト認識を行う対象とするライン状の領域は、上記表示領域Ｊ１と一致するものとする。以下、当該ライン状の領域を領域Ｊ１と称する。 The control unit 21 preliminarily sets a line-shaped region in a predetermined range from the trajectory of the swipe operation received by the touch panel 12, that is, a direction including the start end and the end end of the swipe operation and orthogonal to the direction of the swipe operation. An area having a predetermined fixed width (for example, a vertical width of a character of a size normally displayed on the display unit 11) is detected as a line-shaped area to be subjected to text recognition. In the present embodiment, the line-shaped area to be subjected to the text recognition is assumed to match the display area J1. Hereinafter, the line-shaped region will be referred to as a region J1.
制御部２１は、上記検出により指定されたライン状の領域Ｊ１の画像部分に対して既知のＯＣＲ処理を施して、このライン状の領域Ｊ１に含まれるテキストを認識し（Ｓ１０３）、このテキストをイベントの名称とみなして、このイベントの名称を抽出する（Ｓ１０４）。 The control unit 21 performs known OCR processing on the image portion of the line-shaped area J1 designated by the above detection, recognizes the text included in this line-shaped area J1 (S103), and recognizes this text. The name of this event is extracted by regarding it as the name of the event (S104).
更に、制御部２１は、イベントの名称を抽出すると、図４（Ｂ）に示すように、ポスターの画像ＰＡと共に、メッセージＭＡに代えて、イベントの日時の指定を促す旨を示すメッセージＭＢを表示部１１の画面に表示させる（Ｓ１０５）。 Further, when the name of the event is extracted, the control unit 21 displays a message MB, which prompts designation of the date and time of the event, instead of the message MA, as shown in FIG. 4B, together with the image PA of the poster. It is displayed on the screen of the section 11 (S105).
ユーザーは、そのメッセージＭＢを見て、ポスターの画像ＰＡにおけるイベントの日時を含むライン状の領域Ｊ２に対してスワイプ操作を行う。このスワイプ操作も、ライン状の領域Ｊ２の開始端から終了端まで行われるものとする。 The user views the message MB and performs a swipe operation on the line-shaped area J2 including the date and time of the event in the image PA of the poster. This swipe operation is also performed from the start end to the end end of the line-shaped area J2.
制御部２１は、上記領域Ｊ１の場合と同様にして、タッチパネル１２を通じて、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向で予め定められた一定幅となる領域をライン状の領域Ｊ２として検出する。更に制御部２１は、当該ライン状の領域Ｊ２の画像部分に対してＯＣＲ処理を施して、このライン状の領域Ｊ２に含まれるテキストを認識する（Ｓ１０６）。 Similarly to the case of the area J1, the control unit 21 lines through the touch panel 12 an area including a start end and an end end of the swipe operation and having a predetermined constant width in a direction orthogonal to the direction of the swipe operation. It is detected as a region J2. Further, the control unit 21 performs OCR processing on the image portion of the line-shaped area J2 to recognize the text included in the line-shaped area J2 (S106).
そして、制御部２１は、このテキストから数値又は文字により示されるイベントの日時を抽出する（Ｓ１０７）。例えば、制御部２１は、記憶部１８に予め記憶されている図５に示すような日時データテーブルＮＤを参照して、ライン状の領域Ｊ２に含まれるテキストからイベントの日時を抽出する。この日時データテーブルＮＤには、２０１８、２０１９、…、Ｆｅｂｒｕａｒｙ、Ｊａｎｕａｒｙ、…、０１、０２、…、１２：００、１２：０１、…などの日時を示す数値及び文字が記憶されている。制御部２１は、ライン状の領域Ｊ２に含まれる数値又は文字が日時データテーブルＮＤの日時を示す数値又は文字に一致すると、この一致した日時を示す数値又は文字をイベントの年、月、日、時刻として抽出する。また、ライン状の領域Ｊ２に含まれるテキストから２つの時刻が順次抽出された場合、制御部２１は、数値が小さい方の時刻をイベントの開始時刻とし、また数値が大きい方の時刻をイベントの終了時刻と判断して抽出する。 Then, the control unit 21 extracts the date and time of the event indicated by a numerical value or a character from this text (S107). For example, the control unit 21 refers to the date/time data table ND as shown in FIG. 5 stored in advance in the storage unit 18, and extracts the date/time of the event from the text included in the linear area J2. The date and time data table ND stores numerical values and characters indicating dates and times such as 2018, 2019,..., February, January,..., 01, 02,..., 12:00, 12:01. When the numerical value or character included in the line-shaped area J2 matches the numerical value or character indicating the date and time of the date and time data table ND, the control unit 21 sets the matching numerical value or character to the year, month, day of the event, Extract as time. Further, when two times are sequentially extracted from the text included in the line-shaped area J2, the control unit 21 sets the time having the smaller numerical value as the event start time and the time having the larger numerical value as the event time. Judge as the end time and extract.
そして、制御部２１は、Ｓ１０４で抽出したイベントの名称及びＳ１０７で抽出したイベントの日時を対応付けてスケジュールデータとして記憶部１８に記憶させる（Ｓ１０８）。 Then, the control unit 21 stores the event name extracted in S104 and the date and time of the event extracted in S107 in the storage unit 18 as schedule data in association with each other (S108).
続いて、ユーザーがスワイプ操作を更に行った場合（Ｓ１０９「Ｙｅｓ」）、制御部２１は、上記領域Ｊ１の場合と同様にして、タッチパネル１２を通じて、スワイプ操作により指示されたライン状の領域を検出し、記憶部１８に記憶されている該ライン状の領域の画像部分に対してＯＣＲ処理を施して、このライン状の領域における１行のテキストを認識する（Ｓ１１０）。 Subsequently, when the user further performs the swipe operation (S109 “Yes”), the control unit 21 detects the line-shaped area designated by the swipe operation through the touch panel 12 in the same manner as in the case of the area J1. Then, the OCR process is performed on the image portion of the line-shaped area stored in the storage unit 18 to recognize one line of text in the line-shaped area (S110).
制御部２１は、日時データテーブルＮＤを参照して、このテキストにイベントの日時が含まれるか否かを判定する（Ｓ１１１）。例えば、制御部２１は、イベントの日時が含まれないと判定すると（Ｓ１１１「Ｎｏ」）、Ｓ１０４からの処理に戻って、そのライン状の領域におけるテキストをイベントの名称とみなして、このイベントの名称を抽出し（Ｓ１０４）、Ｓ１０５からの処理を繰り返す。この場合、イベントの日時の指定を促す旨を示すメッセージＭＢが表示部１１の画面に表示され（Ｓ１０５）、ユーザーがイベントの日時を含むライン状の領域に対してスワイプ操作を行うと、記憶部１８に記憶されている該ライン状の領域の画像部分に対してＯＣＲ処理が施されて、このライン状の領域に含まれる１行のテキストが認識され（Ｓ１０６）、このテキストから数値又は文字からなるイベントの日時が抽出され（Ｓ１０７）、Ｓ１０４で抽出されたイベントの名称及びＳ１０７で抽出されたイベントの日時が対応付けられてスケジュールデータとして記憶部１８が記憶される（Ｓ１０８）。 The control unit 21 refers to the date/time data table ND and determines whether or not the date/time of the event is included in this text (S111). For example, when the control unit 21 determines that the date and time of the event is not included (S111 “No”), the control unit 21 returns to the processing from S104, regards the text in the line-shaped area as the name of the event, and The name is extracted (S104), and the processing from S105 is repeated. In this case, a message MB that prompts the user to specify the date and time of the event is displayed on the screen of the display unit 11 (S105), and when the user performs a swipe operation on the line-shaped area including the date and time of the event, the storage unit The image portion of the line-shaped area stored in 18 is subjected to OCR processing to recognize one line of text included in the line-shaped area (S106), and from this text, a numerical value or a character is converted. The date and time of the event is extracted (S107), and the storage unit 18 is stored as schedule data in association with the name of the event extracted in S104 and the date and time of the event extracted in S107 (S108).
従って、ユーザーは、イベントの名称を含むライン状の領域及びイベントの日時を含むライン状の領域に対してスワイプ操作を行った後、他のイベントの名称を含む別のライン状の領域に対してスワイプ操作を再び行うと、Ｓ１０４からＳ１０８までの処理が繰り返され、他のイベントの名称及び日時を対応付けたスケジュールデータが記憶部１８に記憶される。この結果、複数組のイベントの名称及び日時を対応付けたスケジュールデータが記憶部１８に記憶される。 Therefore, the user performs a swipe operation on a line-shaped area including the name of the event and a line-shaped area including the date and time of the event, and then on another line-shaped area including the names of other events. When the swipe operation is performed again, the processes from S104 to S108 are repeated, and the schedule data in which the names and dates of other events are associated are stored in the storage unit 18. As a result, schedule data in which the names and dates of a plurality of sets of events are associated is stored in the storage unit 18.
一方、Ｓ１１１において、制御部２１は、日時データテーブルＮＤを参照して、このテキストにイベントの日時が含まれると判定した場合（Ｓ１１１「Ｙｅｓ」）、そのイベントの日時を抽出して（Ｓ１１２）、このイベントの日時をＳ１０７で抽出したイベントの日時（すなわち、Ｓ１１２での日時抽出により、日時を連続して抽出したことになった場合において、先に抽出した日時）と共に、Ｓ１０４で抽出したイベントの名称（すなわち、Ｓ１１２における日時抽出の前に直近で抽出した名称）に対応付けてスケジュールデータとして記憶部１８に記憶させる（Ｓ１１３）。 On the other hand, in S111, when the control unit 21 refers to the date/time data table ND and determines that this text includes the date/time of the event (S111 “Yes”), it extracts the date/time of the event (S112). , The event extracted in S104, together with the date and time of the event extracted in S107 (that is, the date and time previously extracted in the case where the date and time are continuously extracted in S112). (Namely, the name most recently extracted before the date and time extraction in S112) is stored in the storage unit 18 as schedule data (S113).
制御部２１は、表示部１１の画面に対して予め定められた操作（例えばダブルタップ）が行われていなければ（Ｓ１１４「Ｎｏ」）、Ｓ１０９からの処理に戻る。 If a predetermined operation (for example, double tap) is not performed on the screen of the display unit 11 (S114 “No”), the control unit 21 returns to the processing from S109.
従って、ユーザーは、イベントの名称を含むライン状の領域及びイベントの日時を含むライン状の領域に対してスワイプ操作を行った後、他の日時を含む別のライン状の領域に対してスワイプ操作を再び行うと、その度に、Ｓ１０４で抽出したイベントの名称に対応付けられるイベントの日時が増加し、同一のイベントの名称に複数の日時を対応付けたスケジュールデータが記憶部１８に記憶される。 Therefore, the user performs a swipe operation on a line-shaped area including the event name and a line-shaped area including the date and time of the event, and then swipes on another line-shaped area including another date and time. When the above is performed again, the date and time of the event associated with the name of the event extracted in S104 increases each time, and schedule data in which a plurality of dates and times are associated with the same event name is stored in the storage unit 18. ..
また、Ｓ１１３の後、ユーザーがスワイプ操作を行わず、表示部１１の画面に対して上記予め定められた操作を行うと、制御部２１は、上記予め定められた操作に基づいてスケジュールデータ一覧の表示指示を受け付け（Ｓ１１４「Ｙｅｓ」）、記憶部１８に記憶されているスケジュールデータのイベントの名称及び日時に基づき、図６に例を示すようなスケジュールデータの一覧ＳＬ１を生成して表示部１１の画面に表示させる（Ｓ１１５）。そして、図３に示す処理を終了する。 After S113, when the user does not perform the swipe operation and performs the predetermined operation on the screen of the display unit 11, the control unit 21 displays the schedule data list based on the predetermined operation. The display instruction is accepted (S114 “Yes”), the schedule data list SL1 as shown in FIG. 6 is generated based on the event name and date and time of the schedule data stored in the storage unit 18, and the display unit 11 is generated. Is displayed on the screen (S115). Then, the processing shown in FIG. 3 ends.
図６に示すスケジュールデータの一覧ＳＬ１には、Ｓ１０４で抽出したイベントの名称ＩＮ及びＳ１０７で抽出した少なくとも１つの日時ＤＨが表示され、またカレンダーキーＫ１１も表示される。ユーザーがカレンダーキーＫ１１にタッチ操作すると、制御部２１は、タッチパネル１２を通じて、カレンダーキーＫ１１に対応する指示を受け付け、当該指示に従って、図７に例を示すようなカレンダーＣＡを表示部１１の画面に表示させる。このカレンダーＣＡには、イベントの名称ＩＮが表示されると共に、イベントの日時ＤＨがハイライト表示される。 In the schedule data list SL1 shown in FIG. 6, the event name IN extracted in S104 and at least one date and time DH extracted in S107 are displayed, and the calendar key K11 is also displayed. When the user performs a touch operation on the calendar key K11, the control unit 21 receives an instruction corresponding to the calendar key K11 via the touch panel 12, and according to the instruction, a calendar CA as shown in FIG. 7 is displayed on the screen of the display unit 11. Display it. In the calendar CA, the event name IN is displayed and the date and time DH of the event are highlighted.
このように第１実施形態では、スワイプ操作により表示部１１に表示されている画像におけるイベントの名称及び日時を含む任意の２つのライン状の領域が順次指定されると、先に指定されたライン状の領域におけるテキストからイベントの名称が抽出され、後で指定されたライン状の領域におけるテキストからイベントの日時が抽出され、これらのイベントの名称及び日時が対応付けられてスケジュールデータとして設定されるので、画像からイベントの名称及び日時を確実に抽出して、スケジュールデータを生成することができる。 As described above, in the first embodiment, when two arbitrary line-shaped regions including the event name and date and time in the image displayed on the display unit 11 are sequentially designated by the swipe operation, the previously designated line is designated. The name of the event is extracted from the text in the line area, the date and time of the event is extracted from the text in the line area that is specified later, and the name and date and time of these events are associated and set as schedule data. Therefore, it is possible to reliably extract the event name and date and time from the image and generate the schedule data.
尚、第１実施形態では、先にイベントの名称が抽出され、後でイベントの日時が抽出されるようにしているが、逆に先に指定されたライン状の領域におけるテキストからイベントの日時が抽出され、後で指定されたライン状の領域におけるテキストからイベントの名称が抽出されるようにしてもよい。
＜第２実施形態＞
次に、本発明の情報処理装置の第２実施形態について説明する。尚、第２実施形態の情報処理装置は、第１実施形態の情報処理装置１０と同様に、図１に示すような外観及び図２に示すような内部構成を有している。
In the first embodiment, the name of the event is extracted first, and the date and time of the event are extracted later. On the contrary, the date and time of the event is extracted from the text in the previously designated line-shaped area. The name of the event may be extracted from the text in the line-shaped area that is extracted and specified later.
<Second Embodiment>
Next, a second embodiment of the information processing apparatus of the invention will be described. Note that the information processing apparatus of the second embodiment has an external appearance as shown in FIG. 1 and an internal configuration as shown in FIG. 2 similarly to the information processing apparatus 10 of the first embodiment.
第２実施形態の情報処理装置１０では、広告やポスターなどの画像が表示部１１の画面に表示されている状態で、ユーザーが、スワイプ操作により広告やポスターなどの画像におけるライン状の領域を指定すると、制御部２１は、タッチパネル１２を通じて、そのライン状の領域を検出し、該ライン状の領域におけるテキストを認識して、この認識したテキストの部分からイベントの日時を抽出した後、この認識したテキストの残りの部分からイベントの名称を抽出する。すなわち、制御部２１は、同一のライン状の領域からイベントの日時及び名称の両方を抽出する。これにより、広告やポスターなどの画像からイベントの名称及び日時を確実に抽出して、スケジュールデータを生成することができる。 In the information processing apparatus 10 according to the second embodiment, the user specifies a line-shaped area in the image of the advertisement or poster by swiping while the image of the advertisement or poster is displayed on the screen of the display unit 11. Then, the control unit 21 detects the line-shaped area through the touch panel 12, recognizes the text in the line-shaped area, extracts the date and time of the event from the recognized text portion, and then recognizes this. Extract the event name from the rest of the text. That is, the control unit 21 extracts both the date and time and the name of the event from the same line-shaped area. Thus, the name and date and time of the event can be reliably extracted from the image of the advertisement or poster, and the schedule data can be generated.
次に、第２実施形態によりライン状の領域におけるテキストを認識し、この認識したテキストから日時及びイベントの名称を順次抽出するための処理手順を、図８に示すフローチャートなどを参照して詳しく説明する。 Next, the processing procedure for recognizing the text in the line-shaped area and sequentially extracting the date and time and the name of the event from the recognized text according to the second embodiment will be described in detail with reference to the flowchart shown in FIG. To do.
情報処理装置１０のユーザーは、例えば表示部１１の画面に表示されている予め定められたアイコンをタッチ操作して、タッチパネル１２を通じて、スケジュールデータを生成する処理を実行する指示を入力する。制御部２１は、当該指示に従って、スケジュールデータを生成する処理を開始し、まず撮像カメラ１４を起動させる（Ｓ２０１）。このとき、制御部２１は、撮像カメラ１４により撮像されている画像を表示部１１の画面に表示させると共に、広告やポスターなどの撮影を促す旨のメッセージを表示部１１の画面に表示させる。 The user of the information processing apparatus 10 touches a predetermined icon displayed on the screen of the display unit 11, for example, and inputs an instruction to execute the process of generating schedule data through the touch panel 12. According to the instruction, the control unit 21 starts the process of generating the schedule data and first activates the imaging camera 14 (S201). At this time, the control unit 21 causes the image captured by the imaging camera 14 to be displayed on the screen of the display unit 11 and causes a message prompting the user to shoot an advertisement or a poster to be displayed on the screen of the display unit 11.
ユーザーは、そのメッセージを見て、広告やポスターなどの画像が撮像カメラ１４により撮像されて表示部１１の画面に映る状態にしてから情報処理装置１０の物理キー１３を操作し、撮像カメラ１４による撮像画像の取り込みの指示を入力する。制御部２１は、当該指示に従って、撮像カメラ１４による撮像画像を記憶部１８に記憶させる（Ｓ２０２）。これと共に、制御部２１は、当該記憶させた撮像画像を静止画像として表示部１１の画面に表示させる。例えば、図９に例を示すような広告の画像ＰＢが、撮像カメラ１４により撮像されて表示部１１の画面に表示される。また、制御部２１は、表示部１１の画面に、広告の画像ＰＢと共に、イベントの名称及び日時の指定を促す旨を示すメッセージＭＣも表示させる。 The user sees the message, operates the physical key 13 of the information processing device 10 after the image of the advertisement or the poster is captured by the imaging camera 14 and appears on the screen of the display unit 11, and Input an instruction to capture a captured image. The control unit 21 stores the image captured by the image capturing camera 14 in the storage unit 18 according to the instruction (S202). At the same time, the control unit 21 displays the stored captured image as a still image on the screen of the display unit 11. For example, an image PB of an advertisement as shown in FIG. 9 is captured by the image capturing camera 14 and displayed on the screen of the display unit 11. Further, the control unit 21 causes the screen of the display unit 11 to display a message MC indicating that the name of the event and the date and time are to be prompted together with the image PB of the advertisement.
ユーザーは、そのメッセージＭＣを見て、広告の画像ＰＢにおけるイベントの名称及び日時を含む領域Ｊ３に対してスワイプ操作を行う。このスワイプ操作は、ライン状の領域Ｊ３の開始端から終了端まで行われるものとする。 Looking at the message MC, the user performs a swipe operation on the area J3 including the event name and date and time in the advertisement image PB. This swipe operation is performed from the start end to the end end of the line-shaped area J3.
制御部２１は、タッチパネル１２が受け付けたスワイプ操作の軌跡から予め定められた範囲にあるライン状の領域、すなわち、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向で予め定められた一定幅となる領域を、テキスト認識を行う対象とするライン状の領域として検出する。本実施形態では、当該テキスト認識を行う対象とするライン状の領域は、上記表示領域Ｊ３と一致するものとする。以下、当該ライン状の領域を領域Ｊ３と称する。 The control unit 21 preliminarily sets a line-shaped region in a predetermined range from the trajectory of the swipe operation received by the touch panel 12, that is, in a direction that includes the start end and the end end of the swipe operation and is orthogonal to the direction of the swipe operation. An area having a defined constant width is detected as a line-shaped area to be subjected to text recognition. In the present embodiment, the line-shaped area to be subjected to the text recognition is supposed to match the display area J3. Hereinafter, the line-shaped region will be referred to as a region J3.
制御部２１は、上記検出により指定されたライン状の領域Ｊ３に含まれるテキストを既知のＯＣＲ処理により認識し（Ｓ２０３）、このテキストから数値又は文字からなるイベントの日時を抽出する（Ｓ２０４）。例えば、制御部２１は、上記日時データテーブルＮＤ（図５）を参照して、ライン状の領域Ｊ３に含まれるテキストからイベントの日時を抽出する。また、制御部２１は、ライン状の領域Ｊ３に含まれるテキストから２つの時刻を順次抽出した場合、数値が小さい方の時刻をイベントの開始時刻とし、また数値が大きい方の時刻をイベントの終了時刻と判断して抽出する。 The control unit 21 recognizes the text included in the line-shaped area J3 designated by the above detection by the known OCR processing (S203), and extracts the date and time of the event consisting of a numerical value or a character from this text (S204). For example, the control unit 21 refers to the date/time data table ND (FIG. 5) and extracts the date/time of the event from the text included in the line-shaped area J3. In addition, when the control unit 21 sequentially extracts two times from the text included in the line-shaped area J3, the time having the smaller numerical value is the start time of the event, and the time having the larger numerical value is the end time of the event. Judge as the time and extract.
この後、制御部２１は、Ｓ２０３で認識したテキストから、Ｓ２０４で抽出したイベントの日時を除いた該テキストの残り部分の文字列を、イベントの名称とみなして、このイベントの名称を抽出する（Ｓ２０５）。 After that, the control unit 21 regards the character string of the remaining part of the text except the date and time of the event extracted in S204 as the name of the event from the text recognized in S203, and extracts the name of this event ( S205).
そして、制御部２１は、Ｓ２０４で抽出したイベントの日時及びＳ２０５で抽出したイベントの名称を対応付けてスケジュールデータとして記憶部１８に記憶させる（Ｓ２０６）。 Then, the control unit 21 stores the date and time of the event extracted in S204 and the name of the event extracted in S205 in the storage unit 18 as schedule data in association with each other (S206).
続いて、ユーザーがスワイプ操作を再び行った場合（Ｓ２０７「Ｙｅｓ」）、制御部２１は、上記領域Ｊ３の場合と同様にして、タッチパネル１２を通じて、スワイプ操作により指示されたライン状の領域の画像部分を検出し、記憶部１８に記憶されている該ライン状の領域の画像部分に対してＯＣＲ処理を施して、このライン状の領域におけるテキストを認識し（Ｓ２０８）、Ｓ２０４からの処理を繰り返す。 Subsequently, when the user performs the swipe operation again (S207 “Yes”), the control unit 21 performs the image of the line-shaped area designated by the swipe operation through the touch panel 12 in the same manner as the case of the area J3. A portion is detected, the image portion of the line-shaped area stored in the storage unit 18 is subjected to OCR processing, the text in the line-shaped area is recognized (S208), and the processing from S204 is repeated. ..
従って、ユーザーは、イベントの名称及び日時の両方を含む領域に対してスワイプ操作を行うと、その度に、Ｓ２０４からＳ２０６までの処理が繰り返され、イベントの名称及び日時を対応付けたスケジュールデータが各領域の画像部分から抽出される。この結果、イベントの名称及び日時を対応付けた複数組のスケジュールデータが記憶部１８に記憶される。 Therefore, every time the user performs a swipe operation on an area including both the event name and the date and time, the processing from S204 to S206 is repeated, and the schedule data in which the event name and the date and time are associated with each other is obtained. It is extracted from the image portion of each area. As a result, a plurality of sets of schedule data in which the event name and the date and time are associated are stored in the storage unit 18.
また、Ｓ２０６の後、ユーザーがスワイプ操作を行わず、表示部１１の画面に対してスケジュールデータ一覧の表示指示を入力するための予め定められた操作を行うと、制御部２１は、当該予め定められた操作に基づいてスケジュールデータ一覧の表示指示を受け付け（Ｓ２０９「Ｙｅｓ」）、記憶部１８に記憶されているスケジュールデータのイベントの名称及び日時に基づき、図１０に例を示すようなスケジュールデータの一覧ＳＬ２を生成して表示部１１の画面に表示させる（Ｓ２１０）。図１０に示すスケジュールデータの一覧ＳＬ２には、Ｓ２０４、Ｓ２０５で抽出した複数組のイベントの日時ＤＨ及び名称ＩＮが表示される例を示す。Ｓ２１０の後、処理は終了する。 After S206, if the user does not perform the swipe operation and performs a predetermined operation for inputting a display instruction of the schedule data list on the screen of the display unit 11, the control unit 21 causes the predetermined determination. A schedule data list display instruction is accepted based on the performed operation (S209 “Yes”), and schedule data such as the example shown in FIG. 10 is based on the event name and date and time of the schedule data stored in the storage unit 18. List SL2 is generated and displayed on the screen of the display unit 11 (S210). The schedule data list SL2 shown in FIG. 10 shows an example in which the dates DH and the names IN of the plurality of sets of events extracted in S204 and S205 are displayed. After S210, the process ends.
このように第２実施形態では、スワイプ操作により表示部１１に表示されている画像におけるイベントの名称及び日時を含むライン状の領域が指定されると、そのライン状の領域におけるテキストの部分からイベントの日時が抽出された後、このテキストの残りの部分からイベントの名称が抽出されるので、画像からイベントの名称及び日時の両方を確実に抽出して、スケジュールデータを生成することができる。 As described above, in the second embodiment, when a line-shaped area including the event name and date and time in the image displayed on the display unit 11 is designated by the swipe operation, the event is started from the text portion in the line-shaped area. After the date and time of is extracted, the event name is extracted from the rest of the text, so that both the event name and date and time can be reliably extracted from the image to generate the schedule data.
尚、第２実施形態では、表示部１１に表示されている画像におけるイベントの名称及び日時を含むライン状の領域に対するスワイプ操作が繰り返し行われると、その度に、ライン状の領域が逐次検出されるが、例えばユーザーが複数の指を使ってスワイプ操作を行い、これに基づいて制御部２１が、複数のライン状の領域を一括して検出するようにしてもよい。 In the second embodiment, when the swipe operation is repeatedly performed on the line-shaped area including the event name and date and time in the image displayed on the display unit 11, the line-shaped area is sequentially detected each time. However, for example, the user may perform a swipe operation using a plurality of fingers, and the control unit 21 may collectively detect a plurality of line-shaped regions based on the swipe operation.
例えば、制御部２１は、図１１に示すようにライン状の領域の個別選択キーＫ２１及び一括選択キーＫ２２を広告の画像ＰＢと共に表示部１１の画面に表示させる。ユーザーが個別選択キーＫ２１に対してタッチ操作した場合、制御部２１は、タッチパネル１２を通じて、図８に示す処理の実行指示を受け付け、当該処理を実行する。従って、この場合、ユーザーは、各領域に対するスワイプ操作を繰り返し行わなければ、複数のライン状の領域を検出させることができない。 For example, the control unit 21 displays the individual selection key K21 and the collective selection key K22 of the line-shaped area on the screen of the display unit 11 together with the advertisement image PB as shown in FIG. When the user performs a touch operation on the individual selection key K21, the control unit 21 receives an instruction to execute the process illustrated in FIG. 8 through the touch panel 12 and executes the process. Therefore, in this case, the user cannot detect a plurality of line-shaped regions without repeatedly performing the swipe operation for each region.
一方、ユーザーが選択キーＫ２２に対してタッチ操作した場合、制御部２１は、タッチパネル１２を通じて、２つの領域を対象としてテキストを認識する処理の実行指示を受け付ける。この場合、制御部２１は、広告の画像ＰＢに対する２つの領域に対してスワイプ操作がされるのを待機する。このとき、ユーザーが２つの領域Ｊ３１、Ｊ３２（図１１）に対してそれぞれ別個にスワイプ操作を行うと、制御部２１は、タッチパネル１２が受け付けた各スワイプ操作について、スワイプ操作の軌跡から予め定められた範囲にあるライン状の領域、すなわち、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向で予め定められた一定幅となる領域を、テキスト認識を行う対象とするライン状の領域として検出する。制御部２１は、これにより２つのライン状の領域Ｊ３１、Ｊ３２を検出する。更に、制御部２１は、ライン状の領域Ｊ３１、Ｊ３２の一方から他方までの範囲ＫＡ（各ライン状の領域Ｊ３１、Ｊ３２を含む）を設定し、この範囲ＫＡに対してＯＣＲ処理を施して、この範囲ＫＡに存在する複数行のテキストを検出し、これらのテキストに、Ｓ２０４、Ｓ２０５の処理を行って、当該テキストの部分からイベントの日時を抽出した後、当該テキストの残りの部分からイベントの名称を抽出し、当該抽出したイベントの日時及び名称を対応付けてスケジュールデータとして記憶部１８に記憶させる。 On the other hand, when the user touch-operates the selection key K22, the control unit 21 receives an instruction to execute the process of recognizing the text in the two areas through the touch panel 12. In this case, the control unit 21 waits for the swipe operation on the two areas for the advertisement image PB. At this time, when the user separately performs a swipe operation on each of the two areas J31 and J32 (FIG. 11), the control unit 21 determines each swipe operation received by the touch panel 12 from the trajectory of the swipe operation in advance. The line-shaped area within the range, that is, the area that includes the start end and the end end of the swipe operation and has a predetermined width in the direction orthogonal to the direction of the swipe operation is the line for which text recognition is performed. It is detected as a striped area. The control unit 21 thereby detects two line-shaped regions J31 and J32. Furthermore, the control unit 21 sets a range KA from one of the linear areas J31 and J32 to the other (including the linear areas J31 and J32), performs OCR processing on the range KA, Multiple lines of text existing in this range KA are detected, the processing of S204 and S205 is performed on these texts, the date and time of the event is extracted from the portion of the text, and then the text of the event is extracted from the rest of the text. The name is extracted, and the date and time and the name of the extracted event are associated and stored in the storage unit 18 as schedule data.
あるいは、ユーザーが２回のスワイプ操作により２つのライン状の領域Ｊ３１、Ｊ３２を指示すると、制御部２１は、タッチパネル１２を通じて、図１２に示すように２つのライン状の領域Ｊ３１、Ｊ３２を検出し、該各ライン状の領域Ｊ３１、Ｊ３２の間に挟まれる範囲ＫＢ（該各ライン状の領域Ｊ３１、Ｊ３２を除く）を設定し、この範囲ＫＢに対してＯＣＲ処理を施して、この範囲ＫＢに存在する複数行のテキストを検出し、これらのテキストに、Ｓ２０４、Ｓ２０５の処理を行って、当該テキストの部分からイベントの日時を抽出した後、当該テキストの残りの部分からイベントの名称を抽出し、当該抽出したイベントの日時及び名称を対応付けてスケジュールデータとして記憶部１８に記憶させる。 Alternatively, when the user specifies two line-shaped regions J31 and J32 by two swipe operations, the control unit 21 detects the two line-shaped regions J31 and J32 through the touch panel 12 as shown in FIG. , A range KB (excluding the line-shaped regions J31, J32) sandwiched between the line-shaped regions J31, J32 is set, and OCR processing is performed on the range KB to obtain the range KB. Detects existing multiple lines of text, performs the processing of S204 and S205 on these texts, extracts the date and time of the event from the part of the text, and then extracts the name of the event from the rest of the text. The associated date and time and the name of the extracted event are stored in the storage unit 18 as schedule data.
また、図１乃至図１２を用いて説明した上記実施形態の構成は、本発明の一例に過ぎず、本発明を当該構成に限定する趣旨ではない。 Further, the configurations of the above-described embodiments described with reference to FIGS. 1 to 12 are merely examples of the present invention, and the present invention is not limited to the configurations.
１０ 情報処理装置
１１ 表示部
１２ タッチパネル
１３ 物理キー
１４ 撮像カメラ
１５ ネットワーク通信部
１８ 記憶部
１９ 制御ユニット
２１ 制御部
10 information processing device 11 display unit 12 touch panel 13 physical key 14 imaging camera 15 network communication unit 18 storage unit 19 control unit 21 control unit
Claims (6)
前記カメラにより撮像された画像を表示する表示部と、
前記表示部の画面に設けられたタッチパネルと、
前記表示部に表示されている画像において、前記タッチパネルが受け付けたスワイプ操作の軌跡から、当該スワイプ操作の開始端と終了端を含みかつ当該スワイプ操作の方向と直交する方向に予め定められた一定幅となる領域となるライン状の領域が指定されると、前記指定された領域におけるテキストを認識して、前記テキストからイベントの名称及び日付を抽出し、前記イベントの名称及び日付を対応付けてスケジュールデータとして設定する制御部と、を備える情報処理装置。 A camera that captures images,
A display unit for displaying an image captured by the camera,
A touch panel provided on the screen of the display unit,
In the image displayed on the display unit, from the trajectory of the swipe operation received by the touch panel, a predetermined width including a start end and an end end of the swipe operation and in a direction orthogonal to the direction of the swipe operation. When a line-shaped area to be the area is designated, the text in the designated area is recognized, the event name and date are extracted from the text, and the event name and date are associated and scheduled. An information processing apparatus comprising: a control unit that is set as data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/701,691 US11295545B2 (en) | 2018-12-12 | 2019-12-03 | Information processing apparatus for generating schedule data from camera-captured image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018232654 | 2018-12-12 | ||
| JP2018232654 | 2018-12-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020095710A true JP2020095710A (en) | 2020-06-18 |
Family
ID=71085020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019214150A Pending JP2020095710A (en) | 2018-12-12 | 2019-11-27 | Information processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020095710A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130050533A1 (en) * | 2011-08-31 | 2013-02-28 | Samsung Electronics Co., Ltd. | Schedule managing method and apparatus using optical character reader |
| JP2016081203A (en) * | 2014-10-15 | 2016-05-16 | シャープ株式会社 | Information processor, information processing program, and information processing method |
| JP2017182325A (en) * | 2016-03-29 | 2017-10-05 | 株式会社リクルートホールディングス | Commodity data registration terminal, commodity data registration method, and commodity data registration program |
| JP2017220234A (en) * | 2016-06-03 | 2017-12-14 | 株式会社半導体エネルギー研究所 | Information processing device and display method therefor |
-
2019
- 2019-11-27 JP JP2019214150A patent/JP2020095710A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130050533A1 (en) * | 2011-08-31 | 2013-02-28 | Samsung Electronics Co., Ltd. | Schedule managing method and apparatus using optical character reader |
| JP2013054742A (en) * | 2011-08-31 | 2013-03-21 | Samsung Electronics Co Ltd | Schedule managing method using optical character reader, and portable terminal |
| JP2016081203A (en) * | 2014-10-15 | 2016-05-16 | シャープ株式会社 | Information processor, information processing program, and information processing method |
| JP2017182325A (en) * | 2016-03-29 | 2017-10-05 | 株式会社リクルートホールディングス | Commodity data registration terminal, commodity data registration method, and commodity data registration program |
| JP2017220234A (en) * | 2016-06-03 | 2017-12-14 | 株式会社半導体エネルギー研究所 | Information processing device and display method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10564824B1 (en) | Initiating communications based on interactions with images | |
| US20090247219A1 (en) | Method of generating a function output from a photographed image and related mobile computing device | |
| US20090160814A1 (en) | Hot function setting method and system | |
| US11740775B1 (en) | Connecting users to entities based on recognized objects | |
| CN103713807A (en) | Method and device for processing information | |
| US8028238B2 (en) | Message display system | |
| CN104504083A (en) | Image confirming method and device based on image searching | |
| US9965171B2 (en) | Dynamic application association with hand-written pattern | |
| CN112462990A (en) | Image sending method and device and electronic equipment | |
| JP2018097580A (en) | Information processing device and program | |
| US9111170B2 (en) | Methods and apparatus relating to text items in images | |
| US11295545B2 (en) | Information processing apparatus for generating schedule data from camera-captured image | |
| JP2020095710A (en) | Information processing apparatus | |
| CN113783770B (en) | Image sharing method, image sharing device and electronic equipment | |
| CN110858198A (en) | System, non-transitory computer-readable medium, and method for retrieving contact information | |
| WO2019022921A1 (en) | Method and apparatus for cropping and displaying an image | |
| CN111796733B (en) | Image display method, image display device and electronic equipment | |
| CN107733779B (en) | Function expansion method and device based on contact persons | |
| CN114115655A (en) | Shortcut reminding method and device | |
| JP2016143284A (en) | Information processing apparatus, information processing system, information processing method, and program | |
| WO2014008227A1 (en) | Systems, apparatuses, and methods for branding and/or advertising through immediate user interaction, social networking, and image sharing | |
| KR20150026382A (en) | Electronic apparatus and method for contacts management in electronic apparatus | |
| WO2022116471A1 (en) | Method and system to display screenshot with a floating icon | |
| US20130047102A1 (en) | Method for browsing and/or executing instructions via information-correlated and instruction-correlated image and program product | |
| US20240146781A1 (en) | Systems and methods for managing digital notes for collaboration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221028 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231128 |