CN108292509B - 终端装置、诊断系统、诊断方法以及程序 - Google Patents
终端装置、诊断系统、诊断方法以及程序 Download PDFInfo
- Publication number
- CN108292509B CN108292509B CN201680066137.4A CN201680066137A CN108292509B CN 108292509 B CN108292509 B CN 108292509B CN 201680066137 A CN201680066137 A CN 201680066137A CN 108292509 B CN108292509 B CN 108292509B
- Authority
- CN
- China
- Prior art keywords
- analysis
- frequency
- information
- sound
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
- G03G21/00—Arrangements not provided for by groups G03G13/00 - G03G19/00, e.g. cleaning, elimination of residual charge
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
- B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
- B41J29/38—Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
Abstract
根据本发明,声音获取部(31)输入在作为分析对象装置的图像形成装置(20)产生的异常声音并且从而获取声音信息。位置接收部(38)从用户接收获取声音信息的录音位置信息。频率分析部(32)对由声音获取部(31)获取的声音信息进行STFT(短时间傅立叶变换)并且生成频率谱波形数据。控制部(33)接收服务器装置(50)的多个频率谱波形中的、与所生成的频率谱波形类似且基于所接收的录音位置信息而选择的谱波形。
Description
技术领域
本发明涉及终端装置、诊断系统、诊断方法和程序。
背景技术
专利文献1公开了一种系统,该系统包括RAM(随机存取存储器)或ROM(只读存储器),其中存储了图像形成装置的正常操作时的动作声音;以及麦克风,其检测要从图像形成装置产生的动作声音。该系统基于存储在RAM或ROM中的第一声音信息、由麦克风检测到的第二声音信息以及该图像形成装置的动作信息来指出图像形成装置的异常位置。
专利文献2公开了一种图像处理装置,该图像处理装置包括在打印片材上形成图像的图像形成部和传送打印片材的传送部。该图像处理装置还包括:声音转换部,该声音转换部将装置中的声音转换为电信号;声音分析部,该声音分析部分析由声音转换部转换的电信号并获得每个频率的分量;以及输出部,该输出部输出由声音分析部获得的每个频率的分量。
现有技术文献
专利文献
专利文献1:日本特开2007-079263号公报
专利文献2:日本特开2008-290288号公报
发明内容
本发明要解决的问题
存在这样的情况:当在装置中产生异常声音(非正常声音)时,将输入在分析对象装置中产生的声音而获得的声音信息和过去在与分析对象装置等同的装置中产生的异常声音的声音信息进行比较以,以解释异常声音的原因。
在这种情况下,如果存在与所获取的声音信息的频率分析结果波形类似的多个波形,则难以指出异常声音的原因。
本发明的至少一个示例性实施方式与在不指出获取声音信息的位置的情况下进行频率分析的情况相比,能够容易指出异常声音的原因。
问题解决手段
[终端装置]
[1]本发明的一个实施方式是一种终端装置,该终端装置包括:获取部,该获取部获取声音信息;接收部,该接收部接收与获取声音信息的位置有关的位置信息,以及显示部,该显示部显示以下中的至少一项:从通过对声音信号进行频率分析而获得的多个分析结果中选择的分析结果,所述分析结果是基于通过对由所述获取部获取的声音信息进行频率分析而获得的分析结果和由所述接收部接收的位置信息来选择的;以及与所选择的分析结果关联的信息。
[2]根据[1]的终端装置,所述终端装置可以还包括:频率分析部,该频率分析部对由所述获取部获取的声音信息进行时间频率分析并且生成表示每个频率的强度分布的时间变化的分析结果;发送部,该发送部将从由频率分析部生成的分析结果获得的信息、由所述接收部接收的所述位置信息以及与测量对象装置有关的装置信息发送到外部装置;以及收信部,该收信部从外部装置从通过对声音信号进行频率分析而获得的多个分析结果中接收与由所述频率分析部生成的分析结果相似的分析结果中的、基于由所述接收部接收的所述位置信息选择的分析结果。所述显示部可以显示由所述频率分析部生成的分析结果和由所述收信部接收的分析结果。
[3]在[1]或[2]所述的终端装置中,所述显示部可以与由所述接收部接收的所述位置信息对应地显示不同的分析结果。
[4]在[1]至[3]中任一项所述的终端装置中,在显示多个分析结果的情况下,所述显示部可以与由所述接收部接收的所述位置信息对应地改变要显示的所述分析结果的顺序。
[5]在[1]至[4]中任一项所述的终端装置中,所述显示部可以显示作为测量对象的对象装置的外观,以及所述接收部可以接收要在所述显示部显示的对象装置的位置信息。
[6]在[5]所述的终端装置中,所述显示部可以显示与所述对象装置的外观不同方向的外观,以及所述接收部针可以对所述不同方向的每个外观,接收要在所述显示部显示的所述对象装置的位置信息。
[诊断系统]
[7]本发明的一个实施方式是一种诊断系统,该诊断系统包括:终端装置,包括:获取部,该获取部获取声音信息;接收部,该接收部接收与获取声音信息的位置有关的位置信息,以及显示部,该显示部显示以下中的至少一项:从通过对声音信号进行频率分析而获得的多个分析结果中选择的分析结果,所述分析结果基于通过对由所述获取部获取的声音信息进行频率分析而获得的分析结果和由所述接收部接收的位置信息来选择;以及与所选择的分析结果关联的信息;服务器装置,该服务器装置包括:存储器,该存储器存储通过对声音信号进行频率分析而获得的多个分析结果以及声音的产生位置信息;发送部,当从终端装置接收了通过对由所述获取部获取的声音信息进行频率分析而获得的分析结果获得的信息以及由所述接收部接收的位置信息时,向所述终端装置发送以下中的至少一项:从所述存储器存储的所述多个分析结果中选择的分析结果,所述分析结果基于所接收的分析结果和由所述接收部接收的位置信息来选择;以及与所选择的分析结果关联的信息。
[诊断方法]
[8]本发明的一个实施方式是一种诊断方法,该诊断方法包括:获取步骤,获取声音信息;接收步骤,接收与获取声音信息的位置有关的位置信息,以及显示步骤,显示以下中的至少一项:从通过对声音信号的频率分析获得的多个分析结果中选择的分析结果,所述分析结果基于通过对在所述获取步骤中获取的声音信息进行频率分析而获得的分析结果和在所述接收步骤接收的位置信息来选择;以及与所选择的分析结果关联的信息。
[程序]
[9]本发明的一个实施方式是一种程序,该程序使计算机执行:获取步骤,获取声音信息;接收步骤,接收与获取声音信息的位置有关的位置信息,以及显示步骤,显示以下中的至少一项:从通过对声音信号的频率分析获得的多个分析结果中选择的分析结果,所述分析结果基于通过对在所述获取步骤中获取的声音信息进行频率分析而获得的分析结果和在所述接收步骤接收的位置信息来选择;以及与所选择的分析结果关联的信息。
本发明的效果
根据[1]的终端装置,与不指出获取声音信息的位置而进行频率分析的情况相比,可以容易指出异常声音的原因。
根据[2]的终端装置,通过比较所显示的两个分析结果可以指出异常声音的原因。
根据[3]的终端装置,基于对应于位置信息而选择的分析结果,可以容易指出异常声音的原因。
根据[4]的终端装置,与分析结果的顺序不改变的情况相比,可以从具有异常声音的原因的可能性高的分析结果开始显示。
根据[5]的终端装置,与在不显示对象装置的外观的情况下接收位置信息的情况相比,可以在用户较容易理解的情况下显示。
根据[6]的终端装置,与接收位置信息而不显示对象装置的不同方向的外观的情况相比,可以基于位置信息较精确地指出异常声音的原因。
根据[7]的诊断系统,与不指定获取声音信息的位置而进行频率分析的情况相比,可以容易指出异常声音的原因。
根据[8]的诊断方法,与不指定获取声音信息的位置而进行频率分析的情况相比,可以容易指出异常声音的原因。
根据[9]的程序,与不指定获取声音信息的位置而进行频率分析的情况相比,可以容易指出异常声音的原因。
附图说明
[图1]图1是表示本发明的实施方式的异常声音诊断系统的配置的系统图。
[图2]图2是表示本发明的实施方式的终端装置10的硬件配置的框图。
[图3]图3是表示本发明的实施方式的终端装置10的功能配置的框图。
[图4]图4是表示本发明的实施方式的服务器装置50的功能配置的框图。
[图5]图5是表示要被存储在图4中的波形数据存储部53中的信息的示例的图。
[图6]图6是用于说明本发明的实施方式的异常声音诊断系统的动作的流程图。
[图7]图7是表示当输入诸如型号名称、序列号、动作状态等的各种信息时终端装置10的显示画面的示例的图。
[图8]图8是表示当用户输入终端装置10的相对于图像形成装置20的录音位置时的显示画面的示例的图。
[图9]图9是表示当用户输入终端装置10的相对于图像形成装置20的录音位置时的显示画面的例子的图。
[图10]图10是表示用于使用户能够确认录音位置的显示屏幕的示例的图。
[图11]图11是说明STFT的构思的图。
[图12]图12是表示基于由STFT获得的分析结果的频率谱波形的图像的示例的图。
[图13]图13是表示当向用户呈现频率谱波形时用于促使用户指定估计为异常声音的区域的显示的情况的示例的图。
[图14]图14是表示用户在图13的频率谱波形的图像示例中选择的所选择区域80的示例的图。
[图15]图15是表示快速傅立叶变换的分析结果示例的图。
[图16]图16是用于解释图6中的步骤S107的动作细节的流程图。
[图17]图17是表示显示基于位置信息选择的分析结果的动作的示例的图,其中(a)示出被判断为相似的波形数据的提取列表,以及(b)表示(a)的提取列表的波形数据中的被判断为与位置信息一致的波形数据被优先显示的提取列表。
[图18]图18是显示两个频率谱波形的终端装置10的画面的示例的图。
[图19]图19是表示相对于图18中所示的屏幕的示例显示具有不同异音原因的单独的频率谱波形的画面的示例的图。
[图20]图20描述了显示画面的另一示例,其用于关于图18和19中所示出的画面示例显示异常声音原因。
具体实施方式
在下文中,将参照附图详细描述本发明的示例性实施方式。
图1是描绘本发明的实施方式的异常声音诊断系统的配置的系统视图。
如图1所示,本发明实施方式的异常声音诊断系统包括便携式终端装置10,诸如个人计算机、智能电话、平板终端装置等;以及服务器装置50。
另外,本发明可以应用于任何装置,如终端装置10,只要该装置可以通过通信网络连接到服务器装置50。然而,在本实施方式中,描述了终端装置10是平板终端装置的情况,该平板终端装置包括诸如能够获取声音信息的麦克风的装置和可通过其进行触摸输入的触摸板。
终端装置10例如由管理和修理由最终用户使用的诸如打印机这样的图像形成装置20的服务人员(维护人员)携带。终端装置10用于获取图像形成装置20中产生的异常声音(非正常声音)信号,对所获取的异常声音信号进行频率分析,并显示从服务器装置50获取的过去的异常声音信号的频率分析结果波形和所获取的异常声音信号的频率分析结果波形。
终端装置10和服务器装置50经由诸如Wi-Fi路由器的无线LAN终端30和因特网通信网络40彼此连接,并且发送和接收信息。
另外,当终端装置10是便携式电话装置,智能电话等时,终端装置10和服务器装置50可以经由便携式电话网络彼此连接,并且发送和接收故障信息。
在实施方式的异常声音诊断系统中,当在作为设置在最终用户的地方处的对象电子装置的图像形成装置20中产生异常声音时,服务人员携带终端装置10前往图像形成装置20的位置。然后,服务人员通过使用终端装置10对所生成的异常声音录音以获取异常声音信号并指出异常声音的原因,来进行异常声音诊断。
另外,在技术上可行的是,在图像形成装置20中设置用于录音功能的麦克风等并且在产生异常声音时通过录音功能对异常声音录音。然而,当图像形成装置20设置在最终用户的办公室等中时,由于安全原因难以给图像形成装置20提供录音功能。
图2示出了实施方式的异常声音诊断系统的终端装置10的硬件配置。
如图2所示,终端装置10包括CPU 11、可以临时存储数据的存储器12、诸如闪存的存储装置13,通过与无线LAN终端30的无线通信接收和发送数据的无线LAN接口(IF)14,诸如触摸传感器的输入装置15,显示装置16和麦克风17。构成元件经由控制总线18彼此连接。
实施方式的终端装置10设置有触摸板,其中在显示装置16上提供用于检测触摸位置的触摸传感器作为输入装置15。通过触摸板进行显示和来自用户的输入。
CPU 11基于存储在存储器12或存储装置13中的控制程序执行预定处理,从而控制终端装置10的操作。另外,通过因特网通信网络40或便携式电话网络可以下载并提供控制程序给CPU 11。另选地,程序可以被存储在诸如CD-ROM的存储介质中的情况下提供给CPU11。
上述控制程序被执行,使得实施方式的终端装置10进行稍后描述的动作,由此帮助服务人员指出异常声音的原因。
图3是描绘了随着上述控制程序被执行而实现的终端装置10的功能配置的框图。
如图3所示,实施方式的终端装置10包括声音获取部31、频率分析部32、控制部33,声音数据存储部34,显示部35,通信部36,声音播放部37和位置接收部38。
显示部35在控制部33的控制下显示各种数据。通信部36与作为外部装置的服务器装置50通信。声音播放部37播放所录音的声音数据等,并且在控制部33的控制下转换为声音信息。
位置接收部38接收录音位置信息作为位置信息,该位置信息是录音(获取)作为分析对象装置的图像形成装置20中产生的异常声音的声音的位置。
声音获取部31输入在作为分析对象装置的图像形成装置20中生成的异常声音,并获取声音信息。
频率分析部32对由声音获取部31获取的声音信息进行时间频率分析(时间相关频率分析),并且生成频率谱波形(频率分析结果波形)数据,其表示所获取的异常声音信号的每个频率的信号强度分布的时间变化。
具体地,频率分析部32对由声音获取部31获取的声音信息进行STFT(短时间傅立叶变换)并且生成频率谱波形数据。STFT将在后面描述。
控制部33将由频率分析部32获得的频率谱波形数据与声音数据一起存储在声音数据存储部34中。然后,控制部33进行控制以将由STFT的结果获得的频率谱波形显示在为触摸板的显示部35上。
此后,例如,如果用户通过手指在作为触摸板的显示部35上显示的频率谱波形中进行跟踪被估计为异常声音的信号分量的区域的触摸操作,则控制部33基于用户的触摸操作来接收对所显示的频率谱波形中包括异常声音的信号分量的区域的指定。
然后,控制部33指示频率分析部32执行快速傅立叶变换(1D-FFT),其相对于由频率分析部32获得的频率谱波形数据的包括异常声音的信号分量的区域的频率分量在时间轴上进行频率分析。为此,频率分析部32在时间轴上相对于被指令的区域总包括的频率分量进行快速傅立叶变换。
然后,控制部33从频率分析部32中的快速傅立叶变换的分析结果中提取异常声音的周期和频率的信息。
另外,即使在不产生异常声音的情况下,在预设频率或更低频率的低频区域中也包括通常动作声音的信号分量。因此,甚至在预先设定的频率以下的区域被指定为包含异常声音的信号成分的区域的情况下,控制部33可以不接收指定。
此外,控制部33将所接收的录音位置信息、所获得的周期的信息以及声音的频率与图像形成装置20的诸如型号名称的型号信息以及序列号和表示图像形成装置20的动作状态的动作状态信息一起经由通信部36发送到服务器装置50。动作状态信息可以具体包括关于彩色打印还是单色打印、双面打印还是单面打印、动作模式是扫描、打印还是复印以及要使用的片材的类型。这样,控制部33将从位置接收部38接收的录音位置信息和从由频率分析部32获得的频率谱波形数据获得的信息经由通信部36发送到服务器装置50。
服务器装置50将通过对过去在与图像形成装置20等同的装置中生成的异常声音的声音信息进行频率分析而获得的频率谱波形数据与原始声音数据的信息、在获取声音数据时的装置的动作状态、异常声音的原因、应对异常声音的方法、异常声音的产生位置(异常声音产生位置信息)等一起存储。
服务器装置50基于从终端装置10发送的异常声音的周期和频率的信息以及录音位置信息来搜索数据,并且提取对应于通过频率分析部32的频率分析获得的该频率谱波形数据的频率谱波形数据。然后,服务器装置50将所找到的频率谱波形数据与作为异常声音样本波形数据存储的声音数据等的信息一起发送到终端装置10。
结果,控制部33经由通信部36从服务器装置50接收与通过频率分析部32的频率分析获得的频率谱波形数据对应的频率谱波形数据。
控制部33进行控制以在显示部35上并行地显示通过对声音获取部31获取的声音信息进行频率分析而获得的频率谱波形和从服务器装置50接收的频率谱波形。
另外,控制部33从服务器装置50接收多个频率谱波形数据中的与由频率分析部50的频率分析获得的频率谱波形数据类似的波形数据中的基于所接收的录音位置信息优先选择的波形数据,并将所接收的波形数据显示在显示部35上。
随后,参照图4的框图描述实施方式的异常声音分析系统中的服务器装置50的功能配置。
如图4所示,实施方式的服务器装置50包括通信部51,控制部52和波形数据存储部53。
波形数据存储部53存储多个频率谱波形数据,该多个频率谱波形数据是通过对与作为分析对象装置的图像形成装置20等同的装置中过去产生的异常声音的声音信息进行频率分析而获得的。
具体地,如图5所示,波形数据存储部53针对每个型号存储通过对过去获取的异常声音的声音数据进行时间频率分析而获得的频率谱波形数据的信息、原始声音数据、异常声音的原因、应对异常声音的方法、异常声音产生位置等。在很多情况下,在装置的多个区域中存在异常声音,并且该多个区域的信息被存储作为异常声音产生位置。
当从终端装置10接收到异常声音的周期和频率的信息时,控制部52从存储在波形数据存储部53中的多个频率谱波形数据中根据接收到的异常声音的周期和频率的信息选择与基于由终端装置10获取的异常声音的频率谱波形数据类似的波形数据。然后,控制部52将基于所接收的录音位置信息从所选择的波形数据优先提取的波形数据经由通信部51发送到终端装置10。
在该实施方式中,已经描述了由终端装置10对异常声音的声音数据进行STFT和快速傅立叶变换,并将异常声音的周期和频率的信息发送到服务器装置。然而,也可以在服务器装置50中执行快速傅立叶变换或者STFT和快速傅立叶变换这两者。
在这种情况下,原样发送异常声音的声音数据从终端装置10发送到服务器装置50,或者发送通过对声音数据进行STFT而获得的结果的频率谱波形数据,并且在服务器装置50中对声音数据执行STFT或快速傅立叶变换。
在上述实施方式中,在多个分析结果中的与异常声音的频率和周期的信息类似的分析结果被提取,然后基于异常声音的位置信息来提取分析结果。然而,本发明不限于此。例如,可以基于异常声音的录音位置信息来提取分析结果,然后可以提取与异常声音的频率和周期的信息类似的分析结果。
此外,已经用在波形数据存储部53中存储的波形数据中,作为异常声音产生位置信息,存储了异常声音的产生的可能性高的多个区域的情况进行了描述。然而,本发明不限于此。所存储的异常声音生成位置信息可以是一个,并且可以存储每个区域中的产生概率。
而且,描述了存储多个区域的信息作为为异常声音产生位置。然而,本发明不限于此。对于每个波形数据,异常声音产生可能性高的区域可以以优先顺序存储。
随后,参照图6的流程图来描述实施方式的异常声音诊断系统的动作。
当由终端装置10诊断异常声音以指出作为测量对象的对象装置的图像形成装置20的异常声音的原因时,显示如图7所示的图像,并且诸如型号名称、序列号、动作状态等的装置信息被输入(步骤S101)。
然后,如图8所示,在作为终端装置的显示部35的屏幕(触摸板)上显示与输入的装置信息对应的图像形成装置20的外观的示意图图像10。
终端装置10显示了用于将图像形成装置20分成六份的辅助线90、91、92,并且其叠加在显示着图像形成装置20的画面上。
显示了三条辅助线90、91、92,以将图像形成装置20分成区域a、区域b、区域c、区域d、区域e和区域f这六个区域。在图8中,添加了被称为表示装置方向的正面图像A的信息,并且显示三条辅助线90、91、92以分成区域Aa、区域Ab、区域Ac、区域Ad、区域Ae和区域Af。当用户选择屏幕上的区域Aa、区域Ab、区域Ac、区域Ad、区域Ae和区域Af中的任一个并且用手指65对屏幕进行触摸操作(在下文中,称为轻击)时,可以指定录音位置。所指定的录音位置被控制部33作为记录位置信息接收。
另外,当用户从图8所示的装置的正面图像A沿左右方向和上下方向进行在屏幕上滑动手指65的轻击时,从不同的方向显示图像形成装置20的外观,并且图像形成装置20的外观以90°变化显示。即,在画面上,图像形成装置20的显示图像可以被改变为正面图像A、右侧面图像B、背面图像C、左侧面图像D、顶面图像E中的任一个。
具体地,如图9所示,每当用户在屏幕上沿左右方向滑动图像形成装置20的图像而进行轻敲时,图像形成装置20的姿态从正面图像A改变到左侧面图像D或右侧面图像B、从右侧面图像B改变到正面图像A或背面图像C、从背面图像C改变到右侧面图像B或左侧面图像D、以及从左侧面图像D改变到背面图像C或正面图像A。另外,每当进行沿上下方向滑动的轻敲时,姿态从正面图像A、右侧面图像B,背面图像C或左侧面图像D改变到顶面图像E,以及从顶面图像E改变到正面图像A、右侧面图像B、背面图像C或左侧面图像D。即,对于屏幕上的不同方向的图像形成装置20的每个外观,录音位置信息基于用户操作而改变。而且,用于划分为六个区域的辅助线90、91、92被叠加在图像B-E的每个上,类似于正面图像A,并且右侧面图像B被划分成区域Ba、Bb、Bc、Bd、Be、Bf。背面图像C被分成区域Ca、Cb、Cc、Cd、Ce、Cf。左侧面图像D被分成区域Da、Db、Dc、Dd、De、Df。顶面图像E被分成区域Ea、Eb、Ec、Ed、Ee、Ef。根据装置信息,装置的方向等,三条辅助线90、91、92被设置成使得划分装置的区域不同。
这里,尽管已经描述了图像形成装置20的外观的示意图图像,但是可以使用图像形成装置20的外观的照片图像。此外,尽管已经描述了在屏幕上沿左右方向和上下方向滑动的轻击,但是本发明不限于此。例如,可以在屏幕上提供旋转箭头键,并且可以通过点击旋转箭头键来旋转图像。
也就是说,当用户指定用于获取声音信息的图像形成装置20的外观的方向并且进一步指定装置的外观的划分区域时,异常声音的录音位置被接收作为录音位置信息(步骤S102)。
然后,如图10所示,终端装置10将动作模式设置为录音模式,并且由图像形成装置20的录音位置信息被接收的异常声音生成位置附近的麦克风17开始录音,从而获取声音数据(步骤S103)。
然后,在终端装置10中,通过频率分析部32对所获取的声音数据进行STFT,从而生成频率谱波形,其表示针对每个频率的信号强度分布的时间变化(步骤S104)。
如图11所示,STFT是每个短时间进行傅里叶变换并根据时间变化来计算针对每个频率分量的信号强度的处理。图12描绘了波形示例,其中通过一个频率谱波形图像示出了由STFT获得的分析结果。
在图12所示的频率谱波形的示例中,横轴表示时间,纵轴表示频率,并且各频率的强度由颜色表示。另外,在图12中,颜色差异由阴影图案表示。而且,图12举例了每个频率的强度由颜色表示的情况。然而,强度也可以用灰度来表示。
在图12所示的频率谱波形的例子中,可以看到异常声音的频率分量61以特定频率周期性地产生。另外,在图12所示的频率谱波形的例子中,低频分量是通常的操作声音,而不是异常声音的频率分量。
当获得如图12所示的频率谱波形时,控制部33在显示部35上显示该频率谱波形。然后,如图13所示,控制部33呈现用于促使用户对所显示的频率谱波形指定估计为异常声音的区域的显示。在图13所示的示例中,可以看到显示了“请指定被认为是异常声音的区域”这样的文字,从而促使用户指定被估计为异常声音的区域。
通过参照这样的显示,被呈现了频率谱波形的用户明确异常声音的频率分量61,并且例如通过操作触摸屏,选择包括异常声音的频率分量61的区域。
图14描绘了由用户以这种方式选择的所选择区域80的示例。在图14所示的示例中,可以看到包括异常声音的多个频率分量61在内的矩形区域被指定为所选择区域80。
当以这种方式指定了所选择区域80时,由频率分析部32针对包括在所选择区域80中的频率分量执行快速傅立叶变换(1D-FFT)(步骤S105)。图15描绘了以这种方式执行的快速傅立叶变换的分析结果示例。
在图15中,检测已经进行了快速傅立叶变换的频率分量的信号的周期和频率,使得异常声音的周期和频率被指出。另外,由于异常声音包括泛音分量等,所以可以检测到多个周期。但是,信号强度最强的周期被检测为异常声音的周期。
另外,预定周期以上的长周期的信号分量被认为是通常的动作声音或不规则周期的噪声。因此,长周期的信号分量的区域被设定为判断排除区域62。判断排除区域62中的分析结果被忽略。
此外,由于预定频率以下的低频信号分量与通常的动作声音没有区别,因此低频信号分量的这样的区域被设置为判断排除区域63。判断排除区域63d中的分析结果被忽略。
终端装置10将通过快速傅立叶变换的分析结果获得的异常声音的频率和周期的信息以及与对异常声音录音的录音位置有关的录音位置信息以及模型信息和运行状态的信息发送到服务器装置50(步骤S106)。例如,录音位置是区域Ab、异常声音的频率是4kHz并且异常声音的周期是2.0秒的信息被发送到服务器装置50。
然后,服务器装置50基于接收到的异常声音的频率和周期信息来搜索波形数据存储部53(步骤S107)。
参照图16的流程图和图17的示例来详细描述步骤S107中的操作,图17描绘了显示基于位置信息而选择的分析结果的操作。在图17中,描述了区域Ab被接收作为录音位置信息的示例。
服务器装置50从终端装置10接收异常声音的频率和周期的信息以及录音位置信息(步骤S201)。
然后,判断所接收的异常声音的频率和周期的信息是否与存储在波形数据存储部53中的波形数据相似(步骤S202)。提取被判断为相似的波形数据(步骤S203)。对存储在波形数据存储部53中的全部波形数据执行步骤S202中的判断(步骤S204),生成如图17的(a)所示的提取列表(步骤S205)。这里,在图17中,仅提取并示出了频率分析结果波形数据和异常声音产生位置信息。然而,在图5中所示出的原始声音数据、异常声音的原因、其处理方法等的信息也与波形数据相关联地被存储。
然后,判断在步骤S205中生成的提取列表的波形数据的异常声音生成位置信息中是否与所接收的记录位置信息一致(步骤S206)。
在步骤S205中生成的提取列表中被判断为与录音信息一致的波形数据被选择,并被优先提取(步骤S207)。然后,判断是否已经对所生成的提取列表的所有波形数据进行了步骤S206的判断(步骤S208)。
即,提取图17的(a)所示出的提取列表中具有作为异常声音生成位置信息的区域Ab的波形数据,并且如图17的(b)所示,在提取列表中优先(首先)处理具有区域Ab的波形数据1,波形数据4和波形数据5。
然后,服务器装置50将所提取的频率谱波形数据与原始声音数据、异常声音的原因、其应对方法等的信息一起发送到终端装置10(步骤S108)。
终端装置10接收从服务器装置50发送的频率谱波形数据(步骤S109)。然后,终端装置10的控制部33在显示部35上显示接收到的频率谱波形和由STFT获得的频率谱波形(步骤S110)。
图18描绘了终端装置10的画面示例,其中以这种方式显示两个频率谱波形。
在图18的画面示例中,通过频率分析部32中的STFT获得的频率谱波形被显示为“本次录音的异常声音的分析结果波形”。此外,可以看出,由服务器装置50发送的根据录音位置信息优先选择(具有高优先级)的频率谱波形被显示成“过去的异常声音数据”,连同异常声音的原因“感光鼓磨损”。
希望进行异常声音诊断的服务人员比较这两个频率谱波形并判断波形中的异常声音分量是否相似,由此指出异常声音的原因。
另外,在从服务器装置50发送了多个频率谱波形的情况下,例如通过利用触摸操作在水平方向上追踪被显示为“过去的异常声音数据”的频率谱波形的图像,如图19所示,具有第二高优先级的单独的频率谱波形被显示。
图19描绘了当异常声音的原因为“驱动系统马达故障”时显示异常声音的频率谱波形的图像示例。
这样,当发送了多个频率谱波形时,首先选择并显示异常声音产生原因的可能性较高的波形。服务人员判断本次获取的异常声音的频率谱波形与按照异常声音的产生原因的可能性高的顺序显示的频率谱波形中的哪个较类似,由此指出异常声音的原因。另外,在指出异常声音的原因的时候,服务人员不仅比较频率谱波形的形状、异常声音分量的周期和频率、异常声音的获取位置等,还通过用声音播放部37播放原始声音数据来听并比较本次获取的异常声音和与从服务器装置50发送的频率谱波形相对应的声音,然后指定异常声音的原因。
图20描绘了用于显示异常声音的产生原因的显示画面的另一示例。
图20示出了仅显示异常声音的产生原因及其应对方法的画面示例,即显示或异常声音的原因“感光鼓磨损”和应对方法“更换感光鼓”。
这样,可以指定并显示异常声音的产生原因部件和组件编号。
[变型例]
已经使用服务器装置50基于录音位置信息进行动作的情况描述了上述实施方式。然而,本发明不限于此。该动作可以在终端装置10中进行。
已经使用终端装置10是平板终端装置的情况描述了上述实施方式。然而,本发明不限于此。例如,如果操作板可以从主体分离并且具有与服务器装置50通信并获取声音信息的内置功能,则图像形成装置20的操作板可以用作终端装置。
而且,已经使用终端装置10具有内置麦克风17的情况描述了上述实施方式。然而,当终端装置10具有录音功能时,声音信息的获取部可以通过将诸如麦克风这样的声音收集装置连接到外部来实现。
此外,已经使用异常声音分析的对象装置是图像形成装置的情况描述了上述实施方式。然而,异常声音分析的对象装置不限于图像形成装置。本发明可以应用于其他装置,只要该装置可能导致具有周期性的异常声音。
在上文中,已经描述了不同的实施方式。然而,实施方式可以被组合。
而且,本公开不限于上述实施方式,并且可以在不脱离本公开的主旨的情况下以各种形式实现。
本申请基于2015年12月25日提交的日本专利申请第2015-254322号,其内容并入本文作为参考。
附图标记说明
10:终端装置
11:CPU
12:存储器
13:存储装置
14:无线LAN接口(IF)
15:输入装置
16:显示装置
17:麦克风
18:控制总线
20:图像形成装置
30:无线LAN终端
31:声音获取部
32:频率分析部
33:控制部
34:声音数据存储部
35:显示部
36:通信部
37:声音播放部
38:位置接收部
40:因特网通信网络
50:服务器装置
51:通信部
52:控制部
53:波形数据存储部
61:异常声音的频率分量
62、63:判断排除区域
65:手指
90、91、92:辅助线
Claims (9)
1.一种终端装置,该终端装置包括:
获取部,该获取部获取声音信息;
接收部,该接收部接收与获取声音信息的位置有关的位置信息;以及
显示部,该显示部显示以下中的至少一项:从通过对声音信号进行频率分析而获得的多个分析结果中选择的分析结果,所述分析结果是基于通过对由所述获取部获取的声音信息进行频率分析而获得的分析结果和由所述接收部接收的位置信息来选择的;以及与所选择的分析结果关联的信息,
其中,所述终端装置还包括:
频率分析部,该频率分析部对由所述获取部获取的声音信息进行时间频率分析并且生成表示每个频率的强度分布的时间变化的分析结果;
发送部,该发送部将从由频率分析部生成的分析结果获得的信息、由所述接收部接收的所述位置信息以及与测量对象装置有关的装置信息发送到外部装置;以及
收信部,该收信部从所述外部装置从通过对声音信号进行频率分析而获得的多个分析结果中接收与由所述频率分析部生成的分析结果相似的分析结果中的、基于由所述接收部接收的所述位置信息选择的分析结果。
2.根据权利要求1所述的终端装置,其中,所述显示部显示由所述频率分析部生成的分析结果和由所述收信部接收的分析结果。
3.根据权利要求1所述的终端装置,其中,所述显示部与由所述接收部接收的所述位置信息对应地显示不同的分析结果。
4.根据权利要求1至3中任一项所述的终端装置,其中,在显示多个分析结果的情况下,所述显示部与由所述接收部接收的所述位置信息对应地改变要显示的所述分析结果的顺序。
5.根据权利要求1所述的终端装置,其中,所述显示部显示作为测量对象的对象装置的外观,以及
其中,所述接收部接收要在所述显示部显示的对象装置的位置信息。
6.根据权利要求5所述的终端装置,其中,所述显示部显示与所述对象装置的外观不同方向的外观,以及
其中,所述接收部针对所述不同方向的每个外观,接收要在所述显示部显示的所述对象装置的位置信息。
7.一种诊断系统,该诊断系统包括:
终端装置,包括:
获取部,该获取部获取声音信息;
接收部,该接收部接收与获取声音信息的位置有关的位置信息;以及
显示部,该显示部显示以下中的至少一项:从通过对声音信号进行频率分析而获得的多个分析结果中选择的分析结果,所述分析结果基于通过对由所述获取部获取的声音信息进行频率分析而获得的分析结果和由所述接收部接收的位置信息来选择;以及与所选择的分析结果关联的信息,
其中,所述终端装置还包括:
频率分析部,该频率分析部对由所述获取部获取的声音信息进行时间频率分析并且生成表示每个频率的强度分布的时间变化的分析结果;
发送部,该发送部将从由频率分析部生成的分析结果获得的信息、由所述接收部接收的所述位置信息以及与测量对象装置有关的装置信息发送到外部装置;以及
收信部,该收信部从所述外部装置从通过对声音信号进行频率分析而获得的多个分析结果中接收与由所述频率分析部生成的分析结果相似的分析结果中的、基于由所述接收部接收的所述位置信息选择的分析结果;以及
服务器装置,该服务器装置包括:
存储器,该存储器存储通过对声音信号进行频率分析而获得的多个分析结果以及声音的产生位置信息;
发送部,当从终端装置接收了通过对由所述获取部获取的声音信息进行频率分析而获得的分析结果获得的信息以及由所述接收部接收的位置信息时,向所述终端装置发送以下中的至少一项:从所述存储器存储的所述多个分析结果中选择的分析结果,所述分析结果基于所接收的分析结果和由所述接收部接收的位置信息来选择;以及与所选择的分析结果关联的信息。
8.一种诊断方法,该诊断方法包括:
获取步骤,获取声音信息;
接收步骤,接收与获取声音信息的位置有关的位置信息;以及
显示步骤,显示以下中的至少一项:从通过对声音信号的频率分析获得的多个分析结果中选择的分析结果,所述分析结果基于通过对在所述获取步骤中获取的声音信息进行频率分析而获得的分析结果和在所述接收步骤接收的位置信息来选择;以及与所选择的分析结果关联的信息,
其中,所述诊断方法还包括:
频率分析步骤,对获取的声音信息进行时间频率分析并且生成表示每个频率的强度分布的时间变化的分析结果;
发送步骤,将从生成的分析结果获得的信息、接收的所述位置信息以及与测量对象装置有关的装置信息发送到外部装置;以及
收信步骤,从所述外部装置从通过对声音信号进行频率分析而获得的多个分析结果中接收与生成的分析结果相似的分析结果中的、基于接收的所述位置信息选择的分析结果。
9.一种计算机可读介质,所述计算机可读介质上存储有指令,当由至少一个处理器执行所述指令时,所述指令使所述至少一个处理器执行以下操作,包括:
获取步骤,获取声音信息;
接收步骤,接收与获取声音信息的位置有关的位置信息;
显示步骤,显示以下中的至少一项:从通过对声音信号的频率分析获得的多个分析结果中选择的分析结果,所述分析结果基于通过对在所述获取步骤中获取的声音信息进行频率分析而获得的分析结果和在所述接收步骤接收的位置信息来选择;以及与所选择的分析结果关联的信息;
频率分析步骤,对获取的声音信息进行时间频率分析并且生成表示每个频率的强度分布的时间变化的分析结果;
发送步骤,将从生成的分析结果获得的信息、接收的所述位置信息以及与测量对象装置有关的装置信息发送到外部装置;以及
收信步骤,从所述外部装置从通过对声音信号进行频率分析而获得的多个分析结果中接收与生成的分析结果相似的分析结果中的、基于接收的所述位置信息选择的分析结果。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015254322A JP5939480B1 (ja) | 2015-12-25 | 2015-12-25 | 端末装置、診断システムおよびプログラム |
JP2015-254322 | 2015-12-25 | ||
PCT/JP2016/063664 WO2017110111A1 (ja) | 2015-12-25 | 2016-05-06 | 端末装置、診断システム、診断方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108292509A CN108292509A (zh) | 2018-07-17 |
CN108292509B true CN108292509B (zh) | 2022-03-25 |
Family
ID=56184732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680066137.4A Active CN108292509B (zh) | 2015-12-25 | 2016-05-06 | 终端装置、诊断系统、诊断方法以及程序 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP5939480B1 (zh) |
CN (1) | CN108292509B (zh) |
AU (1) | AU2016378005B2 (zh) |
WO (1) | WO2017110111A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7313895B2 (ja) * | 2018-05-29 | 2023-07-25 | 東芝産業機器システム株式会社 | 音響診断装置 |
CN110602488B (zh) * | 2019-09-18 | 2021-07-02 | 普联技术有限公司 | 一种日夜型摄像装置切换异常检测方法、装置及摄像装置 |
CN112863543A (zh) * | 2019-11-28 | 2021-05-28 | 睿捷国际股份有限公司 | 利用声音监控设备的方法 |
US11070702B2 (en) * | 2019-12-20 | 2021-07-20 | Toshiba Tec Kabushiki Kaisha | Image processing apparatus, information processing method, and non-transitory computer readable storage medium |
JP2021163387A (ja) | 2020-04-02 | 2021-10-11 | 京セラドキュメントソリューションズ株式会社 | 電子機器及び画像形成装置 |
JP2022139282A (ja) | 2021-03-11 | 2022-09-26 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
CN113537044B (zh) * | 2021-07-14 | 2022-08-26 | 哈尔滨理工大学 | 基于STFT与改进DenseNet的航空发动机故障诊断方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002044671A1 (fr) * | 2000-12-01 | 2002-06-06 | Daihatsu Motor Co., Ltd. | Systeme permettant l'evaluation d'un son anormal, enregistreur de son et dispositif permettant l'evaluation d'un son anormal |
WO2010054481A1 (en) * | 2008-11-17 | 2010-05-20 | Toronto Rehabilitation Institute | Method and apparatus for monitoring breathing cycle by frequency analysis of an acoustic data stream |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB945777A (en) * | 1961-11-02 | 1964-01-08 | Austin Motor Co Ltd | Improvements relating to gear noise measurement and the location of defective gear teeth |
US6275806B1 (en) * | 1999-08-31 | 2001-08-14 | Andersen Consulting, Llp | System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters |
JP4722347B2 (ja) * | 2000-10-02 | 2011-07-13 | 中部電力株式会社 | 音源探査システム |
DE60134335D1 (de) * | 2000-10-02 | 2008-07-17 | Chubu Electric Power | Sondierungssystem für schallquellen |
JP2006184722A (ja) * | 2004-12-28 | 2006-07-13 | Canon Inc | 自己診断機能を備えた画像形成装置 |
US20080091426A1 (en) * | 2006-10-12 | 2008-04-17 | Rod Rempel | Adaptive context for automatic speech recognition systems |
KR100969384B1 (ko) * | 2008-09-26 | 2010-07-09 | 현대자동차주식회사 | 차량용 소음/진동 진단장치 및 그것의 운용방법 |
JP5093537B2 (ja) * | 2008-10-16 | 2012-12-12 | 国立大学法人 長崎大学 | 音情報判定支援方法、音情報判定方法、音情報判定支援装置、音情報判定装置、音情報判定支援システム及びプログラム |
JP5408621B2 (ja) * | 2010-01-13 | 2014-02-05 | 株式会社日立製作所 | 音源探索装置及び音源探索方法 |
JP2011168354A (ja) * | 2010-02-16 | 2011-09-01 | Toshiba Corp | 動作音収集装置および動作音収集方法 |
JP2011203146A (ja) * | 2010-03-26 | 2011-10-13 | Fujitsu Fsas Inc | 音の監視方法及びシステム |
JP2012133250A (ja) * | 2010-12-24 | 2012-07-12 | Sony Corp | 音情報表示装置、音情報表示方法およびプログラム |
KR101416937B1 (ko) * | 2011-08-02 | 2014-08-06 | 엘지전자 주식회사 | 가전기기, 가전기기 진단시스템 및 동작방법 |
JP5930789B2 (ja) * | 2012-03-23 | 2016-06-08 | 三菱電機株式会社 | 異常音診断装置 |
JP2013205449A (ja) * | 2012-03-27 | 2013-10-07 | Fuji Xerox Co Ltd | 画像形成装置およびプログラム |
JP6069935B2 (ja) * | 2012-08-01 | 2017-02-01 | 富士通株式会社 | 故障診断支援装置、故障診断支援方法、および故障診断支援プログラム |
US8964995B2 (en) * | 2012-09-07 | 2015-02-24 | International Business Machines Corporation | Acoustic diagnosis and correction system |
US9223299B2 (en) * | 2012-11-30 | 2015-12-29 | Discovery Sound Technology, Llc | Equipment sound monitoring system and method |
CN104049868A (zh) * | 2013-03-11 | 2014-09-17 | 联想(北京)有限公司 | 响应方法及电子设备 |
CN103632666B (zh) * | 2013-11-14 | 2016-09-28 | 华为技术有限公司 | 语音识别方法、语音识别设备和电子设备 |
-
2015
- 2015-12-25 JP JP2015254322A patent/JP5939480B1/ja not_active Expired - Fee Related
-
2016
- 2016-05-06 AU AU2016378005A patent/AU2016378005B2/en active Active
- 2016-05-06 CN CN201680066137.4A patent/CN108292509B/zh active Active
- 2016-05-06 WO PCT/JP2016/063664 patent/WO2017110111A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002044671A1 (fr) * | 2000-12-01 | 2002-06-06 | Daihatsu Motor Co., Ltd. | Systeme permettant l'evaluation d'un son anormal, enregistreur de son et dispositif permettant l'evaluation d'un son anormal |
WO2010054481A1 (en) * | 2008-11-17 | 2010-05-20 | Toronto Rehabilitation Institute | Method and apparatus for monitoring breathing cycle by frequency analysis of an acoustic data stream |
Also Published As
Publication number | Publication date |
---|---|
JP5939480B1 (ja) | 2016-06-22 |
JP2017116473A (ja) | 2017-06-29 |
WO2017110111A1 (ja) | 2017-06-29 |
CN108292509A (zh) | 2018-07-17 |
AU2016378005A1 (en) | 2018-05-10 |
AU2016378005B2 (en) | 2019-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108292509B (zh) | 终端装置、诊断系统、诊断方法以及程序 | |
CN106961514B (zh) | 终端装置和信息输出方法 | |
US10911607B2 (en) | Diagnosing an image forming apparatus based on sound signal analysis | |
US9992355B2 (en) | Diagnostic apparatus, diagnostic system, and non-transitory computer readable medium | |
CN108351248B (zh) | 诊断装置、诊断系统、诊断方法及程序 | |
JP5954605B1 (ja) | 診断装置、診断システムおよびプログラム | |
JP5954606B1 (ja) | 診断装置、診断システム、装置およびプログラム | |
US10412234B2 (en) | Diagnostic device and diagnostic method | |
CN106915166B (zh) | 诊断装置、诊断系统和诊断方法 | |
JP6840971B2 (ja) | 診断装置、診断システムおよびプログラム | |
JP6016149B1 (ja) | 端末装置、診断システム及びプログラム | |
WO2017094270A1 (ja) | 診断装置、診断システム、診断方法およびプログラム | |
JP6834223B2 (ja) | 診断装置、診断システムおよびプログラム | |
JP6763255B2 (ja) | 診断装置、診断システムおよびプログラム | |
JP6822036B2 (ja) | 診断装置、診断システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Tokyo, Japan Applicant after: Fuji film business innovation Co.,Ltd. Address before: Tokyo, Japan Applicant before: Fuji Xerox Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |